有道筆記-hadoop fs 指令
hadoop 檔案系統配置檔案按如下查找順序
1. hadoop jar裡的hadoop-default.xml
2. $HADOOP_CONF_DIR下的hadoop-default.xml
3. $HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地檔案系統作為hadoop的DFS。
4. 如果傳遞uri做參數，那麼就是特定的檔案系統作為DFS。 複制
指令詳情
1. Hadoop fs –fs [local | <file system URI>]：
列出在指定目錄下的檔案内容，支援pattern比對。輸出格式如filename(full path) <r n> size. 其中n代表replica的個數，size代表大小（機關bytes）。
2. hadoop fs –ls <path>
遞歸列出比對pattern的檔案資訊，類似ls，隻不過遞歸列出所有子目錄資訊。
3. hadoop fs –lsr <path>：
列出比對pattern的指定的檔案系統空間總量（機關bytes），等價于unix下的針對目錄的du –sb <path>/*和針對檔案的du –b <path> ，輸出格式如name(full path) size(in bytes)。
4. hadoop fs –du <path>
等價于-du，輸出格式也相同，隻不過等價于unix的du -sb。
5. hadoop fs –dus <path>
将制定格式的檔案 move到指定的目标位置。當src為多個檔案時，dst必須是個目錄。
6. hadoop fs –mv <src> <dst>
拷貝檔案到目标位置，當src為多個檔案時，dst必須是個目錄。
7. hadoop fs –cp <src> <dst>
删除比對pattern的指定檔案，等價于unix下的rm <src>
8. hadoop fs –rm [-skipTrash] <src>
遞歸删掉所有的檔案和目錄，等價于unix下的rm –rf <src>
9. hadoop fs –rmr [skipTrash] <src>
等價于unix的rm –rfi <src>
10. hadoop fs –rmi [skipTrash] <src>
從本地系統拷貝檔案到DFS
11. hadoop fs –put <localsrc> … <dst>
等價于-put
12. hadoop fs –copyFromLocal <localsrc> … <dst>
等同于-put，隻不過源檔案在拷貝後被删除
13. hadoop fs –moveFromLocal <localsrc> … <dst>
從DFS拷貝檔案到本地檔案系統，檔案比對pattern，若是多個檔案，則dst必須是目錄
14. hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>
顧名思義，從DFS拷貝多個檔案、合并排序為一個檔案到本地檔案系統
15. hadoop fs –getmerge <src> <localdst>
輸出檔案内容
16. hadoop fs –cat <src>
等價于-get
17. hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>
在指定位置建立目錄
18. hadoop fs –mkdir <path>
設定檔案的備份級别，-R标志控制是否遞歸設定子目錄及檔案
19. hadoop fs –setrep [-R] [-w] <rep> <path/file>
修改檔案的權限，-R标記遞歸修改。MODE為a+r,g-w,+rwx等，OCTALMODE為755這樣
20. hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…
修改檔案的所有者群組。-R表示遞歸
21. hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…
等價于-chown … :GROUP …
22. hadoop fs -chgrp [-R] GROUP PATH…
計數檔案個數及所占空間的詳情，輸出表格的列的含義依次為：DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME或者如果加了-q的話，還會列出QUOTA,REMAINING_QUOTA,SPACE_QUOTA,REMAINING_SPACE_QUOTA
23. hadoop fs –count[-q] <path> 複制