HDFS命令
用法
1.hadoop xxx
- hadoop fs命令可用于其他文件系統(tǒng)，不止是hdfs文件系統(tǒng)內(nèi)
- 也就是說(shuō)該命令的使用范圍更廣，可以用于HDFS、Local FS等不同的文件系統(tǒng)
2.hdfs xxx
- hdfs dfs命令只用于hdfs文件系統(tǒng)
命令
1.用戶(hù)命令
- fsck：磁盤(pán)檢查
- dfs：這個(gè)命令很重要，單獨(dú)講
- version：版本
- classpath：類(lèi)路徑
- jar
- job：運(yùn)行mapreduce任務(wù)
2.管理命令
- namenode -format：格式化namenode
- secondarynamenode：運(yùn)行secondarynamenode
- namenode：運(yùn)行namenode
- journalnode：運(yùn)行journalnode
- zkfc：故障遷移
- dfsadmin：登錄DFS客戶(hù)端
- datanode：運(yùn)行datanode
- haadmin：登錄DFS HA客戶(hù)端
- balancer：run a cluster balancing utility
- daemonlog
- jobtracker
3.其他運(yùn)維命令
- 不重要，先不展示了，需要思維導(dǎo)圖內(nèi)有，也可以百度
用戶(hù)命令之dfs
1.查看文件結(jié)構(gòu)
- 沒(méi)有cd命令：hdfs dfs -cd /
- 查看hdfs根目錄下文件：hdfs dfs -ls /
- 查看hdfs某個(gè)目錄下的所有文件：hdfs dfs -ls -R /
2.創(chuàng)建文件
- 在根目錄下創(chuàng)建文件：hdfs dfs -mkdir /test
- 遞歸創(chuàng)建多級(jí)目錄：hdfs dfs -mkdir -p /test/test1/…
3.移動(dòng)文件
- 本地文件移動(dòng)上傳hdfs某個(gè)目錄：hdfs dfs -moveFromLocal /本地文件 /hdfs文件
- hdfs文件移動(dòng)到本地
- hdfs內(nèi)部進(jìn)行文件移動(dòng)：hdfs dfs -mv /hdfs文件1 /hdfs文件2
4.上傳文件
- 本地文件放到hdfs某個(gè)目錄：hdfs dfs -put /本地文件/ /hdfs目錄/
5.下載文件
- 將hdfs文件下載到linux本地
6.文件內(nèi)容
- 如果數(shù)據(jù)量比較大，不能使用
- 查看hello.txt文件內(nèi)容：hdfs dfs -cat /test/hello.txt
- 查看文件末尾，一直等待查看：hdfs dfs -tail -f /path
- 查看文件的大小：hdfs dfs -du -h /path
- 追加一個(gè)或者多個(gè)文件到hdfs指定文件中：hdfs dfs -appendToFile /test/aa.txt /bb.txt /test/hello.txt
7.復(fù)制文件
- 本地文件復(fù)制到hdfs某個(gè)目錄
- hdfs文件復(fù)制到本地
- hdfs間文件拷貝，可以覆蓋，可以保留原有權(quán)限信息
8.刪除文件
- 刪除文件或者目錄：hdfs dfs -rmr /test/a
- 這樣做其實(shí)并沒(méi)有真正刪除文件，只是將文件放到了回收站(/user/root/.Trash/Current)中 ; 每一個(gè)用戶(hù)都有一個(gè)回收站
文件永久刪除
- 回收站自動(dòng)清理：fs.trash.interval 1440
- 手動(dòng)刪除回收站：hdfs dfs -rmr /user/root/.Trash/Current
- 強(qiáng)制刪除：dfs -rmr -skipTrash /a
9.安全模式
- 查看當(dāng)前hadoop安全模式的開(kāi)關(guān)狀態(tài)
- 打開(kāi)安全模式
- 離開(kāi)安全模式
總結(jié)
- 上一篇： DBUtil工具
- 下一篇： 【MongoDB】递归获取字段更新表达式