日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

HDFS命令详解

發(fā)布時(shí)間:2023/12/9 编程问答 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 HDFS命令详解 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

hdfs命令:
ls
格式:hdfs dfs -ls path
作用:類似于linux的ls命令,顯示文件列表
hdfs dfs -ls /

lsr
格式:hdfs dfs -lsr path
作用:在整個(gè)目錄下遞歸執(zhí)行l(wèi)s,與lunix中的ls -R 類似
hdfs dfs -lsr /

mkdir
格式:hdfs dfs [-p] -mkdir path
作用:創(chuàng)建目錄,-p表示可以遞歸創(chuàng)建目錄

put
格式:hdfs dfs -put
作用:將單個(gè)的源文件 或者多個(gè)源文件從本地文件系統(tǒng)拷貝到目標(biāo)文件系統(tǒng)中
hdfs dfs -put /rooot/a.txt /dir1

moveFromLocal
格式:hdfs dfs -moveFromLocal
作用:和put命令類似,但是源文件localsrc拷貝之后自身被刪除
hdfs dfs -moveFromLocal /root/install.log /

get
格式:hdfs dfs -get [-ignorecrc] [-src]
作用:將文件拷貝到本地文件系統(tǒng)。CRC 校驗(yàn)失敗的文件通過-ignorecrc選項(xiàng)拷貝。
hdfs dfs -get /install.log /export/servers

mv
格式:hdfs dfs -mv URI dest
作用:將hdfs上的文件從原路徑移動(dòng)到目標(biāo)路徑(移動(dòng)之后文件刪除),該命令不能跨文件系統(tǒng)
hdfs dfs - mv /dir1/a.txt /dir2

rm
格式:hdfs dfs -rm [-r] [-skopTrash ] URI
作用:刪除參數(shù)指定的文件,參數(shù)可以是多個(gè),該命令只刪除文件和非空目錄。
如果指定-skipTrash 選項(xiàng),name在回收站可用的情況下,該選項(xiàng)將跳過回收站而直接刪除文件,否則在回收站可用時(shí),在HDFS Shell 中執(zhí)行此命令,會(huì)將文件暫時(shí)放到回收站中。
hdfs dfs -rm -r /dor1

cp
格式:hdfs dfs -cp URI
作用:將文件拷貝到目標(biāo)路徑中。
-f 選項(xiàng)將覆蓋目標(biāo),如果它已經(jīng)存在
-p 選項(xiàng)將保留文件屬性(例如:時(shí)間戳,權(quán)限等)
hdfs dfs -cp /dir1/a.txt /dir2/b.txt

cat
格式:hdfs dfs -cat URI
作用:將參賽所指示的文件內(nèi)容輸出到(查看日志一般)
hdfs dfs -cat /install.log

chmod
格式: hdfs dfs -chmod [-R] URI
作用:改變文件權(quán)限。如果使用 -R 選項(xiàng),則對整個(gè)目錄有效遞歸執(zhí)行。使用這一命令的用戶必須是文件的所屬用戶,或者超級(jí)用戶
hdfs dfs -chmod -R 777 /install.log

chown
格式: hdfs dfs -chown [-R] URI
作用:改變文件的所屬用戶和用戶組,如果使用-R 則遞歸
hdfs dfs -chown -R hadoop:hadoop /install.log

appendToFile
格式:hdfs dfs -appendToFile localsrc dst
作用:追加一個(gè)或者多個(gè)文件到hdfs 指定文件中
hdfs dfs -appenToFile a.xm b.xml /big.xml

hdfs的高級(jí)命令

hdfs dfs -count -q -h /user 查看配額信息
數(shù)量限額
hdfs dfs -mkdir -p /user /dir 創(chuàng)建hdfs文件夾
hdfs dfsadmin -setQuota 2 dir 給該文件夾下面設(shè)置最多上傳2個(gè)文件,發(fā)現(xiàn)只能上傳一個(gè)文件(原因是默認(rèn)該文件已經(jīng)算一個(gè))
hdfs dfsadmin -clrQuota /user/dir 清除文件數(shù)量限制

空間大小限額
在設(shè)置空間配額時(shí),設(shè)置的空間大小只是是block_size*3
hdfs dfsadmin -setSpaceQuota 4k /user/dir 限制空間大小為4K
生成任意大小文件的命令:
dd if=/dev/zero of =1.txt bs =1M count =2 生成2M的文件,名稱為1.txt

安全模式操作命令

hdfs dfsadmin -safemode get 查看安全模式狀態(tài)

hdfs dfsadmin -safemode enter 進(jìn)入安全模式

hdfs dfsadmin -safemode leave 離開安全模式

總結(jié)

以上是生活随笔為你收集整理的HDFS命令详解的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。