統計HDFS文件數量大小，小于20M文件數量

• hadoop fs -du -h / # 統計文件大小
• hadoop fs -count / # 統計文件數量，返回的數據是目錄個數，文件個數，文件總計大小，輸入路徑
• hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #統計所有文件的信息，過濾文件夾,只統計文件.因為使用ls -l 之后,可以看到文件是”-“開頭文件夾是”d”開頭

再寫個小python

import pandas as pd path='/Desktop/data.txt' df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 統計數據一共8列 print(len(df)) df1=df[df[5]<20971520] # 第五列是大小,取小于20M(換算成b)的文件數據 print(len(df1)) # 統計數量

總結

以上是生活随笔為你收集整理的统计HDFS文件数量,大小,以及在某范围大小的文件数量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。