統(tǒng)計(jì)HDFS文件數(shù)量大小，小于20M文件數(shù)量

• hadoop fs -du -h / # 統(tǒng)計(jì)文件大小
• hadoop fs -count / # 統(tǒng)計(jì)文件數(shù)量，返回的數(shù)據(jù)是目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小，輸入路徑
• hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #統(tǒng)計(jì)所有文件的信息，過濾文件夾,只統(tǒng)計(jì)文件.因?yàn)槭褂胠s -l 之后,可以看到文件是”-“開頭文件夾是”d”開頭

再寫個(gè)小python

import pandas as pd path='/Desktop/data.txt' df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 統(tǒng)計(jì)數(shù)據(jù)一共8列 print(len(df)) df1=df[df[5]<20971520] # 第五列是大小,取小于20M(換算成b)的文件數(shù)據(jù) print(len(df1)) # 統(tǒng)計(jì)數(shù)量

總結(jié)

以上是生活随笔為你收集整理的统计HDFS文件数量,大小,以及在某范围大小的文件数量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。