统计HDFS文件数量,大小,以及在某范围大小的文件数量
生活随笔
收集整理的這篇文章主要介紹了
统计HDFS文件数量,大小,以及在某范围大小的文件数量
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
統計HDFS文件數量大小,小于20M文件數量
- hadoop fs -du -h / # 統計文件大小
- hadoop fs -count / # 統計文件數量,返回的數據是目錄個數,文件個數,文件總計大小,輸入路徑
- hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #統計所有文件的信息,過濾文件夾,只統計文件.因為使用ls -l 之后,可以看到文件是”-“開頭文件夾是”d”開頭
再寫個小python
import pandas as pd path='/Desktop/data.txt' df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 統計數據一共8列 print(len(df)) df1=df[df[5]<20971520] # 第五列是大小,取小于20M(換算成b)的文件數據 print(len(df1)) # 統計數量總結
以上是生活随笔為你收集整理的统计HDFS文件数量,大小,以及在某范围大小的文件数量的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: faster rcnn学习之rpn 的生
- 下一篇: 计算机软考高级论文怎么写,【干货】软考高