HDFS文件导出本地合并为一个文件
生活随笔
收集整理的這篇文章主要介紹了
HDFS文件导出本地合并为一个文件
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
HDFS受限于Block大小,大文件會分割成多個塊分布在多個節點,導出本地的時候直接用:
hadoop fs -get命令會在本地創建一個目錄存放多個塊。
要想合并為一個大文件可以這樣:
hadoop fs -getmerge hdfs:///user/nixm/news_rank1.txt /nixm/gcy/out1.txt總結
以上是生活随笔為你收集整理的HDFS文件导出本地合并为一个文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: keras保存模型_TF2 8.模型保存
- 下一篇: lisp遍历表中所有顶点_三十张图片让你