Hadoop hdfs文件操作常用命令
生活随笔
收集整理的這篇文章主要介紹了
Hadoop hdfs文件操作常用命令
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
hadoop fs -操作命令 -參數(shù)
-ls #顯示目錄信息
-->hadoop fs -ls hdfs://hadoop-server-00:9000/
這些參數(shù)中,所有的hdfs路徑都可以簡寫
-->hadoop fs -ls / 等同于上一條命令的效果-copyFromLocal #從本地文件系統(tǒng)中拷貝文件到hdfs路徑去
-->hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/
-copyToLocal #從hdfs拷貝到本地
-->hadoop fs -copyToLocal /aaa/jdk.tar.gz
-put #等同于copyFromLocal
-get #等同于copyToLocal,就是從hdfs下載文件到本地
-getmerge #合并下載多個文件
--> 比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum-moveFromLocal #從本地移動到hdfs
-moveToLocal #從hdfs移動到本地-cp #從hdfs的一個路徑拷貝hdfs的另一個路徑
-->hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2-mv #在hdfs目錄中移動文件-mkdir #在hdfs上創(chuàng)建目錄
-->hadoop fs -mkdir -p /aaa/bbb/cc/dd
-rm #刪除文件或文件夾
--> hadoop fs -rm -r /aaa/bbb/
-rmdir #刪除空目錄-cat ---顯示文件內(nèi)容
-->hadoop fs -cat /hello.txt--appendToFile ----追加一個文件到已經(jīng)存在的文件末尾
-->hadoop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt
可以簡寫為:
Hadoop fs -appendToFile ./hello.txt /hello.txt-chgrp
-chmod
-chown
上面三個跟linux中的用法一樣
-->hadoop fs -chmod 666 /hello.txt
-count #統(tǒng)計一個指定目錄下的文件節(jié)點數(shù)量
-->hadoop fs -count /aaa/-createSnapshot
-deleteSnapshot
-renameSnapshot
以上三個用來操作hdfs文件系統(tǒng)目錄信息快照
-->hadoop fs -createSnapshot /
-df #統(tǒng)計文件系統(tǒng)的可用空間信息
-du
-->hadoop fs -df -h /
-->hadoop fs -du -s -h /aaa/*
-help #輸出這個命令參數(shù)手冊
-setrep #設(shè)置hdfs中文件的副本數(shù)量
-->hadoop fs -setrep 3 /aaa/jdk.tar.gz
-stat #顯示一個文件或文件夾的元信息
-tail #顯示一個文件的末尾
-text #以字符形式打印一個文件的內(nèi)容
從本地上傳文件到hdfs
從hdfs下載文件到本地
hdfs創(chuàng)建目錄及put文件
cat查看hdfs文件內(nèi)容
hdfs內(nèi)部拷貝文件
hadoop fs -help
總結(jié)
以上是生活随笔為你收集整理的Hadoop hdfs文件操作常用命令的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hadoop 分布式集群搭建步骤
- 下一篇: idea 添加jar包到maven项目的