在這里我給大家繼續分享一些關于hdfs分布式文件的經驗哈，其中包括一些hdfs的基本的shell命令的操作，再加上hdfs java程序設計。在前面我已經寫了關于如何去搭建hadoop這樣一個大數據平臺，還沒搭好環境的童鞋可以轉到我寫的這篇文章hadoop在ubuntu的安裝，接下來就開始我們本次的經驗分享啦。

hdfs的shell命令操作

hdfs的格式化與啟動

首次使用hdfs時，需要使用format 命令進行格式化

./bin/hdfs namenode -format

使用start-dfs.sh命令啟動hdfs，可 使用jps命令查看是否成功啟動

./sbin/start-dfs.sh

下面的圖片是啟動失敗的截圖，那么怎么解決這個問題呢。

hdfs啟動失敗

首先需要停止hdfs，這也是操作完hdfs的必要步驟。

./sbin/stop-dfs.sh

刪除tmp/dfs目錄下的data文件夾

rm -r ./tmp/dfs/data

最后重新執行hdfs的格式化與啟動操作。

啟動成功包括出現namenode、seconddarynamenode、以及datanode。

hdfs支持的命令

查看hdfs支持的所有命令

./bin/hdfs dfs

ps:查看hadoop下put的使用方法

./bin/hadoop fs -help put

hdfs文件系統中目錄創建操作

創建用戶目錄

hadoop系統安裝好以后，第一次使用hdfs時，需要首先在hdfs中創建用戶目錄。

./bin/hdfs dfs -mkdir -p /user/hadoop

用查詢命令查看我們在路徑user下面創建的文件夾hadoop

./bin/hdfs dfs -ls /user

創建二級目錄

在hadoop目錄下再創建一個input文件夾

./bin/hdfs dfs -mkdir /user/hadoop/input

根目錄下創建目錄

在hadoop根目錄下創建一個input文件夾

./bin/hdfs dfs -mkdir /input

hdfs文件系統中目錄刪除操作

刪除在hadoop根目錄下面創建的input文件夾

./bin/hdfs dfs -rm -r /input

可以看到，hadoop根目錄下的input文件夾已經被我們成功刪除，現在只有存在user目錄。

hadoop的文件操作

創建文件的方式

在當前環境目錄下創建hello.txt文件，這里介紹兩種方法。

number one

touch hello.txt

打開hello.txt文件，并寫入如下內容并保存。

hello world

gedit hello.txt

number t two

利用vim編輯創建hello.txt。

vim hello.txt

關于vim怎么建立簡單的文本文件我就不在這里解釋了，不會的童鞋可以找找度娘。

傳輸文件

利用put命令將創建的hello.txt文件上傳到user/hadoop/input的目錄

./bin/hdfs dfs -put ./hello.txt /user/hadoop/input

/bin/hdfs dfs -ls /user/hadoop/input

在user/hadoop/input目錄下利用cat命令查看hello.txt文件內容

./bin/hdfs dfs -cat /user/hadoop/input/hello.txt

hdfs中的文件下載到本地文件系統

使用-get命令將hdfs中的hello.txt文件下載到本地文件系統中的/home/hadoop/desktop這個目錄下:

./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/desktop

本次給大家分享的內容就到這里啦，覺得還不錯的點個贊支持一下小編，你的肯定就是小編前進的動力。

轉自：https://www.cnblogs.com/xiangjunhong/p/12737154.html

如您對本文有疑問或者有任何想說的，請點擊進行留言回復，萬千網友為您解惑！

總結

以上是生活随笔為你收集整理的shell 进入hadoop_Hadoop关于HDFS的基本操作(Shell命令)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。