本文檔下載自 文庫下載網(wǎng)，

/doc/d52aebffbb0d4a7302768e9951e79b896802689c.html

實驗2-熟悉常用的HDFS操作

實驗2熟悉常用的HDFS操作

1實驗?zāi)康?/p>

1. 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；

2. 熟練使用HDFS操作常用的Shell命令；

3. 熟悉HDFS操作常用的Java API。

2實驗平臺

操作系統(tǒng)：Linux

Hadoop版本：2.6.0或以上版本

JDK版本：1.6或以上版本

Java IDE：Eclipse

3實驗內(nèi)容和要求

1.編程實現(xiàn)以下指定功能，并利用Hadoop提供的Shell命令完成相同任務(wù)：

(1)向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶指定是追加到原有文件末尾還是覆蓋原有的文件；

[此處圖片未下載成功]

[此處圖片未下載成功]

[此處圖片未下載成功]

(2)從HDFS中下載指定文件，如果本地文件與要下載的文件名稱相同，則自動對下載的文件重命名；

[此處圖片未下載成功]

[此處圖片未下載成功]

(3)將HDFS中指定文件的內(nèi)容輸出到終端中；

[此處圖片未下載成功]

[此處圖片未下載成功]

(4)顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時間、路徑等信息；

[此處圖片未下載成功]

[此處圖片未下載成功]

(5)給定HDFS中某一個目錄，輸出該目錄下的所有文件的讀寫權(quán)限、大小、創(chuàng)建時間、路徑等信息，如果該文件是目錄，則遞歸輸出該目錄下所有文件相關(guān)信息；

[此處圖片未下載成功]

[此處圖片未下載成功]

(6)提供一個HDFS內(nèi)的文件的路徑，對該文件進(jìn)行創(chuàng)建和刪除操作。如果文件所在目錄不存在，則自動創(chuàng)建目錄；

[此處圖片未下載成功]

[此處圖片未下載成功]

(7)提供一個HDFS的目錄的路徑，對該目錄進(jìn)行創(chuàng)建和刪除操作。創(chuàng)建目錄時，如果目錄文件所在目錄不存在則/doc/d52aebffbb0d4a7302768e9951e79b896802689c.html自動創(chuàng)建相應(yīng)目錄；刪除目錄時，由用戶指定

當(dāng)該目錄不為空時是否還刪除該目錄；

[此處圖片未下載成功]

[此處圖片未下載成功]

(8)向HDFS中指定的文件追加內(nèi)容，由用戶指定內(nèi)容追加到原有文件的開頭或結(jié)尾；

[此處圖片未下載成功]

[此處圖片未下載成功]

(9)刪除HDFS中指定的文件；

[此處圖片未下載成功]

由于已經(jīng)刪除，所以會顯示操作失敗。

[此處圖片未下載成功]

(10)刪除HDFS中指定的目錄，由用戶指定目錄中如果存在文件時是否刪除目錄；

由于前面已經(jīng)刪除，所以顯示無該文件.

[此處圖片未下載成功]

[此處圖片未下載成功]

(11)在HDFS中，將文件從源路徑移動到目的路徑。

[此處圖片未下載成功]

移動成功：

[此處圖片未下載成功]

2.編程實現(xiàn)一個類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInput

Stream”，要求如下：實現(xiàn)按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。

進(jìn)行文檔讀取如下：

[此處圖片未下載成功]

3.查看Java幫助手冊或其它資料，用“.URL”和“org.apache.hadoop.fs.FsURLStre

amHandlerFactory”編程完成輸出HDFS中指定文件的文本到終端中。

[此處圖片未下載成功]

4實驗報告

[此處圖片未下載成功]

[此處圖片未下載成功]

5實驗心得:///doc/d52aebffbb0d4a7302768e9951e79b896802689c.htmlar

這是第一次進(jìn)行云計算實驗課，首次實驗，感覺茫然不知所措，即便老師給了答案，但是還是有些問題想不明白，有些問題也還沒解決。但這次實驗中，我對HDFS在Hadoop體系結(jié)構(gòu)中的角色熟練使用有了一定的了解，也熟悉了一點HDFS操作常用的Shell命令，熟悉HDFS操作常用的Java API。達(dá)到本次實驗?zāi)康?/p>

。

文庫下載 /

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。