HDFS是一種文件系統，存儲著Hadoop應用將要處理的數據，類似于普通的Unix和linux文件系統，不同的是他是實現了google的GFS文件系統的思想，是適用于大規模分布式數據處理相關應用的、可擴展的分布式文件系統。它有以下優點：

1、在分布式存儲中，經常會出現節點失效的情況，HDFS可以持續監視，錯誤檢查，容錯處理，自動恢復；

2、分布式存儲的文件都是非常巨大的，HDFS重新規定了每次I/O的塊的大小；

3、對于搜索引擎的業務，大部分都只會在文件尾添加新數據，很少修改已有數據。HDFS做了優化；

4、與應用一起設計的文件系統API對整個系統的彈性和適用性有很大好處；

5、有效的支持多個客戶端并行添加同一個文件。

雖然HDFS實現了這么多的功能，但是因為它已經實現為一個開源框架，所以對于程序開發者來說，并不需要了解其底層的文件操作，我們可以通過其提供的一套與linux文件命令類似的命令行工具來進行文件操作。

基本文件命令：

格式為：hadoop fs -cmd

cmd的命名通常與unix對應的命令名相同。例如，文件列表命令： hadoop fs -ls

1、添加目錄和文件

HDFS有一個默認的工作目錄 /user/$USER，其中$USER是你的登錄用戶名。不過目錄不會自動建立，我們現在用mkdir建立它，我使用的是chen作為用戶名。

hadoop fs -mkdir /user/chen

(hadoop的mkdir命令會自動創建父目錄，類似于帶-p的unix命令)

我們現在放本地文件系統的一個文件進去。

hadoop fs -put example.txt .

最后一個參數是句點，相當于放入了默認的工作目錄，等價于 hadoop fs -put example.txt /user/chen

當你把文件放入HDFS上后，你就可以運行Hadoop程序來處理它。

2、檢索文件

get命令與put命令相反，它從HDFS復制文件回到本地文件系統。

hadoop fs -get example.txt .

復制到本地的當前工作目錄中。

另一種是顯示數據,用cat

hadoop fs -cat example.txt

3、刪除文件

rm命令

hadoop fs -rm example.txt

也可以用來刪除空目錄

編程讀寫HDFS

利用HDFS給我們提供的API，我們同樣可以訪問它。

在 Hadoop中用作文件操作的主類位于org.apache.hadoop.fs軟件包中。包括常見的open、read、write、close。 Hadoop文件的API起點是FileSystem類，這是一個與文件系統交互的抽象類，我們通過調用factory的方法 FileSystem.get(Configuration conf)來取得所需的FileSystem實例，如下我們可以獲得與HDFS接口的FileSystem對象：

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);//獲得HDFS的FileSystem對象

如果我們要實現HDFS與本地文件系統的交互，我們還需要獲取本地文件系統的FileSystem對象

FileSystem local = FileSystem.getLocal(conf);//獲得本地文件系統的FileSystem對象

以下代碼講解了一個例子，我們開發一個PutMerge程序，用于合并本地文件后放入HDFS，因為大文件HDFS處理起來比較容易，所以這個程序經常會在以后的開發中用到

import java.io.IOException;? ?
import org.apache.hadoop.conf.Configuration;? ?
import org.apache.hadoop.fs.FSDataInputStream;? ?
import org.apache.hadoop.fs.FSDataOutputStream;? ?
import org.apache.hadoop.fs.FileStatus;? ?
import org.apache.hadoop.fs.FileSystem;? ?
import org.apache.hadoop.fs.Path;? ?
public class PutMerge {? ?
? ? ? ? public static void main(String[] args) throws IOException {? ?
? ? ? ? Configuration conf = new Configuration();? ?
? ? ? ? FileSystem hdfs =FileSystem.get(conf); //獲得HDFS文件系統的對象? ?
? ? ? ? FileSystem local = FileSystem.getLocal(conf);//獲得本地文件系統的對象? ?
? ? ? ? Path inputDir = new Path(args[0]);//設定輸入目錄? ?
? ? ? ? Path hdfsFile = new Path(args[1]);//設定輸出目錄? ?
? ? ? try{? ?
? ? ? ? ? ? ? FileStatus[] inputFiles = local.listStatus(inputDir);//FileStatus的listStatus()方法獲得一個目錄中的文件列表? ?
? ? ? ? ? ? FSDataOutputStream out = hdfs.create(hdfsFile);//生成HDFS輸出流? ?
? ? ? ? ? ? for(int i = 0; i < inputFiles.length; i ++){? ?
? ? ? ? ? ? ? ? ? ? ? ? System.out.println(inputFiles[i].getPath().getName());? ?
? ? ? ? ? ? ? ? ? ? ? ? FSDataInputStream in = local.open(inputFiles[i].getPath());//打開本地輸入流? ?
? ? ? ? ? ? ? ? ? ? byte[] buffer = new byte[256];? ?
? ? ? ? ? ? ? ? ? ? ? ? int bytesRead = 0;? ?
? ? ? ? ? ? ? ? ? ? ? ? while((bytesRead = in.read(buffer))>0){? ?
? ? ? ? ? ? ? ? ? ? ? ? out.write(buffer,0,bytesRead);//通過一個循環來寫入? ?
? ? ? ? ? ? ? ? ? ? }? ?
? ? ? ? ? ? ? ? ? ? ? ? in.close();? ?
? ? ? ? ? ? ? ? ? }? ?
? ? ? ? ? ? ? ? ? out.close();? ?
? ? ? ? ? }catch (IOException e) {? ?
? ? ? ? ? ? ? ? ? ? ? e.printStackTrace();? ?
? ? ? ? ? }? ?
? }

總結

以上是生活随笔為你收集整理的HDFS文件系统基本文件命令、编程读写HDFS的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。