在現代的企業環境中，單機容量往往無法存儲大量數據，需要跨機器存儲。統一管理分布在集群上的文件系統稱為分布式文件系統。

HDFS

HDFS（Hadoop Distributed File System）是 Apache Hadoop 項目的一個子項目. Hadoop 非常適于存儲大型數據 (比如 TB 和 PB), 其就是使用 HDFS 作為存儲系統. HDFS 使用多臺計算機存儲文件, 并且提供統一的訪問接口。

HDFS是根據谷歌的論文：《The Google File System》進行設計的

HDFS的四個基本組件:HDFS Client、NameNode、DataNode和Secondary NameNode。

Client

Client是客戶端。HDFS Client文件切分。文件上傳 HDFS 的時候，Client 將文件切分成 一個一個的Block，然后進行存儲。Client 提供一些命令來管理 和訪問HDFS，比如啟動或者關閉HDFS。

NameNode

NameNode就是 master，它是一個主管、管理者。管理 HDFS 元數據（文件路徑，文件的大小，文件的名字，文件權限，文件的block切片信息）。

NameNode管理 Block 副本策略：默認 3 個副本，處理客戶端讀寫請求。

總結

以上是生活随笔為你收集整理的二、分布式文件系统HDFS及其简单使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。