Hadoop-2.2.0学习之二HDFS联盟
生活随笔
收集整理的這篇文章主要介紹了
Hadoop-2.2.0学习之二HDFS联盟
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在學習Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS結構,有助于更好地理解2.x版本中HDFS的變化所帶來的好處。先看看2.x版本之前的HDFS結構圖,如下所示。
從上面的結構可以看出,HDFS主要包括兩層:Namespace(命名空間)和塊存儲(BlockStorage)。命名空間由目錄、文件和塊組成,支持文件系統相關的所有命名空間操作,比如創建、刪除、修改、列出文件和目錄。
塊存儲服務有兩部分:塊管理和存儲。其中的塊管理由NameNode實現,通過處理注冊信息和周期性的心跳提供DataNode集群的組員關系,處理塊報告和維護塊位置,支持譬如創建、刪除、修改和查詢塊位置等的塊相關操作,管理副本位置和確保一個塊的副本數量在允許的副本數量之內,刪除超出的塊副本。存儲由DataNode通過在本地文件系統存儲塊提供,并且允許讀寫訪問。
Hadoop-1.x版本中的HDFS架構在整個集群中只允許單一的命名空間,單一的NameNode管理著該空間。HDFS聯盟通過增加支持多NameNode/命名空間解決了HDFS架構中的局限性。
在看過了1.x版本中的HDFS架構后,現在看一下2.x中的HDFS聯盟架構,架構圖如下圖所示。通過該圖可以發現,2.x
總結
以上是生活随笔為你收集整理的Hadoop-2.2.0学习之二HDFS联盟的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hadoop-2.2.0学习之三YARN
- 下一篇: Hadoop-2.2.0学习之一Hado