前言：Hadoop2.0中的聯(lián)邦機制

出現(xiàn)原因

元數(shù)據(jù)存儲在NameNode的內(nèi)存中，因此集群規(guī)模受限于單個NameNode的內(nèi)存大小。HDFS聯(lián)邦(Federation)提供了一種解決單組名稱節(jié)點（NameNode）局限性問題的水平擴展方案

概念

Federation是指HDFS集群可使用多個獨立的NameSpace（命名空間，由NameNode節(jié)點管理，有ANN和SNN）來滿足HDFS命名空間的水平擴展，這些命名空間彼此隔離，但共享所有DataNode的存儲資源，協(xié)同存儲DataNode的元數(shù)據(jù)（用BlockPoolId區(qū)分）

HDFS聯(lián)邦使用多組名稱節(jié)點和名稱空間（NameSpaces），所有的名稱節(jié)點相互獨立，構(gòu)成聯(lián)邦，各自分工獨立管理自己的區(qū)域，無需互相協(xié)調(diào)。

HDFS聯(lián)邦架構(gòu)與單組名稱節(jié)點架構(gòu)設(shè)計的不同：

（1）HDFS聯(lián)邦架構(gòu)在集群中由多組名稱節(jié)點（NameNode）同時對外提供服務(wù)。

（2）名稱空間（NameSpace）也被水平拆分為多個獨立部分，分別由彼此之間相互隔離的名稱節(jié)點來管理

數(shù)據(jù)節(jié)點（Datanode）共享集群中所有的數(shù)據(jù)存儲資源。

聯(lián)邦機制的優(yōu)點

（1）HDFS集群擴展性。每個NameNode分管一部分Namespace，相當(dāng)于Namenode是一個分布式的。

（2）性能更高效。多個NameNode同時對外提供服務(wù)，提供更高的讀寫吞吐率。

（3）良好的隔離性。用戶可根據(jù)需要將不同業(yè)務(wù)數(shù)據(jù)交由不同NameNode管理，這樣不同業(yè)務(wù)之間影響很小。

（4）Federation良好的向后兼容性，已有的單Namenode的部署配置不需要任何改變就可以繼續(xù)工作。

聯(lián)邦架構(gòu)的局限性

（1）交叉訪問問題。由于多個命令空間的存在，它們相互獨立，如果一個操作要訪問多個文件路徑，需要交叉訪問多個名稱空間，產(chǎn)生交叉訪問題。

（2）集群管理性問題。啟用聯(lián)邦機制后，過去的一些HDFS管理命令，如“hdfsdfsadmin、hdfsfsck”等無法使用，給集群管理員的日常集群管理帶來一定麻煩。

admin、hdfsfsck”等無法使用，給集群管理員的日常集群管理帶來一定麻煩。

總結(jié)

以上是生活随笔為你收集整理的Hadoop 2.0联邦机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。