Hadoop2.0的改進

不斷完善的Hadoop生態系統

Hadoop2.0新特性之HDFS HA

HDFS1.0存在單點故障問題,第二名稱節點無法解決此問題
所以提出了HDFS HA(High Availability)

• HA集群設置兩個名稱節點,活躍(Active)和待命(standby)
• 兩種名稱節點的狀態同步,可以借助于一個共享存儲系統來實現
• 一旦活躍名稱節點出現故障,就可以立即切換到待命名稱節點
• Zookeeper確保一個名稱節點對外服務
• 名稱節點用于維護映射信息,數據節點同時向兩個數據節點匯報信息
  

HDFS Federation

上面提到的HDFS HA用于解決單點故障問題,而水平擴展性受限,也無法解決系統性能和隔離性問題.

HDFS Federation設計

• 在HDFS Federation中，設計了多個相互獨立的名稱節點，使得HDFS的命名服務能夠水平擴展，這些名稱節點分別進行各自命名空間和塊的管理，相互之間是聯盟(Federation)關系，不需要彼此協調。并且向后兼容
• HDFS Federation中，所有名稱節點會共享底層的數據節點存儲資源，數據節點向所有名稱節點匯報
• 屬于同一個命名空間的塊構成一個“塊池

HDFS Federation相對于Hadoop1.0的優勢

HDFS Federation設計可解決單名稱節點存在的以下幾個問題：
(1) HDFS集群擴展性。多個名稱節點各自分管一部分目錄，使得一個集
群可以擴展到更多節點，不再像HDFS1.0中那樣由于內存的限制制約文件
存儲數目
(2) 性能更高效。多個名稱節點管理不同的數據，且同時對外提供服務，
將為用戶提供更高的讀寫吞吐率
(3) 良好的隔離性。用戶可根據需要將不同業務數據交由不同名稱節點
管理，這樣不同業務之間影響很小

需要注意的，HDFS Federation并不能解決單點故障問題，也就是說，每個名稱節點都存在在單點故障問題，需要為每個名稱節點部署一個后備名稱節點，以應對名稱節點掛掉對業務產生的影響.

總結

以上是生活随笔為你收集整理的Hadoop2.0新特性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。