為什么80%的碼農都做不了架構師？>>> ??

1.NameNode(管理節點)

????Namenode 管理著文件系統的命令空間(Namespace)。它維護著文件系統樹以及文件樹中所有的文件和文件夾的元數據(metadata)，元數據包括編輯日志(edits)和鏡像文件。管理這些信息的文件有兩個，分別是Namespace 鏡像文件(fsimage)和編輯日志文件，編輯日志主要是記錄對hdfs進行的修改。鏡像文件主要是記錄hdfs的文件樹形結構。這些信息被Cache在RAM中，當然，這兩個文件也會被持久化存儲在本地硬盤。Namenode記錄著每個文件中各個塊所在的數據節點的位置信息，但是他并不持久化存儲這些信息，因為這些信息會在系統啟動時從數據節點重建。

?2.DataNode(工作節點)

? ???Datanode是文件系統的工作節點，他們根據客戶端或者是namenode的調度存儲和檢索數據，并且定期向namenode發送他們所存儲的塊(block)的列表。沒有namenode,文件系統是無法使用的。事實上,如果運行namenode服務的服務器壞掉,文件系統上的所有文件將會丟失。因為我們不知道如何根據DataNode的塊進行重建文件。所有對NameNode進行容錯冗余機制是非常重要的。

集群中的從節點服務器都運行一個DataNode后臺程序，這個后臺程序負責把HDFS數據塊讀寫到本地的文件系統。當需要通過客戶端讀/寫某個數據時，先由NameNode告訴客戶端去哪個DataNode進行具體的讀/寫操作，然后客戶端直接與這個DataNode服務器上的后臺程序進行通信，并且對相關的數據塊進行讀/寫操作。

3.secondary NameNode(相當于MySQL數據庫中主從復制的從節點)

Secondary? NameNode是一個用來監控HDFS狀態的輔助后臺程序。和NameNode一樣，每個集群都有一個Secondary? NameNode，并且部署在一個單獨的服務器上。Secondary? NameNode不同于NameNode，它不接受或者記錄任何實時的數據變化，但是，它會與NameNode進行通信，以便定期地保存HDFS元數據的快照。由于NameNode是單點的，通過Secondary? NameNode的快照功能，可以將NameNode的宕機時間和數據損失降低到最小。同時，如果NameNode發生問題，Secondary? NameNode可以及時地作為備用NameNode使用。

?4.ResourceManager

? ???ResourceManage 即資源管理，在YARN中，ResourceManager負責集群中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）。

RM包括Scheduler（定時調度器）和ApplicationManager（應用管理器）Schedular負責向應用程序分配資源，它不做監控以及應用程序的狀態跟蹤，并且不保證會重啟應用程序本身或者硬件出錯而執行失敗的應用程序。ApplicationManager負責接受新的任務，協調并提供在ApplicationMaster容器失敗時的重啟功能.每個應用程序的AM負責項Scheduler申請資源，以及跟蹤這些資源的使用情況和資源調度的監控。

?5.Nodemanager

NM是ResourceManager在slave機器上的代理，負責容器管理，并監控它們的資源使用情況，以及向ResourceManager/Scheduler提供資源使用報告。

轉載于:https://my.oschina.net/530504/blog/3050445

總結

以上是生活随笔為你收集整理的好程序员大数据独家解析-hadoop五大节点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。