由于集群規模差異較大，對于主節點守護進程的配置也差異很大，包括namenode、輔助namenode和jobtracker。對于一個小型集群來說（幾十個節點），可以直接將這些守護進程放到單獨的一臺機器上。但是對于大型集群來說，則最好讓這些守護進程分別運行在不同機器上。

namenode在內存中保存整個命名空間的所有文件和塊數據，他的內存需求很大。輔助namenode在大多時間里空閑，但是他在創建檢查時的內存需求與主節點namenode差不多。一旦文件系統包含大量文件，單臺機器的物理內存便無法同時運行nameode和輔助namenode.

輔助namenode保存一份最新的檢查點，記錄文件系統的元數據，將這些歷史信息備份到其他節點上，有助于在數據丟失（或系統崩潰）情況下恢復namenode的元數據文件/

在一個運行大量mapreduce作業的高負載集群上，jobtracker會使用大量內存和cpu資源，因此它最好運行在一個專用節點上。

不管主守護進程運行在一個還是多個節點上，以下規則均適用。

1.在namenode機器上運行hdfs控制腳本（xxx-dfs.sh）。Masters文件包含輔助namenode的地址。

2.在jobtracker機器上運行mapreduce控制腳本（xxx-mapred.sh）

當namenode和jobtracker運行在不同節點之上時，集群中的各節點將運行一個datanode和一個tasktracker,以使slaves文件同步

單節點配置secondarynamenode

1、將所有想要運行secondarynamenode進程的機器寫到masters文件中，一行一臺。(如下表示運行secondarynamenode進程的機器為hadoop3,默認為localhost)

2、修改在masters文件中配置了的機器上的conf/hdfs-site.xml文件，加上如下內容：

<property>

??<name>dfs.secondary.http.address</name>

?<value>192.168.0.13:50090</value>

<description>secondarynamenode path</description>

?##如果secondarynamenode為多個話可以設置為0.0.0.0:50090

??</property>

??<property>

<name>dfs.http.address</name>

?<value>192.168.0.10:50070</value>

?<description>namenode path</description>

?</property>

?

(core-site.xml可以不進行配置，使用默認配置)

core-site.xml：這里有2個參數可配置，但一般來說我們不做修改。fs.checkpoint.period表示多長時間記錄一次hdfs的鏡像。默認是1小時。fs.checkpoint.size表示一次記錄多大的size，默認64M。

?<property>

? ?<name>fs.checkpoint.period</name>

? ??<value>3600</value>

??<description>The numberof seconds between twoperiodic checkpoints.</description>

??</property>

?? ?<property>

?? ?<name>fs.checkpoint.size</name>

??<value>67108864</value>

???<description>The size of the currentedit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.periodhasn't expired.?</description>

?</property>

?<property>

? ?<name>fs.checkpoint.dir</name>

? <value>/app/user/hdfs/namesecondary</value>

? ? <description>Determines where on thelocal filesystem the DFS secondary namenode should store the temporary imagesto merge.If this is a comma-delimited list of directories then the image isreplicated in all of the directories for redundancy.</description>

? </property>

單節點配置jobtracker即移動namenode和jobTracker的節點（使其成為獨立節點）

移動namenode節點：更改core-site.xml中hdfs://hadoop:9000的主機名hadoop所指向的機器；

?

移動jobTracker節點：更改mapred-site.xml中hadoop:9001的主機名hadoop所指向的機器；

移動后需要在指向的機器上單獨啟動JobTracker（主節點就不要執行start-all了，分別啟動 ）

??

???????? ******注意：對于配置文件core-site.xml和mapred-site.xml在所有節點中都是相同的內容******

總結

以上是生活随笔為你收集整理的移动namenode、secondarynamenode和jobTracker的节点（使其成为独立节点）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。