根據(jù)HA架構圖，規(guī)劃HA的分布式集群服務器

HA集群規(guī)劃

配置參考圖

根據(jù)官方文檔配置HA

部分說明

Architecture

在典型的ha集群中，兩臺獨立的機器被配置為namenode。在任何時間點，一個namenodes處于活動狀態(tài)，另一個處于備用狀態(tài)。活動NameNode負責集群中的所有客戶端操作，而備用服務器只是充當從服務器，保持足夠的狀態(tài)，以便在必要時提供快速故障轉移。備用節(jié)點與活動節(jié)點保持狀態(tài)同步，兩個節(jié)點都與一組稱為“日志節(jié)點”(Jns)的獨立守護進程通信。當任何名稱空間修改由活動節(jié)點執(zhí)行時，它會將修改的記錄持久地記錄到這些jn中的大多數(shù)。備用節(jié)點能夠從JNS讀取編輯，并不斷監(jiān)視它們對e的更改。

Hardware resources

要部署HA集群，您應該準備以下內容：NameNode計算機—運行主動和備用Namenodes的計算機應具有彼此等效的硬件，以及與非HA群集使用的硬件相當?shù)挠布Ｈ罩竟?jié)點計算機-運行日志節(jié)點的計算機。日志節(jié)點守護程序相對較輕，因此這些守護程序可以合理地配置在具有其他Hadoop后臺進程的計算機上，例如NameNODES、JobTracker或紗線資源Manager。注意：必須至少有3個日志節(jié)點守護程序，因為編輯日志修改必須寫入到大多數(shù)JNS。這將允許系統(tǒng)容忍單個機器的故障。您還可以運行3個以上的日志節(jié)點，但為了實際增加系統(tǒng)可以承受的故障數(shù)，您應該運行奇數(shù)的JNS，(即，3、5、7等)。請注意，在使用N個日志節(jié)點運行時，系統(tǒng)可以容忍最多(n-1)/2故障，并繼續(xù)正常運行。請注意，在HA集群中，備用NameNode還執(zhí)行命名空間狀態(tài)的檢查點，因此不必在HA集群中運行輔助NameNode、檢查點節(jié)點或BackupNode。事實上，這樣做將是錯誤。這也允許一個正在重新配置非HA啟用HDFS集群的人啟用高可用性，以便重新使用以前專用于輔助NameNode的硬件。

配置概述

與聯(lián)邦配置類似，HA配置是向后兼容的，允許現(xiàn)有的單個NameNode配置不受更改地工作。新配置的設計使得集群中的所有節(jié)點都可以具有相同的配置，而無需根據(jù)節(jié)點的類型將不同的配置文件部署到不同的計算機上。

與HDFFederation一樣，HA集群重用名稱服務ID來標識單個HDFS實例，該實例實際上可能由多個HARNameNodes組成。此外，HA還添加了一個名為NameNodeID的新抽象。集群中的每個不同的NameNode都有一個不同的NameNode ID來區(qū)分它。為了支持所有NameNode的單個配置文件，相關的配置參數(shù)都以名稱服務ID和NameNode ID作為后綴。

備份hadoop中的配置文件和數(shù)據(jù)(131,132,133)

HA配置

hdsf-site.xml

dfs.nameservices - the logical name for this new nameservice

Note: If you are also using HDFS Federation, this configuration setting should also include the list of other nameservices, HA or otherwise, as a comma-separated list.

配置nameservices

dfs.nameservices

ns1

配置namenodes

dfs.ha.namenodes.ns1

nn1,nn2

配置namenode

dfs.namenode.rpc-address.ns1.nn1

hadoop-senior.beifeng.com:8020

dfs.namenode.rpc-address.ns1.nn2

hadoop-senior02.beifeng.com:8020

配置訪問地址namenode.http-address

dfs.namenode.http-address.ns1.nn1

hadoop-senior.beifeng.com:50070

dfs.namenode.http-address.ns1.nn2

hadoop-senior02.beifeng.com:50070

配置代理

dfs.client.failover.proxy.provider.mycluster

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

nodeName ssh fencing 可以實現(xiàn)131和132上的nameNode可以無密碼登入。131->132登入。也可以132->131登入

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

配置 journalnode 的edits日志存放的目錄

dfs.journalnode.edits.dir

/opt/app/hadoop-2.5.0/data/dfs/jn

core-site.xml配置

配置默認的HDFS

fs.defaultFS

hdfs://ns1

hadoop數(shù)據(jù)存儲目錄

hadoop.tmp.dir

/opt/app/hadoop-2.5.0/data/tmp

垃圾回收時間

fs.trash.interval

420

主節(jié)點(131)向其他子節(jié)點(132,133)同步修改的配置文件

命令：scp -r /opt/app/hadoop-2.5.0/etc/hadoop/core-site.xml /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml /opt/app/hadoop-2.5.0/etc/hadoop/slaves root@hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/

總結

以上是生活随笔為你收集整理的hdfs 备份数配置_大数据||HDFS HA配置详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。