基于原版Hadoop的YDB部署（转）
?
YDB依賴環境準備
一、硬件環境
硬件如何搭配，能做到比較高的性價比，不存在短板。合理的硬件搭配，對系統的穩定性也很關鍵。
1.CPU不是核數越高越好，性價比才是關鍵。
??????經常遇到很多的企業級客戶，他們機器配置非常高，CPU有128 VCore，256G內存，但是只掛載了1塊8T的SATA硬盤，千兆網卡。
??????這樣的機器配置比較適合計算密集型的業務，但是如果是IO密集型的業務的話，就會發現磁盤成為瓶頸，會發現磁盤利用率100%，網絡利用率100%，但是CPU只用了不到5%。存在巨大的資源浪費。
??????這種問題在Hadoop系統中尤為突出，如果是這樣的配置的話，很可能一個MapReduce程序就會導致全部的磁盤與網絡都是使用率100%，這樣所有的心跳都發送不出來，而本身Hadoop又沒有很好的網絡限速機制，就會導致DataNode與TaskManager陸續的因為心跳超時而掛掉。
2.SAS、SATA與SSD 磁盤的選擇與對比
???????IOPS (Input/Output Per Second)即每秒的輸入輸出量(或讀寫次數)，是衡量磁盤性能的主要指標之一。IOPS是指單位時間內系統能處理的I/O請求數量，I/O請求通常為讀或寫數據操作請求。對于隨機讀寫頻繁的應用，如OLTP(Online Transaction Processing)，IOPS是關鍵衡量指標。
???????吞吐量(Throughput)，指單位時間內可以成功傳輸的數據數量。對于大量順序讀寫的應用，如VOD(Video On Demand)，則更關注吞吐量指標。
???????一般SSD的IOPS是普通磁盤的千倍以上，但是吞吐量只是普通磁盤的2倍左右。所以如果我們的業務是順序讀寫偏多的則建議選用普通SAS盤（如存儲形業務，以及Hive的文本數據分析），但是如果我們的業務是隨機讀寫偏多，那么選擇SSD 更劃算（如采用列存儲的系統，以及YDB的索引系統）
???????如下圖所示，普通磁盤的IOPS與SSD磁盤的性能相差懸殊，特別是企業級SSD磁盤，能相差千倍以上。
?
?
???????吞吐量：連續讀寫速度，性能提升在2倍左右。
?
?
?
3.SSD的顆粒請不要選擇TLC
TLC的壽命太短，雖然便宜，但是用不了幾個月就基本報廢，一般個人電腦使用。不適合企業級使用，性價比較好的建議選用MLC顆粒。
?
SSD顆粒目前主要分三種：SLC、MLC和TLC
??????SLC=Single-LevelCell，即1bit/cell，速度快壽命長，價格超貴（約MLC3倍以上的價格），約10萬次擦寫壽命?
???????MLC=Multi-LevelCell，即2bit/cell，速度一般壽命一般，價格一般，約3000---10000次擦寫壽命?
???????TLC=Trinary-LevelCell，即3bit/cell，也有Flash廠家叫8LC，速度相對慢壽命相對短，價格便宜，約500次擦寫壽命，目前還沒有廠家能做到1000次擦寫。
??????簡單地說SLC的性能最優，價格超高。一般用作企業級或高端發燒友。MLC性能夠用，價格適中為消費級SSD應用主流，TLC綜合性能最低，價格最便宜。但可以通過高性能主控、主控算法來彌補、提高TLC閃存的性能。
?
?
4.延云YDB建議的硬件配置
一、延云YDB最低配置
1.內存：32G
2.磁盤：
?????????????離線模式：至少2塊獨立的物理硬盤分別用于HDFS數據盤、系統盤。
?????????????實時模式：至少3塊獨立的物理磁盤分別用于Kafka數據盤,、HDFS數據盤、系統盤
3.CPU:至少8線程（1顆,4核,8線程）
二、如下場景，延云將不再提供安裝技術支持
1.低于最低配置要求的用戶。
2.32位系統的用戶：這類系統最大只有4G內存。
三、延云YDB高性能配置 (毫秒響應)
1.機器內存：128G
2.磁盤：企業級SSD，600~800G*12個磁盤
3.CPU：32線程（2顆,16核,32線程）
4.萬兆網卡
三、延云YDB常規配置 （秒級響應）
1.機器內存：128G
2.磁盤：2T*12的磁盤
3.CPU：24線程（2顆,12核,24線程）
4.千兆網卡
?
?
二、磁盤如何掛載？
????1.邏輯卷的問題
??????一般很多Linux的默認安裝，會將磁盤直接以邏輯卷的方式掛載，邏輯卷的優點是后期的擴容以及調整磁盤非常的方便，看著比RAID好用多了，但是默認的邏輯卷配置方式是只有一塊盤在工作 ，其他幾塊盤都閑著，發揮不出來多塊盤的性能，也就是說如果在邏輯卷里面掛了10塊盤，那么默認的邏輯卷的配置，只能發揮出一塊盤的性能。所以對于YDB系統來說，大家不要使用邏輯卷。
????2.關于RAID
??????有些客戶比較擔心數據丟失，將磁盤做了RAID10或者RAID5，其實這樣是沒有必要的，因為本身默認配置Hadoop是有三份副本的，并不怕磁盤損壞。RAID10與RAID5會導致磁盤容量只有原先的一半，由于需要雙寫，磁盤整體吞吐量降低了一倍。而且RAID5一旦損壞了一塊磁盤，就需要通過奇偶校驗還原數據，讀的吞吐量直接降低到原先了五分之一，而且更換新盤后，通過校驗要還原原先盤的數據的時候，經常會發生雪崩現象，IO瞬間增大，導致其他盤陸續的跟著掛掉。所以對于YDB系統來說，不推薦使用RAID 10或RAID5.還有一些客戶，會將所有的盤都做成一個完整的RAID0，RAID0的缺點就是一塊盤損壞，整個系統就壞掉，但是RAID0確實會比單塊磁盤速度好，所以如果能做raid0我更推薦2個盤組成一起做一個RAID0,而不是整體所有磁盤都做成一個RAID0.
????3.關于系統盤與數據盤
??????好多客戶，在掛盤的時候，為了節省磁盤空間，更充分的利用資源，會將一個8T的物理磁盤劃分成兩個邏輯分區，一個邏輯分區作為系統盤，另一個邏輯分區作為數據盤。但是數據盤一般會比較繁忙的，但是由于他們底層都共用的是同一塊物理磁盤，就會導致系統盤實際上也會特別繁忙，系統盤繁忙會導致整個系統會變的非常的慢，執行任何Linux命令都很慢，Socket連接建立也緩慢，很多系統會因此而超時斷線，所以延云YDB建議操作系統要獨立一塊磁盤,數據盤不要與操作系統共用同一塊盤，否則數據盤很慢的時候，運行在操作系統上的軟件都跟著慢，ZooKeeper之類的服務也很容易掛掉。
??????另外還有一部分客戶，可能因某種習慣，默認會給系統盤的跟目錄預留的存儲空間特別小，比如說只預留了10~30個G的空間，這樣其實對大數據系統來說風險較大，以Ambari為例，他的log默認是記錄在/var/log下的，這30G的空間會很快的被LOG記滿，大家都知道一旦操作系統根目錄滿了意味著什么？ 將是所有服務不可用，這樣隱患太大了。所以延云建議系統跟目錄盡量留大一點的磁盤空間，如200G,默認CentOS給分配50G空間也太小，如果Hadoop等日志沒有及時清理掉，將來隱患較大
?
?
????4.關于磁盤陣列與云
??????有相當一部分的客戶使用云服務器，將機器虛擬化后確實節省了很多的資源，提高了硬件的利用率。目前的云服務器有相當一部分的解決方案是采用外掛存儲的方式將磁盤統一的掛載到遠程的一個磁盤陣列上去。這個時候磁盤陣列是單點，一旦發生斷電或者磁盤陣列出現問題，因為Hadoop的三分副本都存儲在這一個磁盤陣列上，一但丟失就會導致整個Hadoop集群不可用。如果有條件，我更建議做多個磁盤陣列而不是一個磁盤陣列單點，這樣通過Hadoop的機架策略，可以將 Hadoop 的三份副本分別存儲在不同的磁盤陣列上，NameNode以及SNameNode也分別存儲在不同的磁盤陣列上，這樣即使其中一個磁盤陣列出現了故障，我們的Hadoop也能夠恢復服務，而且不丟數據。
??????另外由于虛擬化以后，一個真實的物理機上面可能會開多個虛擬機，如果這個物理機硬件發生損壞，這個物理機上的虛擬機也有異常，三個副本都存儲在這臺機器上的文件的數據會丟失，延云建議虛擬機廠商與Hadoop廠商協同，采用Hadoop機架技術，將位于同一物理機上的虛擬機標記在同一個機架上，以免造成數據丟失。
??????虛擬化后也存在系統盤與數據盤的問題，雖然在虛擬機里看到了系統盤與數據盤確實分離了，但是在物理機上有可能是在虛擬機A里面的系統盤，又作為了虛擬機B的數據盤，這樣當虛擬機B的數據盤特別繁忙的時候，會造成虛擬機A的響應非常慢。針對這種情況延云YDB建議，將物理機的磁盤分類，一些磁盤專門用于掛系統盤，一些磁盤專門用于掛數據盤，不允許交叉使用，即不允許一個物理盤即掛數據盤又被掛成系統盤
????5.將大磁盤空間的硬盤與小磁盤空間的硬盤混合掛載
??????可能是處于歷史原因，部分客戶的系統上出現了大小盤混合掛載的情況，比如說10塊磁盤，有的是300G，有的是8T的磁盤，他們混搭在一起。但是目前的hadoop對這樣的盤支持的并不友好，會出現300G的硬盤已經滿了，8T的硬盤還沒使用到原先的十分之一的情況，針對這種情況，延云建議數據盤盡量大小一樣，別出現有的盤很大，有的盤很小的情況。那種300G的磁盤還是留作操作系統盤為好。
?
?
三、操作系統如何選擇
1.延云推薦使用CentOS 6.6,6.5的系統（請不要使用CentOS7）
2.盡量選擇安裝英文語言環境，中文版Ambari有時會有問題，。
3.安裝桌面版，請別安裝最簡版。
4.配置系統的yum源，如果部署Ambari會用到。
?
??????開源世界確實好，選擇很多，但是意味著也坑很多。
??????對于YDB來說，是不挑操作系統版本的，只要您的系統能安裝上Hadoop,那么YDB一般都能運行起來。甚至有些同學還在MAC上調試YDB。但是如果您是要運行在生產系統上，操作系統的選擇就尤為重要了。
??????CentOS7筆者在其中一個客戶下踩了一個巨坑，一個內核的BUG導致系統不斷重啟，所以對比較新的內核版本還是比較畏懼，所以筆者不是特別推薦大家使用比較新的系統，建議大家選用經過較多生產系統上驗證過的穩定版本。如果非要推薦一個版本，那么延云推薦使用Centos 6.6的系統，因為延云的日常開發與測試均在這個版本上進行。
??????CentOS7我們當時踩的坑叫Transparent Huge Pages (THP)的BUG，在負載高的時候會造成機器的反復重啟，并且從HDP官方也證實了這個BUG，http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_performance.html,但是我們按照上面的方法進行設置后，機器不重啟了，但是依然發生偶爾斷網的情況。
?
四、操作系統設置
1.Ulimit配置
??????操作系統默認只能打開1024個文件，打開的文件超過這個數發現程序會有“too many open files”的錯誤，1024對于大數據系統來說顯然是不夠的，如果不設置，基本上整個大數據系統是“不可用的”，根本不能用于生產環境。
??????配置方法如下：
echo?"*??soft????nofile??128000" >> /etc/security/limits.conf
echo?"*??hard????nofile??128000" >> /etc/security/limits.conf
echo?"*??soft????nproc??128000" >> /etc/security/limits.conf
echo?"*??hard????nproc??128000" >> /etc/security/limits.conf
cat /etc/security/limits.conf
sed -i 's/1024/unlimited/' /etc/security/limits.d/90-nproc.conf
cat/etc/security/limits.d/90-nproc.conf
ulimit -SHn128000
ulimit -SHu 128000
2.Swap的問題
??????在10~20年前一臺服務器的內存非常有限，64m~128m，所以通過swap可以將磁盤的一部分空間用于內存。但是現今我們的服務器內存普遍達到了64G以上，內存已經不再那么稀缺，但是內存的讀取速度與磁盤的讀取相差倍數太大，如果我們某段程序使用的內存映射到了磁盤上，將會對程序的性能照成非常嚴重的影響，甚至導致整個服務的癱瘓。對于YDB系統來說，要求一定要禁止使用Swap.
??????禁用方法如下，讓操作系統盡量不使用Swap：
echo?"vm.swappiness=1" >> /etc/sysctl.conf
sysctl -p
sysctl -a|grep swappiness
?
3.網絡配置優化
echo?"?net.core.somaxconn = 32768?" >> /etc/sysctl.conf
sysctl -p
sysctl -a|grepsomaxconn
?
4.SSH無密碼登錄
安裝 Hadoop與Ambari均需要無密碼登錄
設置方法請參考如下命令
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
?
ssh-copy-id root@ydbslave01
ssh-copy-id root@ydbslave02
…..
5.關閉防火墻
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT
chkconfig iptables off
/etc/init.d/iptables stop
service iptables stop
iptables -F
?
6.配置機器名,以及hosts域名解析
hostname ydbmaster
vi /etc/sysconfig/network
vi /etc/hosts
?
切記 hosts文件中 不要將localhost給注釋掉，并且配置完畢后，執行下 hostname -f 看下 是否能識別出域名
?
7.setenforce與Umask配置
?setenforce
setenforce 0
sed -i 's/enabled=1/enabled=0/' /etc/yum/pluginconf.d/refresh-packagekit.conf
cat /etc/yum/pluginconf.d/refresh-packagekit.conf
?Umask
umask 0022
echo umask 0022 >> /etc/profile
8.檢查/proc/sys/vm/overcommit_memory的配置值
???如果為2，建議修改為0，否則有可能會出現，明明機器可用物理內存很多，但JVM確申請不了內存的情況。
9.語言環境配置
先修改機器的語言環境
#vi /etc/sysconfig/i18n
LANG="en_US.UTF-8"
SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"
SYSFONT="latarcyrheb-sun16"
然后配置環境變量為utf8
echo "export LANG=en_US.UTF-8 " >> ~/.bashrc
source ~/.bashrc
export|grep LANG
?
10.配置時間同步
??????Hadoop，YDB等均要求機器時鐘同步，否則機器時間相差較大，整個集群服務就會不正常，所以一定要配置。建議配置NTP服務。
集群時間必須同步，不然會有嚴重問題
參考資料如下：http://www.linuxidc.com/Linux/2009-02/18313.htm
?
11.JDK安裝部署
??????YDB支持JDK1.7,JDK1.8，為了便于管理和使用，建議使用YDB隨機提供的JDK1.8
建議統一安裝到/opt/ydbsoftware路徑下。
?
12.環境變量
請大家千萬不要在公共的環境變量配置HIVE、Spark、LUCENE、HADOOP等環境變量，以免相互沖突。
13.請檢查盤符，不要含有中文
??????尤其是Ambari，有些時候，使用U盤或移動硬盤復制軟件，如果這個移動硬盤掛載點是中文路徑，這時在安裝Ambari的時候會出現問題，一定要注意這個問題。
?
14.檢查磁盤空間，使用率不得超過90%
??????默認Yarn會為每臺機器保留10%的空間，如果剩余空間較少，Yarn就會停掉這些機器上的進程，并出現Container?released on a *lost* node錯誤。
?
15.關鍵日志，定時清理，以免時間久了磁盤滿了
如可以編輯crontab -e 每小時，清理一次日志，尤其是hadoop日志，特別占磁盤空間
?
0 */1 * * * find?/var/log/hadoop/hdfs??-type f -mmin +1440 |grep -E "\.log\." |xargs rm -rf
?
?
?
?
?
?
?
第五章非HDP版Hadoop基礎服務配置要點
一、Hadoop服務-注意事項
1)NameNode:是HDFS的主節點，是Hadoop最至關重要的服務，一旦出問題，整個集群都不可用，NameNode的editlog與image目錄，一定要配置多盤，設置冗余，如果有必要，配置RAID 10。
2)SNameNode：是Namenode的備份節點，一旦NameNode機器損壞，可以通過SNameNode恢復數據，故YDB要求一定要啟動SNameNode服務，并且SNameNode不可與NameNode位于同一個物理機上?。
3)雙NameNode HA:為了高可用，有些客戶會啟用HA，延云不建議啟用HA，如果必須啟用一定要確保首節點為Active狀態，而不是Stand by狀態，否則整個集群的NameNode響應會比較慢，從而影響整個集群的響應速度。
4)一定要確保dfs.datanode.data.dir與yarn.nodemanager.local-dirs的目錄配置的是所有的數據盤，而不是配給了系統盤，特別多的用戶在初次安裝Hadoop的時候忘記配置這個，導致默認將數據都存儲在了/tmp目錄。另外系統盤一定要與數據盤分離，否則磁盤特別繁忙的時候會造成操作系統很繁忙，ZooKeeper之類的容易掛掉。
5)規劃好Hadoop的logs目錄，盡量分給一個大點磁盤存儲空間的目錄，否則經常會出現導入幾十億數據后，logs目錄將系統/var/log給撐滿，占用率100%
6)確保將來準備分配給YDB的HDFS目錄有讀寫權限，建議第一次新手安裝，取消HDFS的權限驗證，配置dfs.permissions.enabled?為false，并重啟集群。
7)Hadoop的logs目錄要配置上定期清理，以免時間久了，硬盤被撐爆。
8)確保HDFS安裝成功，一定要手工通過hadoop??-put命令，上傳一個文件試一試。
9)打開8088，檢查Yarn是否啟動成功， VCores Total \Memory Total 分配的是否正確。經常有朋友忘記更改Yarn的默認配置導致一臺128G內存的機器最多只能啟動2個進程，只能使用8G內存。
10)yarn.nodemanager.resource.memory-mb用于配置Yarn當前機器的可用內存，通常配置當前機器剩余可用內存的80%.
11)yarn.scheduler.minimum-allocation-mb為一個Yarn?Container申請內存的最小計費單位，建議調小一些，如128，讓計費更精準.
12)yarn.scheduler.maximum-allocation-mb為一個Yarn container可以申請最大的內存，建議調整為32768 （不一定真用到這些）
13)不建議啟用CGROUPS，進行CPU隔離，對于即席系統來說，盡量充分利用資源。
14)yarn.nodemanager.resource.cpu-vcores 當前機器可以啟動的Yarn container的數量，建議配置為當前機器的cpu的線程數的80%。
15)yarn.scheduler.maximum-allocation-vcores配置的稍微大一些，以便單個container能夠多啟動一些線程。
16)yarn.nodemanager.pmem-check-enabled與yarn.nodemanager.vmem-check-enabled一定要都配置成false，因為1.6版本的Spark有BUG，會使用較多的堆外內存，Yarn會kill掉相關container，造成服務的不穩定。
17)檢查mapreduce.application.classpath 里面的值是否有配置的jar包并不存在，典型的情況下是找不到lzo的包（許多廠商的安裝部署會配置該參數）。如果有的jar包找不到，建議注釋掉相關依賴，否則可能會造成YDB啟動失敗，如默認的HDP集群就要將其中的lzo的配置給注釋掉/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar；如果是紅象云騰Power版本在最后加上這個 /usr/crh/4.1.5/hadoop/share/hadoop/tools/lib/*
18)為了便于查找問題，我們一般保留7天的Hadoop日志，可以配置Yarn日志清理yarn.nodemanager.delete.debug-delay-sec?????為??604800 （7天）
19)調整dfs.datanode.max.transfer.threads的值，默認4096太小，建議調整為10240
20)調整ipc.server.listen.queue.size為32768
21)調整yarn.resourcemanager.am.max-attempts的值為10000000，默認的2次太小，客戶測試過程反復的kill就會導致整個任務失敗。
二、Spark 需要使用延云提供的spark版本
1)無需配置，只需要解壓開放到指定目錄即可，我們一般解壓到/opt/ydbsoftware/spark
2)請大家不要啟動spark服務，YDB本身會自己調用Spark啟動服務，無須我們額外為Spark啟動服務。
三、ZooKeeper服務注意事項
第一：要探測ZooKeeper的2181端口是否啟動 可以通過netstat –npl|grep 2181來查看
第二：ZooKeeper的數據目錄別與HDFS的數據盤放在一起，盡量獨立一個磁盤，或者放在系統盤，否則數據盤特別繁忙的時候ZooKeeper本身非常容易掛掉。如果機器富余，建議將ZK單獨部署一個集群，不要混搭，如果因機制資源有限，必須混搭，請將zookeeper部署在通常來說負載不很很高的Master節點。
第三：ZooKeeper的日志清理要打開，否則會出現系統運行幾個月后，ZooKeeper所在的磁盤硬盤變滿的情況，將zoo.cfg里的這兩個配置項注釋開即可：
autopurge.purgeInterval=24
autopurge.snapRetainCount=30
第四：YDB使用的ZK的版本一定要與ZK的版本一致，如果不一致請更換ya100/lib下的zookeeper相關jar包。
?
?
四、Kafka注意事項
如果kafka配置的不好， 會發生比較嚴重的數據傾斜，而且在壓力較大的情況會導致數據丟失。所以跟Kafka有關的如下配置，請一定要認真閱讀
注意kafka server 的num.partitions一定要大于總分片數的兩倍，否則有的進程消費不到數據，導致數據傾斜。YDB的總分片數為YA100_EXECUTORS*（spark.executor.max.usedcores）；
注：spark.executor.max.usedcores默認（沒有配置）為2個，表示每個進程會啟動2個分片。
l數據丟失根本問題在于磁盤與網絡是否繁忙！！！！！！
如果磁盤長時間使用率100%，必出現丟數據，會出現如下異常，配置的kafka retry機制無效
l如果我們先前采用的send方法沒使用callback，一旦消息發送失敗，我們沒有處理異常的話，這個消息就丟了。
這個問題如何解決？
1)如果有條件，Kafka盡量獨立集群，最低要求也一定要獨立磁盤，并且寫入限速
獨立磁盤是解決問題的根本，磁盤很繁忙的情況下，broker出錯的概率很大。
2)send 里面的callback，如果是異常一定要自己做容錯處理
發現send函數里的callback，一定要對Exception exception不是null的情況做重試處理，一定要處理，根據判斷重試幾次。
3)調整kafka的參數
a)建議在Producter端增加如下參數
????????props.put("compression.type", "gzip");
????????props.put("linger.ms", "50");
????????props.put("acks", "all");
????????props.put("retries ", 30);
????????props.put("reconnect.backoff.ms ", 20000);
????????props.put("retry.backoff.ms", 20000);
b)在Server端的broker增加如下配置
| ? |
| ? |
| ? |
?
?
?
?
第六章非HDP版本的YDB部署
一、安裝前的準備
請參考第三章基本環境注意事項，第四章的依賴的服務注意事項，準備基礎環境，這個很重要。
二、YDB軟件下載
從http://url.cn/42R4CG8獲取延云軟件
1)下載延云YDB
2)延云YDB提供的Spark
注意一定要使用延云提供的Spark，不能從其他地方下載
該Spark延云修正了一些BUG，以及在SQL解析上做了處理
3)JDK1.8
?
?
?
三、特殊版本的Spark的編譯
???????如果我們的Hadoop版本比較特殊，大家可以從延云下載Spark源碼執行進行編譯。
編譯示例如下：
修改源碼包里面的ydb.combile.sh，將里面的hadoop改成我們對應的版本。
?
然后直接運行 sh ./ydb.compile.sh 即可，編譯時間取決于我們的網絡，首次編譯時間估計會非常長，可以先下載延云提供的repository.tar.gz，以減少訪問國外網絡的下載時間。
四、軟件解壓
解壓到/opt/ydbsoftware目錄下，最后可以看到目錄結構是這樣的
conf目錄是YDB的所有配置文件，bin目錄是YDB的執行文件
?
?
五、配置conf目錄下的ya100_env.sh環境變量
1.基本環境配置
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HADOOP_HOME=/usr/hdp/current/hadoop-client
export JAVA_HOME=/usr/jdk64/jdk1.8.0_60
export SPARK_HOME=/root/software/spark-1.6.1
注意：配置過后大家一定要手工驗證下，相關目錄的配置文件是否真的存在
2.配置內存與啟動的并發數
#為啟動的進程數量，切記不要超過Yarn總的VCores的數量-1
#建議每臺機器配置CPU線程數的一半，如12個；
#如果有3臺機器，每臺機器配置12個的話那么下面這項的值要寫36，不要只寫12
export YA100_EXECUTORS=12
?
#啟動的進程，每個給分配多少內存
#YA100_EXECUTORS*YA100_MEMORY的大小建議為yarn總內存的3/5（剩下的留給操作系統）
#關于內存控制參數的詳細說明，請閱讀example下的《3.大家需要了解的幾個內存控制的參數.txt》說明
#常規128G內存的機器，建議配置為6000m~7000m
export YA100_MEMORY=6000m
?
#每個進程內啟動的線程數，一般不需要修改
#配置值不可超過Yarn的yarn.scheduler.maximum-allocation-vcores的值
#建議默認配置為5~9
export YA100_CORES=5
#ydb 的JDBC接口程序分配的內存，建議6000m以上
export YA100_DRIVER_MEMORY=6000m
?
?
六、配置conf目錄下的ydb_site.yaml環境變量
該文件的配置非常容易出錯，要注意如下幾點：
1.文件格式必須為UTF8格式，切記切記
2.每個配置項的開頭必須有個空格，而不TAB
3.配置文件中別出現TAB
4.注意每個KEY : VALUE 之間是有一個空格的，如果value是字符串類型，要用雙引號括起來
配置項說明如下：
1.配置 YDB的存儲路徑的配置 ydb.hdfs.path
注意YDB的存儲路徑與ya100的存儲路徑不是一個，要分別配置成不同的路徑，不能重復
ya100的默認存儲路徑在conf目錄下的hive-site.xml中的hive.metastore.warehouse.dir
Ya100的每張表的存儲路徑也可以再創建表的時候由location來指定。
2.配置Ydb在實時導入過程中，所使用的臨時目錄ydb.reader.rawdata.hdfs.path
3.配置ydb http ui服務的端口 ydb.httpserver.port 默認為1210
4.配置ydb依賴的zookeeper：storm.zookeeper.servers 與 storm.zookeeper.root
?
?
七、其他ya100/conf目錄下的配置文件的說明
hive-site.xml hive表的配置，如果想要更改Hive的一些配置，如將Hive的元數據寫入到數據庫里，可修改此文件。
spark-defaults.conf 用于配置Spark，如果需要修改Spark的默認調度規則，可以修改此配置。
init.sql 為ya100啟動時候的初始化方法，如果我們的業務需要自定義UDF，可以考慮將自定義UDF語句放到這里，通過init.sh來執行
driver.log.properties為接口程序的log4j的配置，默認日志記錄在logs目錄下
worker.log.properties為ya100的工作進程的log4j的配置，默認記錄在每臺機器的Yarn的工作目錄下。如果不想Yarn清理掉，可以通過改文件改變日志的存儲的路徑，為了日常運維調試的方便，我們都建議修改，但一定要注意每臺機器目錄的權限。
八、開始部署延云YDB-服務的啟動與檢查
進入bin目錄，執行chmod a+x *.sh
第一：ydb
./restart-all.sh 或 ./start-all.sh
第二：spark 服務檢查：
1.tail??-f ../logs/ya100.log 看是否有報錯，當出現如下的日志，表示啟動成功
2.打開yarn的8088頁面，看啟動的container數量以及內存的時候是否正確
3.看下面是否有ya100 on spark的任務，點擊對應的Application Master看是否能打開Spark的UI頁面
?
?
?
第三：YDB服務檢查
1.通過瀏覽器打開:1210頁面，看是否能打開
2.點開“work工作進程列表”看啟動的worker數量是否與在ya100_env.sh里配置的YA100_EXECUTORS數量一致
第四：服務的停止
./stop-all.sh
轉載于:https://www.cnblogs.com/hd-zg/p/7115102.html
總結
以上是生活随笔為你收集整理的基于原版Hadoop的YDB部署（转）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： for循环与闭包
- 下一篇： HDU 5890 Eighty seve