1.1.HDP YARN MapReduce參數(shù)調(diào)優(yōu)建議

轉(zhuǎn)自：https://blog.csdn.net/mnasd/article/details/81202908

1.1.1.RM的內(nèi)存資源配置，配置的是資源調(diào)度相關(guān)

RM1：yarn.scheduler.minimum-allocation-mb 分配給AM單個(gè)容器可申請的最小內(nèi)存（默認(rèn)是1G）
RM2：yarn.scheduler.maximum-allocation-mb 分配給AM單個(gè)容器可申請的最大內(nèi)存（默認(rèn)是yarn.nodemanager.resource.memory-mb的值）

注：
?最小值可以計(jì)算一個(gè)節(jié)點(diǎn)最大Container數(shù)量（可以適當(dāng)調(diào)大一些，比如2GB）
?一旦設(shè)置，不可動(dòng)態(tài)改變

1.1.2.NM的內(nèi)存資源配置，配置的是硬件資源相關(guān)

NM1：yarn.nodemanager.resource.memory-mb 節(jié)點(diǎn)最大可用內(nèi)存
NM2：yarn.nodemanager.vmem-pmem-ratio 虛擬內(nèi)存率，默認(rèn)2.1 （可以是5，有些場景下如果內(nèi)存不足，會(huì)導(dǎo)致任務(wù)跑失敗）

注：
?RM1、RM2的值均不能大于NM1的值
?NM1可以計(jì)算節(jié)點(diǎn)最大最大Container數(shù)量，max(Container)=NM1/RM2

一旦設(shè)置，不可動(dòng)態(tài)改變

1.1.3.AM內(nèi)存配置相關(guān)參數(shù)，配置的是任務(wù)相關(guān)

總結(jié)

以上是生活随笔為你收集整理的手工计算YARN和MapReduce、tez内存配置设置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。