关于yarn.nodemanager.vmem-pmem-ratio的通俗解释
生活随笔
收集整理的這篇文章主要介紹了
关于yarn.nodemanager.vmem-pmem-ratio的通俗解释
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
這個(gè)東西就是虛擬內(nèi)存,
扯皮起來(lái)的話,要回到上古時(shí)代x86系統(tǒng),
那個(gè)年代內(nèi)存超級(jí)貴,于是從硬盤(pán)借用空間,模擬出一個(gè)內(nèi)存空間,所以稱為虛擬內(nèi)存。
那么這里的ratio是啥意思呢?
因?yàn)樘摂M內(nèi)存的性能比真實(shí)性能差一些,所以spark的yarn-site.xml中有這個(gè)的變量的意思是:
在物理內(nèi)存不夠用的情況下,如果占用了大量虛擬內(nèi)存并且超過(guò)了一定閾值,那么就認(rèn)為當(dāng)前集群的性能比較差,直接讓你的終端報(bào)個(gè)錯(cuò)提醒你。
spark中的虛擬內(nèi)存和操作系統(tǒng)中的虛擬內(nèi)存是不是一個(gè)東西?
答案:是的[1]
Reference:
[1]YARN 內(nèi)存參數(shù)終極詳解
總結(jié)
以上是生活随笔為你收集整理的关于yarn.nodemanager.vmem-pmem-ratio的通俗解释的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 搭建多商户商城系统的好处有哪些
- 下一篇: Failed to connect to