smp架構(gòu)與numa架構(gòu)

是時(shí)候部署您的應(yīng)用程序了，期待著采購(gòu)最適合負(fù)載要求的硬件。 如今，具有40核或80核的包裝盒非常普遍。 總體概念是更多的內(nèi)核，更多的處理能力，更多的吞吐量。 但是我看到了一些相反的結(jié)果，表明在80核心盒上進(jìn)行的小型CPU密集型測(cè)試運(yùn)行要比較小的40核心盒上的運(yùn)行慢。

這些具有巨大內(nèi)核的盒子帶有非統(tǒng)一內(nèi)存訪問（NUMA）架構(gòu)。 NUMA是可提高本地節(jié)點(diǎn)的內(nèi)存訪問性能的體系結(jié)構(gòu)。 這些新的硬件盒分為稱為節(jié)點(diǎn)的不同區(qū)域。 這些節(jié)點(diǎn)具有一定數(shù)量的核心，并分配有一部分內(nèi)存。 因此，對(duì)于具有1 TB RAM和80個(gè)核心的機(jī)箱，我們有4個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)具有20個(gè)核心和256 GB的內(nèi)存分配。

您可以使用命令numactl --hardware

>numactl --hardware available: 4 nodes (0-3) node 0 size: 258508 MB node 0 free: 186566 MB node 1 size: 258560 MB node 1 free: 237408 MB node 2 size: 258560 MB node 2 free: 234198 MB node 3 size: 256540 MB node 3 free: 237182 MB node distances: node 0 1 2 3 0: 10 20 20 20 1: 20 10 20 20 2: 20 20 10 20 3: 20 20 20 10

JVM啟動(dòng)時(shí)，它將啟動(dòng)線程，這些線程是在某些隨機(jī)節(jié)點(diǎn)的內(nèi)核上調(diào)度的。 每個(gè)線程都盡可能快地使用其本地內(nèi)存。 線程可能在某個(gè)時(shí)候處于WAITING狀態(tài)，并在CPU上重新調(diào)度。 這次不能保證它將在同一節(jié)點(diǎn)上。 現(xiàn)在這一次，它必須訪問一個(gè)遠(yuǎn)程存儲(chǔ)位置，這會(huì)增加延遲。 遠(yuǎn)程存儲(chǔ)器訪問速度較慢，因?yàn)橹噶畋仨毐闅v互連鏈路，從而引入額外的躍點(diǎn)。

Linux命令numactl提供了一種僅將進(jìn)程綁定到某些節(jié)點(diǎn)的方法。 它將進(jìn)程鎖定到特定的節(jié)點(diǎn)以執(zhí)行和分配內(nèi)存。 如果將JVM實(shí)例鎖定到單個(gè)節(jié)點(diǎn)，則將刪除節(jié)點(diǎn)間的流量，并且所有內(nèi)存訪問都將在快速本地內(nèi)存上進(jìn)行。

numactl --cpunodebind=nodes, -c nodes Only execute process on the CPUs of nodes.

創(chuàng)建了一個(gè)小型測(cè)試，該測(cè)試試圖序列化一個(gè)大對(duì)象并計(jì)算每秒的事務(wù)和延遲。

要執(zhí)行綁定到一個(gè)節(jié)點(diǎn)的Java進(jìn)程，請(qǐng)執(zhí)行

numactl --cpunodebind=0 java -Dthreads=10 -jar serializationTest.jar

將此測(cè)試運(yùn)行在兩個(gè)不同的盒子上。

盒子A
4個(gè)CPU x 10核x 2（超線程）=總共80核
節(jié)點(diǎn)：0,1,2,3

方塊B
2個(gè)CPU x 10個(gè)內(nèi)核x 2個(gè)（超線程）=總共40個(gè)內(nèi)核
節(jié)點(diǎn)：0,1

CPU速度：兩者均為2.4 GHz。
默認(rèn)設(shè)置也使用包裝盒上所有可用的節(jié)點(diǎn)。

框	NUMA政策	TPS	延遲 （平均）	延遲 （分鐘）
一個(gè)	默認(rèn)	261	37	18
乙	默認(rèn)	387	25	5
一個(gè)	–cpunodebind = 0,1	405	23	3
乙	–cpunodebind = 0	1,613	5	3
一個(gè)	–cpunodebind = 0	1,619	5	3

因此，我們可以推斷，與“ 2個(gè)節(jié)點(diǎn)” Box B上的默認(rèn)設(shè)置相比，“節(jié)點(diǎn)較多”的Box A上的默認(rèn)設(shè)置在“ CPU密集型”測(cè)試中的性能較低。但是，由于我們僅將流程綁定到2個(gè)節(jié)點(diǎn)，因此它的性能相同更好。 可能是因?yàn)樗墓?jié)點(diǎn)跳數(shù)更少，并且在同一節(jié)點(diǎn)上重新安排線程的概率增加到50％。

當(dāng)--cpunodebind=0 ，它的表現(xiàn)優(yōu)于所有情況。

注意：以上測(cè)試是在10個(gè)內(nèi)核上使用10個(gè)線程運(yùn)行的。

測(cè)試罐： 下載
測(cè)試源： 下載

參考：來自我們的JCG合作伙伴 Himadri Singh的NUMA和Java ，在Billions＆Terabytes博客上。

翻譯自: https://www.javacodegeeks.com/2012/09/numa-architecture-and-java.html

smp架構(gòu)與numa架構(gòu)

總結(jié)

以上是生活随笔為你收集整理的smp架构与numa架构_NUMA架构和Java的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。