多CPU架構(gòu)演進(jìn)

對稱多處理器結(jié)構(gòu)：(SMP，Symmetric Multi-Processor)

服務(wù)器最開始的時候是單CPU，然后才進(jìn)化到了雙CPU甚至多CPU的SMP架構(gòu)。所謂SMP架構(gòu)指的是多路CPU無主次，共享內(nèi)存、總線、操作系統(tǒng)等。此時每個CPU訪問內(nèi)存任何地址所耗費(fèi)的時間是相等的。所以也稱為一致存儲器訪問結(jié)構(gòu)

大家共享同樣的內(nèi)存，所以擴(kuò)展能力有限，因?yàn)镃PU數(shù)量增加了，內(nèi)存訪問沖突也會增加。為了進(jìn)一步提高CPU數(shù)量的同時還能保證效率，NUMA架構(gòu)出現(xiàn)了，將多個SMP進(jìn)行松耦合。

還有一種AMP架構(gòu)，不同的CPU是做不同的事的，互不干擾。

非一致存儲訪問結(jié)構(gòu)：(NUMA，Non-Uniform Memory Access)

NUMA架構(gòu)中，多個SMP通過Crossbar switch交換矩陣進(jìn)行互聯(lián)。
每個SMP有自己的內(nèi)存，同時還可以訪問其他SMP的內(nèi)存，但是需要經(jīng)過高速交換矩陣，很顯然SMP訪問自己的內(nèi)存速度非常高，但是訪問遠(yuǎn)端的SMP的內(nèi)存還需要經(jīng)過交換矩陣，延遲增加，可以看出NUMA通過犧牲內(nèi)存的訪問時延來達(dá)到更高的擴(kuò)展性。

總之，SMP與NUMA架構(gòu)對軟件程序方面影響擴(kuò)展性不大，一臺主機(jī)內(nèi)都使用單一的操作系統(tǒng)。
缺點(diǎn)是CPU數(shù)量增加，訪問遠(yuǎn)端內(nèi)存的時延也會增加，性能不能線性增加。此時MPP架構(gòu)就出現(xiàn)了。

海量并行處理結(jié)構(gòu)：(MPP，Massive Parallel Processing)

MPP說白了就是將多臺獨(dú)立的主機(jī)組成集群。顯然在此架構(gòu)下，每個節(jié)點(diǎn)都有各自的CPU、內(nèi)存、IO總線、操作系統(tǒng)，完全松耦合。最關(guān)鍵的是MPP集群中的軟件架構(gòu)也相應(yīng)的改變了，這樣MPP的效率隨節(jié)點(diǎn)數(shù)量增加就可以線性增加了。

其實(shí)如果NUMA架構(gòu)下，如果通過上層軟件來使得程序盡量少的讀取遠(yuǎn)端的內(nèi)存，NUMA效率也會線性增加。但是實(shí)際上NUMA操作系統(tǒng)仍然是同一個，內(nèi)存仍然是全局均勻的，所以訪問遠(yuǎn)端內(nèi)存是不可避免的。

那么MPP相當(dāng)于把內(nèi)存強(qiáng)制分開，同時又改變了程序架構(gòu)，這樣就可以保證海量計算下的效率線性增加。

存儲系統(tǒng)的演進(jìn)

存儲系統(tǒng)與服務(wù)器CPU架構(gòu)演進(jìn)相同，控制器就好比CPU，后端磁盤柜就類似于內(nèi)存。

• SMP
  縱觀存儲系統(tǒng)的演進(jìn)，一開始是單控，后來演進(jìn)到雙控互為備份，此時就類似于AMP，兩個控制器各自處理自己的任務(wù)。
  然后進(jìn)入到雙控并行處理的時代（HDS的AMS2000存儲系統(tǒng)），類似于SMP，兩個控制器可以并行的處理。
  再到后來則有多控并行對稱處理架構(gòu)，Oracle的RAC集群就可以視為一種多點(diǎn)SMP，各種共享底層存儲的集群文件系統(tǒng)都屬于多點(diǎn)對稱SMP
• NUMA
  同樣NUMA也出現(xiàn)在了存儲系統(tǒng)中，比如EMC的V-Max相當(dāng)于多個SMP利用高速交換矩陣來共享訪問每個SMP上的內(nèi)存，其中SMP就是一對控制器組成的Director，高速交換矩陣就是RapidIO
• MPP
  • 那么IBM的XIV就屬于松耦合MPP架構(gòu)，每個節(jié)點(diǎn)都有自己的CPU、內(nèi)存、IO接口，使用外部的交換機(jī)互相通信。
  • 而HDS的VSP更像是一個緊耦合的MPP。
  • 另一種屬于MPP架構(gòu)的存儲系統(tǒng)就是分布式文件系統(tǒng)，比如HDFS等。
    MPP對軟件架構(gòu)變化很大，所以傳統(tǒng)存儲廠商很難將之前的架構(gòu)演進(jìn)到MPP上來。
    

誰才是真正的Scale-out

SMP/NUMA/MPP其實(shí)都算Scale-out，只不過程度和形態(tài)不同。
MPP架構(gòu)的存儲，比如XIV，在多路大塊連續(xù)的IO下，效率反而很差。這是因?yàn)?strong>單路IO可能導(dǎo)致整個MPP集群中的磁盤資源全部牽動

但是如果是小塊隨機(jī)的IO，多路IO關(guān)聯(lián)很少，則性能隨節(jié)點(diǎn)數(shù)增加線性增加，這就好比將一個程序并行分解為多個子任務(wù)（類似于隨機(jī)小IO），因?yàn)樽尤蝿?wù)之間的關(guān)聯(lián)很少，節(jié)點(diǎn)之間的通信量很小，則并行執(zhí)行的效率高。也就是MPP自身是share-Nothing架構(gòu)，運(yùn)行在上面的程序也盡可能的是Share-Nothing

SMP、NUMA、MPP各有各的好處，比如

• SMP適用于擴(kuò)展性要求不高，而又不想程序改變太大的場景。
• MPP則適用于海量數(shù)據(jù)下的高擴(kuò)展性需求場景。它需要對程序進(jìn)行大量的改變，而且多流大塊連續(xù)IO場景下性能不佳。所以MPP架構(gòu)廣泛的應(yīng)用于互聯(lián)網(wǎng)的底層Key-Value分布式數(shù)據(jù)庫，這種數(shù)據(jù)庫主要應(yīng)對高隨機(jī)小塊讀的場景，可以獲得非常高的性能。

參考

大話存儲II

轉(zhuǎn)載于:https://www.cnblogs.com/dy2903/p/8341268.html

總結(jié)

以上是生活随笔為你收集整理的【大话存储】多CPU架构变迁， SMP,NUMA,MPP的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。