致謝

SMP、COW、PVP、MPP計算機相關_神.秘.人的博客-CSDN博客_并行向量處理機

1 并行計算機系統及結構模型

1.1 并行計算

在下面的講解之前，我們先看一下并行計算的量綱。

1.1.1 并行計算和計算機科學

隨著計算機和計算機學科的發展，所有的學科都轉向定量化和精確化，因此也出現了很多計算開頭的學科，如計算數學、計算物理、計算生物等。目前所有的學科可以歸結為三大類：即理論科學、實驗科學和計算科學。其中計算科學是一個交叉學科，用計算的方法來解決應用問題，但是其中的問題也暴露出來——很多理論模型復雜或尚未建立、實驗費用昂貴或無法進行。

為此，很多模型在無法實際操作的情況下，通過超級計算機的仿真模擬，可以初步探測該模型的可行性。比較常見的應用就是氣象局天氣預報、原子彈爆炸模擬等。

并行計算技術是一個國家的綜合國力的體現，并行計算在國民經濟、國防建設和科技發展中占有重要的戰略地位。在飛機設計、藥物設計、全球氣候預測、人類基因等巨大挑戰性問題時，并行計算機發揮了巨大的作用。

國家目前正在大力發展高性能計算，在軍事上，我國擁有銀河、神威等超級計算機；在民用上，我國擁有曙光、聯想等超級計算機。需要注意的是，在08年時，我國的國產高性能計算機就已經進入TOP500前十位，總數也在大幅增加。

1.1.2 當代科學與工程問題的計算需求

并行計算需求有很多種。一般分為計算密集型應用、數據密集型應用、通信密集型應用。

計算密集型應用應用于大型科學工程計算，數值模擬等，其應用領域通常在石油、氣象、CAD、核能、制藥、環境監測分析、系統仿真等。

數據密集型應用則應用于數字圖書館、數據倉庫、數據挖掘、計算可視化等，應用領域通常在圖書館、銀行、證券、稅務、決策支持系統等。

通信密集型應用應用于協同工作、網格計算、遙控和遠程診斷等。其應用領域通常在網站、信息中心、搜素引擎、電信、流媒體等。

1.2 并行計算機系統互連

1.2.1 系統互連

不同帶寬和距離的互連技術有多種，比較常用是：廣域網WAN、城域網MAN、局域網WAN、個人區域網PAN、總線。廣域網一般跨國，城域網一般城市，局域網一般一棟樓，個人區域網一般幾臺設備。其中廣域網使用了交換技術，而局域網使用的是廣播技術。如果是使用總線的話，總線是最快的，你可以理解為總結傳輸時不需要網絡，直接用一條USB連接的那種。

網絡性能指標一般由下面的參數來衡量：

• 節點度：射入或射出一個節點的邊數。在單向網絡中，入射和出射之和稱為節點度。
• 網絡直徑：網絡中任何兩個節點之間的最長距離，即最大路徑數。由于網絡直徑過長會導致兩臺計算機太遠，通信容易延遲，所以我們一般要求網絡直徑要盡可能的短。
• 對剖寬度：對分網絡各半所必須移去的最少邊數。
• 對剖帶寬：每秒內，在最小的對剖平面上通過所有連線的最大消息位數

1.2.2 靜態互連網絡

靜態互聯網絡是處理單元間有著固定連接的一類網絡，在程序執行期間，這種點到點的連接保持不變；典型靜態網絡有一維線性陣列、二維網孔、樹連接、超立方網絡、立方環、洗牌交換網、蝶狀網絡等。

換而言之，靜態互連網絡就是用一個鏈路把多個處理器連接起來，構成物理意義上的并行計算機，如果某個處理器想發信息給另外一個處理器，總是能通過這條鏈路來干這種事。

1.2.2.1 一維線性陣列（1-D Linear Array）

一維線性陣列可以看成是單鏈表，即每個節點只與左右相鄰相連，故其別名為二近鄰連接。N個結點用N-1條邊串聯而成，內結點度為2，直徑為N-1，對剖寬度為1。

這種結構雖然簡單方便，但是恢復性較差。而且首尾兩個計算機太遠了，時延也差。所以在構造并行計算機時基本不采用。

如果將上述網絡拓撲收尾節點重合，即可變為環。環可以是單向可以是雙向，其節點度也是2，直徑為N/2或N-1，對剖寬度為2。

1.2.2.2 二維網孔（2-D Mesh）

二維網孔是并行計算機中較為常用的。設二維網孔為$\sqrt{n}\times \sqrt{n}$大小。其每個節點只與其上下左右的近鄰相連，邊界除外，節點度為4，網絡直徑為$2\sqrt{N?1}$，對剖寬度為$\sqrt{N}$。

當然，二維網孔也有拓展類型，詳見下圖這里不再贅述。

1.2.2.3 樹結構

一般采用樹的網絡拓撲結構用的大多數是二叉樹。除了根、葉節點以外，每個內節點只與其父節點和子節點相連。

節點度為3，對剖寬度為1，而樹的直徑為2[logN]-1。如果盡量增加節點度，則直徑縮小為2，此時就變成了星型網絡，其對剖寬度為[n/2]。

傳統的二叉樹的主要問題是根容易成為通信瓶頸，且時延很低可恢復性也很差。，因而出現了新型的胖二叉樹。

胖樹的含義是：越往根部走，通信鏈路就越寬，這樣能夠有效避免根位置出現通信瓶頸的情況。

星型模式下處于中間位置的節點會成為通信瓶頸，因為所有的通信都要經由它傳輸。

1.2.2.4 超立方

當結點按正方體的模樣構建拓撲結構，每個角作為結點處，那么我們把這個拓撲結構叫做3-立方，將兩個3-立方對應頂點相連，則可以構成4-立方。以此類推，n-立方也可以這么干。

這樣的超立方結構雖然性能較好但是擴展性卻不好，因為每擴展一次立方，每個節點的度數變高，這樣擴展起來很麻煩。

我們也可以把正方體對應的角換成三節點環，就可以將拓撲結構變成立方環。

如果是4-立方，那么每個角就要換成4個結點構成的環。

1.2.2.5 小結

對于網絡拓撲結構來說，節點度數衡量其網絡的復雜度，而鏈路數衡量其網絡的代價。

1.2.3 動態互連網絡

動態網絡是用交換開關構成的，可按應用程序的要求動態地改變連接組態；典型的動態網絡包括總線、交叉開關和多級互連網絡等。

這種網絡比較普遍的是總線上面掛交換器。我們知道同一時間段中，一條總線只允許兩頭的設備進行信息交換，而在交換完成后，交換器可以將總線的端口改變，使其連接另外一個設備。通過這種方法，可以根據我們應用的需求，動態地選擇我們需要的設備。

1.2.4 嵌入

在互聯網絡中還有另外一個概念叫嵌入。其做法是將網絡中的各節點映射到另一個網絡中去。用膨脹系數來描述嵌入的質量，它是指被嵌入網絡中的一條鏈路在所要嵌入的網絡中對應所需的最大鏈路數。如果該系數為1，則稱為完美嵌入。

對于環網和超立方來說，兩者皆可被完美嵌入到2D環繞網中。

1.2.4 標準互連網絡

常用的標準互連網絡如下：

• 光纖分布式數據接口(FDDI)
• 快速以太網
• Myrinet
• SCI
• InfiniBand

1.3 并行計算機系統結構

1.3.1 并行計算機結構模型

1.3.1.1 PVP

PVP也叫并行向量處理機(Parallel Vector Processor)，其內部含有為數不多、功能強大的定制向量處理器，以及定制的高帶寬縱橫交叉開關和高速數據訪問。其價格十分昂貴，因為其組件都需定制，一般適用于國家部門。

1.3.1.2 SMP

SMP也叫對稱多處理機。其訪存、IO都是對稱的。其用的處理器大多數是商用處理器。

目前SMP需要解決的主要問題是Cache的一致性問題。多級高速緩存可以支持數據的局部性，而其一致性可由硬件來增強。大多數SMP系統都是基于總線連接的，占據了并行計算機市場中很大的份額。

1.3.1.3 MMP

MMP也叫大規模并行處理機(Massively Parallel Processor)，其規模大，性能好。

1.3.1.4 DSM

DSM又叫分布式共享存儲器(Distributed Shared Memory,DSM)。在DSM中，每個節點都有本地內存，所有的節點都有一個共享空間。

1.3.1.5 COW

COW又叫工作站機群(Cluster of Workstation)。工作站機群的結構技術起點比較低，可以自己將一些服務器/微型機通過以太網連起來，加上相應的管理和通訊軟件來搭建自己的工作站機群。

在集群中，每個節點都有本地磁盤，除了沒有顯示器沒有鼠標沒有鍵盤之外，基本上其他普通計算機該有的它都有。每個節點用I/O總線連向專門設計的多級高速網絡，如前面在標準互連網絡提到的那些。

機群也是構建并行計算機一種很廉價的方案，其被稱為窮人的解決方案。使用這類并行計算機跑并行程序效率很低，但是由于它的性價比和搭建的簡便性，使得近幾年常被用于做并行科學計算和并行商用計算。

需要注意的是，機群不適合用于國家級的計算，因為由上述可知，實際上機群可以理解為是很多廉價的機器并在一起，而如果要運行速度跟快，能處理的數據更多，就需要并一個很大的機群。而如果機群并得很大，就會導致散熱有問題。我們前面說過它們通過總線互聯的，你總不能一個計算機在東一個計算機在西，然后一條總線連著吧。肯定是統一放在一個地方啊。而如果要處理大型的數據，一般機群所處的機房就要三四層樓那么高，籃球場那么寬，肯定不利于散熱。

1.3.1.6 小結

實際上上面的介紹的幾類并行計算機結構模型現在已經慢慢地趨近于三類：分布共享存儲計算機、分布存儲多計算機、共享存儲多處理機。剛剛講過的那幾個結構模型如下圖所示：

1.3.2 并行計算機訪存模型

1.3.2.1 UMA

UMA(Uniform Memory Access)模型是均勻存儲訪問模型的簡稱。其特點是：

• 物理存儲器被所有處理器均勻共享
• 所有處理器訪問任何存儲字取相同的時間
• 每臺處理器可帶私有高速緩存
• 外圍設備也可以一定形式共享

1.3.2.2 NUMA

與UMA與之相對的是NUMA(Nonuniform Memory Access)模型。它是非均勻存儲訪問模型的簡稱。特點是：

• 被共享的存儲器在物理上是分布在所有的處理器中的，其所有本地存儲器的集合就組成了全局地址空間
• 處理器訪問存儲器的時間是不一樣的；訪問本地存儲器LM或群內共享存儲器CSM較快，而訪問外地的存儲器或全局共享存儲器GSM較慢。
• 每臺處理器照例可帶私有高速緩存，外設也可以某種形式共享

1.3.2.3 COMA

COMA(Cache_Only Memory Access)模型是全高速緩存訪問的簡稱，其特點是：

• 各處理器節點匯總沒有存儲層次結構，全部高速緩存組成了全局地址空間
• 利用分布的高速緩存目錄D進行遠程高速緩存的訪問
• COMA中的高速緩存容量一般都大于2級高速緩存容量
• 使用COMA時，數據開始可任意分配，因為在運行時它最終會被遷移到要用到它們的地方

1.3.2.4 CC-NUMA

CC-NUMA(Coherent-Cache Nonuniform Memory Access)模型是高速緩存一致性非均勻訪問模型的簡稱。其特點是：

• 大多數使用基于目錄的高速緩存一致性協議
• 保留SMP結構易于編程的優點，也改善常規SMP的可擴放性
• CC-NUMA實際上是一個分布共享存儲的DSM多處理機系統
• 它最顯著的優點是程序員無需明確地在節點上分配數據，系統的硬件和軟件開始時自動在各節點分配數據，在運行期間，高速緩存一致性硬件會自動將數據遷移到它要用的地方。

1.3.2.5 NoRMA

NoRMA(No-Remote Memory Access)模型是非遠程存儲訪問模型的簡稱。NORMA的特點是：

• 所有存儲器都是私有的
• 絕大數NUMA都不支持遠程存儲器的訪問
• 在DSM中，NORMA就消失了

1.3.2.6 小結

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的并行计算（一）——并行计算机系统及结构模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。