高性能计算
高性能計算
什么是高性能計算[1]
???? 高性能計算（High-performance computing）簡稱HPC,指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的計算系統和環境。有許多類型的HPC 系統，其范圍從標準計算機的大型集群，到高度專用的硬件。大多數基于集群的HPC系統使用高性能網絡互連，比如那些來自 InfiniBand 或 Myrinet 的網絡互連。基本的網絡拓撲和組織可以使用一個簡單的總線拓撲，在性能很高的環境中，網狀網絡系統在主機之間提供較短的潛伏期，所以可改善總體網絡性能和傳輸速率。
高性能計算研究的目的和意義[1]、[2]
???? 高性能計算技術在國內外受到高度的重視。它在科學研究、工程技術以及軍事技術方面的應用已取得了巨大的成就。國際上科學家廣泛認為：21世紀人類所面臨的重要科技問題, 如人類基因、全球氣候準確預報、海洋環流循環等等，沒有萬億次以上的高性能計算機是無法解決的。軍事上的核爆炸模擬，也必須使用萬億次以上的高性能計算機。美國90年代的有關高性能計算技術的研究規劃，如HPCC和ASCI，都是在總統直接參與下制定的。在我國，高性能計算技術也受到各級領導部門的十分的關注和重視。
???? 從更廣泛的意義上來看，計算、和理論與實驗并列被普遍認為是人類認識自然世界的三大支柱。這種計算，主要是指應用于科學與工程的、以高性能計算機為平臺的大規模并行計算。它已成為一項學科，大規模科學與工程計算。而大規模并行計算也已成為研究科學與工程技術的一種嶄新的手段和方式；采用這種手段和方式的科學研究與工程技術研究設計，則稱為"計算方式的科學與工程（暫譯名）"(Computational Science and Engineering)。例如著名的波音777飛機的設計，基本上是依靠高性能計算機的"無紙設計"它可以大量節省傳統設計技術中的昂貴的風洞實驗，設計時間也大大縮短。高性能計算為平臺的大規模并行計算，在我國也取得很大成果，并且有力地推動交叉學科的發展。
???? 當前我國高性能計算機的研制已進入發展的十字路口。一方面，尖端的高性能計算機系統研制已開始了新一輪探索，正處于各種新思想與新方法產生的活躍期，未來的發展還充滿了不確定性；另一方面，廉價的機群系統帶來的高性能計算機普及和"平民化"在促進其更廣泛應用的同時，反過來對系統設計提出了新的要求，即如何從提高生產率，更有效地解決具體問題角度重新思考高性能計算機的設計。包括具有低功耗、高密度、可共享、可重構、可定制等特點的系統的研究方興未艾。目前，中國和世界其他國家處在同一個十字路口，沒有現成的系統可供我們參考、跟蹤和趕超，相反我們在技術選擇及產業化方面的努力有可能對國際高性能計算機技術走向產生較大的影響。
???? 我國已經具備了自行研制國際先進水平超級計算機系統的能力，并形成了神威、銀河和曙光等幾個自己的產品系列和研究隊伍，有進行重大技術創新的條件。但是，目前研制的系統國產化程序并不高，處理器、高速網絡等關鍵部件還主要依賴進口。隨著集成電路生產基地逐漸向中國轉移和國產通用CPU 技術的突破，我國實際上已經開始具備了自主生產高性能計算機全套部件的潛力。下決心集中力量研制包括國產CPU、外圍芯片在內的全自主知識產權高性能計算機系統，有可能徹底擺脫我國在高性能計算機關鍵技術上受制于人的局面，同時擴大我國科研人員研究與創新的領域和范圍，改變我國高性能計算機研究與生產環境，確立中國在國際高性能計算機產業中新的地位。
???? 我國高性能計算機市場已開始進入普及和高速發展期，需求牽引將逐漸表現出對技術創新的拉動作用。但是，相對于發達國家，我國高性能計算機系統在工業領域的應用還遠遠不夠。大力推廣高性能計算機和計算科學在國民經濟領域的應用，其意義絕不僅僅在于高性能計算機產業自身的發展。廣泛采用高性能計算機和計算分析方法是一種方法和工具上的飛躍，將可能大大促進其他領域科學技術研究進展，有助于提升我國的綜合科研實力。
高性能計算方面的進展、趨勢與前景
1、計算機硬件的發展與摩爾定律[3]、[4]
???? 第一臺計算機問世已經半個世紀了，在這期間計算機技術經歷了五次更新換代。更新換代的標志主要有兩個：一個是計算機的器件，另一個是系統體系結構。從第一代到第五代計算機，器件發生了根本的變化：從電子管、晶體管發展到集成電路，而集成電路又經小規模、中規模、大規模、非常大規模等階段發展到超大規模階段。系統體系結構的不斷改進，許多重要的概念的不斷提出并且得到實現，推動計算機技術向更高的層次發展。從早期的變址寄存器、通用寄存器、程序中斷和I/O通道等概念，到虛擬存儲器、Cache存儲器、微程序設計、系列機、基于總線的多 CPU系統、向量處理機等概念，發展到64位RISC處理器、基于MPP、NUMA、集群等體系結構的可伸縮并行處理系統，計算機系統技術也取得了突飛猛進的發展 。
???? 這一發展速度一直以來是基本遵循摩爾定律的。計算機第一定律---摩爾定律：是指IC上可容納的晶體管數目，約每隔18個月便會增加一倍，性能也將提升一倍。摩爾定律是由英特爾(Intel)名譽董事長戈登?摩爾（Gordon Moore）經過長期觀察發現得之。摩爾定律所闡述的趨勢一直延續至今，且仍不同尋常地準確。在接近50年的時間里，芯片上的晶體管數量從1971年推出的第一款4004的 2300晶體管個增加到奔騰II處理器的750萬個晶體管到當前最新的處理器超過10億個晶體管。CPU制作工藝, 從1965年推出的10微米(μm)處理器后，經歷了6微米、3微米、1微米、0.5微米、0.35微米、0.25微米、0.18微米、0.13微米、 0.09微米、0.065微米，0.045微米，0.32微米。人們還發現這不光適用于對存儲器芯片的描述，也精確地說明了處理機能力和磁盤驅動器存儲容量的發展。該定律成為許多工業對于性能預測的基礎。
???? 與此同時，隨著制作工藝與技術的進步，顯卡的性能也飛速發展，如今，GPU越來越強大，GPU為顯示圖像做了優化，當前，在G80、G92、G94、 GT200、GT400平臺（即Geforce 8~Gecorce GTX480）上， GPU計算性能已經超越了通用的CPU。G80中擁有128個單獨的ALU，因此非常適合并行計算，而且數值計算的速度遠遠優于CPU。如此強大的芯片如果只是作為顯卡就太浪費了，因此NVidia推出了CUDA技術，CUDA是一種通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。 GPU+GPU高性能計算結構將成為未來的發展趨勢。
2、高性能計算的歷史[5] 。
???? 20世紀70年代出現的向量計算機可看作是第一代HPC，通過在計算機中加入向量流水部件，大大提高了科學計算中向量運算的速度。其中較著名的有CDC系列、CRAY系列、NEC的SX系列和中國的銀河一號及中科院計算所的757計算機。80年代初期，隨著VLSI技術和微處理 器技術的發展，向量機一統天下的格局逐漸被打破，"性/價比"而非單一性能成為衡量HPC系統的重要指標。90年代初期，大規模并行處理(MPP)系統已開始成為HPC發展的主流，MPP系統由多個微處理器通過高速互聯網絡構成，每個處理器之間通過消息傳遞的方式進行通訊和協調。代表性系統有TMC的 CM-5、Intel Paragon、中科院計算所的曙光1000等。較MPP早幾年問世的對稱多處理(SMP)系統由數目相對較少的微處理器共享物理 內存和I/O總線形成，早期的SMP和MPP相比擴展能力有限，不具有很強的計算能力，但單機系統兼容性好，所以90年代中后期的一種趨勢是將SMP的優 點和MPP的擴展能力結合，發展成后來的CC-NUMA結構，即分布式共享內存。其代表為Sequent NUMA-Q、SGI- Cray Origin、國內的神威與銀河系列等。在發展CC-NUMA同時，機群系統(Cluster)也迅速發展起來。機群系統是由多個微處理器構成 的計算機節點通過高速網絡互連而成，節點一般是可以單獨運行的商品化計算機。機群系統比MPP具有更高的性價比，其代表是IBM SP2，國內有曙光 3000、4000，5000, 聯想深騰1800、6800等。
3、高性能計算的現狀和趨勢[1]、[6]、[7]、[8]、[9]、[10]
???? 每年6月和11月發布的TOP500一直是全球HPC領域的風向標[4]，排行榜的變化折射出全球HPC在技術和應用方面的研究現狀和發展趨勢。TOP500已經成為衡量當今高性能計算領域發展水平的事實標準，人們從中不但可以了解高性能計算領域的最新技術和發展趨勢，更可以據此預測未來高性能計算產業的走向。
???? 第34屆TOP500榜單已經在2009年11月17日在波特蘭召開的SC09大會上揭曉。Cray XT5超級計算機Jaguar最終榮登第34期榜單第一。安裝在美國能源部的Oak Ridge Leadership Computing Facility的Jaguar 2009年年初進行過一次升級，Linpack測試性能最高可達到1.75 petaflop/s。1 petaflop等于每秒鐘進行1千萬億次的數學運算，Jaguar憑借著新的處理器沖到了榜首，其理論性能峰值可達到2.3 petaflop/s，采用了將近25萬個內核。這次安裝在我國國家超級計算天津中心的"天河一號"躋身第五位，這套系統被用來解決石油鉆探中的科研問題以及大型航天器設計的模擬仿真，這也是我們在TOP500榜單排名最前的一套系統，設計采用了英特爾至強處理器和AMD GPU作為加速器，每個節點包括兩個AMD GPU附加于兩個英特爾至強處理器。
???? 09年全國高性能計算學術年會在長沙舉行，會上發布了2009年中國高性能計算機性能TOP100排行榜。此次榜單排名第一名的國內高性能計算系統--國防科大設計的天河一號首次突破峰值1PFlops（千萬億次）大關。
???? 中國HPC TOP100的第一名，世界TOP500的第五名，天河一號將成為濱海新區超算中心的中堅力量，而這類的超算中心在中國正在迅速的增加，除了非常著名的上海超算外，還有成都超算中心，北京超算中心，華南超算中心，中科院超算中心，深圳超算中心，無錫超算中心，廣州超算中心，各地的超算中心風起云涌，這類的超算中心的建立促進了中國HPC應用，將會給中國的HPC商用建立起一個較好的平臺，而且這些超算中心為了要把自己的計算能力充分利用，會更多的促進企業去使用這種計算能力來幫助自身的發展。與此同時，各地高校也紛紛搭建起高性能計算平臺，南京大學，上海大學，北京航空航天大學，四川大學，中國傳媒大學，云南大學，北京大學等都建立起了高性能計算平臺。
???? 從世界的TOP500乃至中國的TOP100來看HPC的發展，不難發現HPC的發展趨勢以及存在的問題。
國際HPC格局基本穩定，體系結構主流化，標準化。
???? 在國際上，美國仍然是HPC的最大用戶，在HPC領域的綜合發展水平依然是全球第一，其全球霸主地位牢不可破。亞洲最大的用戶是日本，其次是中國。對于高性能計算采用的硬件，Inetl仍是最大贏家，而產商方面，IBM和HP是最大贏家。高性能計算體系結構發展中，集群結構、千兆以太網互聯技術和 InfiniBand技術占據主流地位。InfiniBand正呈增長趨勢。操作系統方面，Linux已逐漸代替Unix成為HPC的首選操作系統。
網絡化是高性能計算機最重要的趨勢
???? 網絡化的趨勢將是高性能計算機最重要的趨勢，高性能計算機的主要用途是網絡計算環境中的主機。以后越來越多的應用是在網絡環境下的應用，會出現數以十億計的客戶端設備，所有重要的數據及應用都會放在高性能服務器上，Client/Server模式會進入到第二代，即服務器聚集的模式。
網格成為高性能計算一個新的研究熱點
???? 網格(Gird)已成為高性能計算一個新的研究熱點。網格將分布于全國的計算機、數據、存儲設備、用戶、軟件等組織成一個邏輯整體，各行業可以在此基礎上運行各自的應用網格。網格最原始的設想是將分散在各地的高性能計算機連接起來，形成強大的綜合計算能力。從這個角度看， 網格技術有可能成為實現Petaflops的另一條途徑，但是，用網格技術實現Petaflops仍需要一些關鍵技術的突破。
高性能計算領域軟硬發展不平衡
??? 在國內方面，我國超級計算機的規模越做越大，但是我們卻找不到能夠讓超算中心運作起來的實際應用。我國高性能計算產業機器大應用小、"軟""硬"發展格局失衡。這種失衡體現最為明顯的一個縮影是上海超級計算中心。該中心擁有計算峰值性能高達230萬億次的"魔方"曙光5000A超級計算機，總共擁有的CPU內核數達到3萬個，而實際上，應用卻遠遠沒有跟上，使用16核以下的作業占到了60%，17-160核的作業占39%，160核以上僅僅占到1%。而美國能源部下屬的橡樹嶺國家實驗室的Jaguar TX5，該系統擁有15萬顆CPU核，是一套千萬億次級超級計算機，但其科學計算作業卻安排得很飽滿，可利用3萬以下 CPU核的作業占50%，3-4.5萬核的作業占32%，4.5-9萬核占18%。
???? 兩相比較，差距非常大，我國高性能計算領域軟硬發展嚴重不平衡。
4、高性能計算應用需求與前景[2] 。
???? 探求復雜的物理世界與人類社會本身的應用一直是驅動計算機和計算科學發展的動力。近年來，科學研究方法已經從傳統的理論分析和實驗分析逐步向計算分析過渡。一些復雜問題的研究已經很難通過實驗方式進行，或者是因為系統本身過于龐大和復雜而根本無法實驗，如全球氣候模型；或者是因為成本過高，進行大量實驗 不現實，如燃燒過程；或者是實驗活動自身受到限制，如核物理模擬等。對這些問題的研究構成了對計算能力永無止境的追求。相比之下，摩爾定律的發展遠遠不能滿足應用的需求。
高性能計算作為第三大科學方法和第一生產力的地位與作用被廣泛認識，并開始走出原來的科研計算向更為廣闊的商業計算和信息化服務領域擴展。更多的典型應用在生物工程、電子政務、石油物探、分子材料研究、金融服務、教育信息化和企業信息化中得以展現。
???? 以生物計算為例，億萬次計算機，大概可以模擬1萬個原子規模的酶催化反應；千萬億次計算機，可以模擬10萬個原子規模的新陳代謝過程；即使計算能力再翻 1000倍，達到每秒一百億億次，也剛剛能模擬DNA蛋白質折疊的初級階段，不到1個微秒的物理過程。因此，應用對計算能力的需求遠遠超出現有高性能計算機的能力。
???? 另一方面，隨著高性能計算機性能的提高、價格的降低，高性能計算已經從傳統的滿足科研和國家戰略需求走向更廣泛的行業應用，成為其他領域發展的關鍵性支撐技術之一。已經有越來越多的經濟部門使用高性能計算機，如石油勘探、機械設計、電氣工程、 金融分析、生物制藥及材料分析等。近年來機群系統的普及進一步加強了這一步伐。象PC機的普及帶動了信息化一樣，高性能計算機的普及將有可能促進科學和技 術研究方法上的進步，高性能計算機將變成高科技發展不可或缺的工具。如果說能否制造高性能計算機反映一個國家計算機領域的研發實力，那么能否用好高性能計 算機則反映一個國家的綜合科研實力。遺憾的是，除石油、氣象等少數領域外，中國產業界對高性能計算機的應用遠遠落后于西方國家。可以說，中國高性能計算機 的應用水平與西方的差距比起設計能力的差距要大得多。
???? 高性能計算機的普通反過來又對其自身發展提出了新的要求。在不強求高峰值和超大規模的前 提下，面對多層次多粒度的具體應用需求，如何相應提供最合適的性能/價格比，如何更有效地優化應用問題從立項到完成的整個過程等都有待研究。
???? 總之，無論在深度和廣度上，高性能計算機的發展都面臨著巨大的需求和挑戰。
高性能計算研究方向[11]
???? 科學數據呈數量級增長對計算技術提出了更大的挑戰，迫切需要高性能計算機、海量存儲系統以及高速網絡等基礎設施的支持。針對高能物理等一大批實際應用的需求，高能所計算中心一直開展高性能計算方面的研究與應用，主要的研究方向包括: 集群計算，網格計算，志愿計算，海量存儲。
1、集群計算
???? 集群計算具有性價比高、可擴展性好、可繼承現有軟硬件資源和開發周期短、可編程性好等特點，已成為高性能計算的主流，在多個領域得到了廣泛應用，技術相對成熟。但是，隨著計算機體系結構的發展，集群計算將重新成為了研究熱點。一方面，集群系統的規模逐漸擴大，在一個單一系統中如何有效管理和使用成千上萬的 CPU成為一個非常大的挑戰；另外一方面，單內核處理器的發展已經遇到瓶頸，多內核架構成為進一步提高處理器性能的必然趨勢，如何有效地利用多內核處理器系統對于研究者來說是一個新的挑戰。在集群計算方面，主要開展大規模集群管理、網絡協議與I/O技術、進程調度、負載共享與平衡技術、性能調試與優化、多核編程開發等。
2、網格計算
???? 網格計算是本世紀初信息領域中的一次重大科技進步，用來整合和共享網絡上的分布的資源。過去幾年中，網格技術已經在科研領域內得到了長足的發展。高能所計算中心根據高能物理等學科的實際應用需求，采用成熟先進的網格中間件，建立和整合多個數據網格資源，運行和維護高性能的網格計算環境，為大科學工程、國際合作等科學計算需求提供服務。目前已經建立了與歐洲及北美之間的高速網絡，并加入了世界上最大的網格系統WLCG，是全球200多個網格站點中運行水平最好的站點之一，得到國際同行的好評。當前，高能所網格站點每天與國際站點交換TB量級數據、處理數千個計算作業。在網格平臺建設的同時，還積極進行網格技術、數據密集型計算系統等方面的研究，形成一批實用性的技術成果，部分已達到了國際先進水平。
3、志愿計算
???? 志愿計算是一項使全世界的普通民眾能夠對基礎科學和應用科學面臨的重大挑戰做出貢獻的技術，它通過互聯網利用空閑的個人電腦，使其擔任數據分析任務。對于科學家們來說，志愿計算代表著一項免費和事實上無限的計算資源。現在，志愿計算已有50多個項目正在運行中，跨越了多個科學領域，包括氣候變化，天體物理學，地震監測和流行病學，這些項目得到幾百萬志愿者的支持。但是，到目前為止大多數項目都是由北美和歐洲的科學家們發起的，中國志愿計算的發展水平還處于初級階段。高能所計算中心與美國、瑞士、法國等著名國際高校或研究機構建立了緊密的合作關系，并在國內舉辦志愿計算國際研討會，與相關科研單位開展志愿計算應用項目，積極推動志愿計算在中國的發展。
4、海量存儲
???? 科學研究規模的不斷擴大產生了前所未有的海量數據，TB(1TB=1024GB)，PB級（1PB=1024TB）甚至EB級（1EB=1024PB）的應用逐漸增多，給存儲系統帶來了巨大挑戰。高能所計算中心以海量數據處理的需求為牽引，緊跟存儲技術的最新發展，自主集成和開發了基于異構介質的分級存儲系統，將磁盤、磁帶等不同存儲介質通過高速網絡整合成一個透明的邏輯存儲池，能夠輕松滿足PB的數據存儲與每秒數GB的訪問速度需求。在海量存儲方面，主要開展虛擬存儲、分級存儲、高性能I/O、網格數據管理、網絡存儲系統等技術研究。
?
?
參考：
[1] http://202.207.213.2/physic/dzkjjqtwj01/jdwldzjan/jiqun.htm
[2] http://218.65.86.42/WzxxSz/HtmlFile%5C7%5C201003%5C20100325171439328_1729.htm
[3] http://baike.baidu.com/view/2120379.htm
[4] http://baike.baidu.com/view/1488597.htm
[5]樊建平，陳明宇.高性能計算機研究的現狀與展望.信息技術快報，2003，(5)
[6]TOP500 Supercomputing Sites.http://www.top500.org
[7] 從Top500看高性能計算的互連網絡發展，張清波,周培峰,黃國華 江南計算技術研究所
[8] http://www.doserv.com/subject/hpc091103/
[9] http://server.zdnet.com.cn/server/2009/1105/1506772.shtml
[10] http://www.microvoip.com/Data/market/market01/200911/106778.html
[11] http://www.ihep.cas.cn/jgsz/kyxt/div7/keti/gaoxingneng/jianjie/
?
總結
- 上一篇： Bash shell 学习笔记六
- 下一篇： awk 实例