网格计算与云计算
????? 網格(Grid)是90年代中期發展起來的下一代互聯網核心技術。網格技術的開創者Ian Foster將之定義為“在動態、多機構參與的虛擬組織中協同共享資源和求解問題”。網格是在網絡基礎之上,基于面向服務架構(SOA, Service-Oriented Architecture),使用互操作、按需集成等技術手段,將分散在不同地理位置的資源虛擬成為一個有機整體,實現計算、存儲、數據、軟件和設備等資源的共享,從而大幅提高資源的利用率,使用戶獲得前所未有的計算和信息能力。
????? 國際網格界致力于網格中間件、網格平臺和網格應用建設。就網格中間件而言,國外著名的網格中間件有Globus Toolkit、UNICORE、Condor、gLite等,其中Globus Toolkit得到了廣泛采納;就網格平臺而言,國際知名的網格平臺有TeraGrid、EGEE、CoreGRID、D-Grid、ApGrid、Grid3、GIG等。美國TeraGrid是由美國國家科學基金會計劃資助構建的超大規模開放的科學研究環境。TeraGrid集成了高性能計算機、數據資源、工具和高端實驗設施。目前TeraGrid已經集成了超過每秒750萬億次計算能力、30PB數據,擁有超過100個面向領域的網格應用環境。歐盟e-Science促成網格EGEE(Enabling Grids for E-sciencE),是另一個超大型、面向多種領域的網格計算基礎設施。目前已有120多個機構參與,包括分布在48個國家250個網格站點、68,000個CPU、20PB數據資源,目前擁有8,000個用戶,每天平均處理30,000個作業,峰值超過150,000個作業;就網格應用而言,知名的網格應用系統數以百計,應用領域包括大氣科學、林學、海洋科學、環境科學、生物信息學、醫學、物理學、天體物理、地球科學、天文學、工程學、社會行為學等。
????? 我國在十五期間有863支持的中國國家網格(CNGrid,863-10主題)和中國空間信息網格(SIG,863-13主題)、教育部支持的中國教育科研網格(ChinaGrid)、上海市支持的上海網格(ShanghaiGrid)等。中國國家網格擁有包括香港在內的10個結點,聚合計算能力為18萬億次,目前擁有408個用戶和360個應用。中國教育科研網格ChinaGrid連接了20所高校的計算設施,運算能力達每秒3萬億次以上,開發并實現了生物信息、流體力學等五個科學研究領域的網格典型應用。十一五期間,國家對網格支持的力度更大,通過973和863、自然科學基金等途徑對網格技術進行了大力支持。973計劃有“語義網格的基礎理論、模型與方法研究”等,863計劃有“高效能計算機及網格服務環境”、“網格地理信息系統軟件及其重大應用”等,國家自然科學基金重大研究計劃有“網絡計算應用支撐中間件”等項目。
????? 就像云計算可以分為IaaS、PaaS和SaaS三種類型一樣,網格計算也可以分為三種類型:計算網格、信息網格和知識網格。計算網格目標是提供集成各種計算資源的、虛擬化的計算基礎設施。信息網格目標是提供一體化的智能信息處理平臺,集成各種信息系統和信息資源,消除信息孤島,使得用戶能按需獲取集成后的精確信息,即服務點播(Service on Demand) 和一步到位的服務(One Click is Enough)。知識網格研究一體化的智能知識處理和理解平臺,使得用戶能方便地發布、處理和獲取知識。
????? 需要說明的是,目前對網格的認識存在一種誤解,認為只有使用Globus Toolkit等知名網格中間件的應用才是網格。我們認為,只要是遵照網格理念,將一定范圍分布異構資源集成為有機整體,提供資源共享和協同工作服務的平臺,均可以認為是網格。這是因為,由于網格技術非常復雜,必然有一個從不規范到規范化的過程,應該承認差異存在的客觀性。雖然網格界從一開始就致力于構造能夠實現全面互操作的環境,但由于網格處于信息技術前沿、許多領域尚未定型、已發布的個別規范過于復雜造成易用性差等原因,現有網格系統多針對具體應用采用適用的、個性化的框架設計和實現技術等,造成網格系統之間互操作困難,這也是開放網格論壇OGF(Open Grid Forum)提出建立不同網格系統互通機制的計劃GIN(Grid Interoperation Now)的原因。從另一個角度看,雖然建立全球一統的網格平臺的計劃還有很長的路要走,但并不妨礙網格技術在各種具體的應用系統中發揮重要的作用。網格計算與云計算的關系如下表所示。
表 1?? 網格計算與云計算的比較
?
| ? | 網格計算 | 云計算 |
| 目標 | 共享高性能計算力和數據資源,實現資源共享和協同工作 | 提供通用的計算平臺和存儲空間,提供各種軟件服務 |
| 資源來源 | 不同機構 | 同一機構 |
| 資源類型 | 異構資源 | 同構資源 |
| 資源節點 | 高性能計算機 | 服務器/PC |
| 虛擬化視圖 | 虛擬組織 | 虛擬機 |
| 計算類型 | 緊耦合問題為主 | 松耦合問題 |
| 應用類型 | 科學計算為主,計算密集 | 數據處理為主,數據密集 |
| 用戶類型 | 科學界 | 商業社會 |
| 付費方式 | 免費(政府出資) | 按量計費 |
| 標準化 | 有統一的國際標準OGSA/WSRF | 尚無標準,但已經有了開放云計算聯盟OCC |
?
????? 網格計算走的是學院派的路子:在概念上爭論多年,在體系結構上三次傷筋動骨,在標準規范上花費了大量的心力,所設定的目標又非常遠大--要在跨平臺、跨組織、跨信任域的極其復雜的異構環境中共享資源和協同解決問題,所要共享的資源也是五花八門--從高性能計算機、數據庫、設備到軟件、甚至知識;云計算走的是現實派的路子:暫時不管概念、不管標準,Google云計算與Amazon云計算的差別非常大,云計算只是對他們以前做的事情的新的共同的時髦叫法;所共享的存儲和計算資源暫時僅限于某個企業內部,省去了許多跨組織協調的問題;以Google為代表的云計算在內部管理運作方式上的簡潔一如其界面,能省的功能都省了,Google文件系統甚至不允許修改已經存在的文件,大大降低了實現難度,卻借助其無與倫比的規模效應釋放前所未有的能量。
????? 網格計算與云計算的關系,就像是OSI與TCP/IP之間的關系:ISO制定的OSI(開放系統互聯)網絡標準,考慮得非常周到,也異常復雜,在多年之前就考慮到了會話層和表示層的問題。很有遠見,但過于陽春白雪了,實現的難度和代價也非常大。當OSI的一個簡化版--TCP/IP冒出來之后,將七層協議簡化為四層,內容也大大精簡,因而迅速取得了成功。在TCP/IP一統天下之后多年,語義網等問題才被提上議事日程,開始為TCP/IP補課,增加其會話和表示的能力。因此,OSI是學院派,TCP/IP是現實派。OSI是TCP/IP的基礎,TCP/IP又推動了OSI的發展。不是成者為王、敗者為寇的問題,而是滾動發展的問題。
????? 早在2002年,劉鵬就指出了傳統網格計算思路存在的不實用問題,并提出了網格計算池(Computing Pool)的概念[1][2],這種概念與當今的云計算是吻合的。“傳統上,人們希望用網格將若干臺超級計算機的計算能力‘累加’,以形成一個‘前所未有’的虛擬超級計算機。但是,到目前為止,這些項目還是試驗性的、專用的,不太可能投入長期的、針對通用任務的實際運行。究其原因,大多數計算任務不能夠劃分成相互之間不通信或很少通信的子任務,因而在子任務之間存在頻繁通信。而無論網絡條件有多好,遠程超級計算機之間的通信帶寬和延遲(由遠距離傳輸和TCP/IP協議造成)都無法與超級計算機內部總線和系統區域網絡SAN相比。…… 既然目前階段網絡條件和研究水平尚不能有效地支持跨結點分布運算任務(這就是國際上所設想的計算網格),限定為三點:(1) 計算資源共享(N臺本地或異地高性能計算機加入這個系統中)。可以大大提高資源的利用率和服務質量。(2) 不把一個任務分解成N個子任務,而只是安排在其中一臺合適的機器上運行。(3) 通過Web提交任務和查看結果。”也就是說,網格計算池“把分散在各地的高性能計算機用高速網絡連接起來,用專門設計的中間件軟件有機地粘合在一起,以Web界面接受各地科學工作者提出的計算請求,并將之分配到合適的結點上運行。計算池能大大提高資源的服務質量和利用率,同時避免跨結點劃分應用程序所帶來的低效性和復雜性,能夠在目前條件下達到實用化要求。”
????? 沒有網格計算打下的基礎,云計算也不會這么快到來。云計算是網格計算的一種簡化實用版,不像網格2.0,而像網格0.2。網格0.1是指以前實現的以科學研究為主的網格,非常重視標準規范,也非常復雜,但缺乏成功的商業模式。云計算是網格計算的一種簡化形態,云計算的成功也是網格的成功。網格不僅要集成異構資源,還要在解決許多非技術的協調問題,也不像云計算有成功的商業模式推動,所以實現起來要比云計算難度大很多。但對于許多高端科學或軍事應用而言,云計算是無法滿足需求的,必須依靠網格來解決。
????? 目前,許多人聲稱網格計算失敗了,云計算取而代之了,這其實是一種錯覺。網格計算已經有十多年歷史,不如剛興起時那樣引人注目是正常的。事實上,有些政府主導、范圍較窄、用途特定的網格,已經取得了決定性的勝利。代表性的有:美國的TeraGrid和歐洲的EGEE等,這些網格每天都有幾十萬個作業在上面執行。未來的科學研究主戰場,將建立在網格計算之上。軍事上,美軍的全球信息網格GIG已經囊括超過700萬臺計算機,規模超過現有的所有云計算中心之和。
相信不久的將來,建立在云計算之上的商業2.0與建立在網格計算之上的科學2.0都將取得成功。
?
?
參考文獻
[1]???????????劉鵬.?提出一種實用的網格實現方式——網格計算池模型, 2002-11-27,?http://www.chinagrid.net/show.aspx?id=1672&cid=57
[2]???????????Peng Liu, Yao Shi, San-li Li, Computing Pool--a Simplified and Practical Computational Grid Model, the Second International Workshop on Grid and Cooperative Computing (GCC 2003), Shanghai, Dec 7-10, 2003, published in Lecture Notes in Computer Science (LNCS), Vol. 3032, Heidelberg: Springer-Verlag, 2004.http://www.chinagrid.net/show.aspx?id=1915&cid=48
?
?
?本文作者:劉鵬,來源:中國云計算(http://www.chinacloud.cn)
總結
- 上一篇: CSAPP第七章家庭作业参考答案
- 下一篇: 2020.7-8月份暑假培训总结