网格计算与云计算
????? 網(wǎng)格(Grid)是90年代中期發(fā)展起來的下一代互聯(lián)網(wǎng)核心技術(shù)。網(wǎng)格技術(shù)的開創(chuàng)者Ian Foster將之定義為“在動(dòng)態(tài)、多機(jī)構(gòu)參與的虛擬組織中協(xié)同共享資源和求解問題”。網(wǎng)格是在網(wǎng)絡(luò)基礎(chǔ)之上,基于面向服務(wù)架構(gòu)(SOA, Service-Oriented Architecture),使用互操作、按需集成等技術(shù)手段,將分散在不同地理位置的資源虛擬成為一個(gè)有機(jī)整體,實(shí)現(xiàn)計(jì)算、存儲(chǔ)、數(shù)據(jù)、軟件和設(shè)備等資源的共享,從而大幅提高資源的利用率,使用戶獲得前所未有的計(jì)算和信息能力。
????? 國際網(wǎng)格界致力于網(wǎng)格中間件、網(wǎng)格平臺(tái)和網(wǎng)格應(yīng)用建設(shè)。就網(wǎng)格中間件而言,國外著名的網(wǎng)格中間件有Globus Toolkit、UNICORE、Condor、gLite等,其中Globus Toolkit得到了廣泛采納;就網(wǎng)格平臺(tái)而言,國際知名的網(wǎng)格平臺(tái)有TeraGrid、EGEE、CoreGRID、D-Grid、ApGrid、Grid3、GIG等。美國TeraGrid是由美國國家科學(xué)基金會(huì)計(jì)劃資助構(gòu)建的超大規(guī)模開放的科學(xué)研究環(huán)境。TeraGrid集成了高性能計(jì)算機(jī)、數(shù)據(jù)資源、工具和高端實(shí)驗(yàn)設(shè)施。目前TeraGrid已經(jīng)集成了超過每秒750萬億次計(jì)算能力、30PB數(shù)據(jù),擁有超過100個(gè)面向領(lǐng)域的網(wǎng)格應(yīng)用環(huán)境。歐盟e-Science促成網(wǎng)格EGEE(Enabling Grids for E-sciencE),是另一個(gè)超大型、面向多種領(lǐng)域的網(wǎng)格計(jì)算基礎(chǔ)設(shè)施。目前已有120多個(gè)機(jī)構(gòu)參與,包括分布在48個(gè)國家250個(gè)網(wǎng)格站點(diǎn)、68,000個(gè)CPU、20PB數(shù)據(jù)資源,目前擁有8,000個(gè)用戶,每天平均處理30,000個(gè)作業(yè),峰值超過150,000個(gè)作業(yè);就網(wǎng)格應(yīng)用而言,知名的網(wǎng)格應(yīng)用系統(tǒng)數(shù)以百計(jì),應(yīng)用領(lǐng)域包括大氣科學(xué)、林學(xué)、海洋科學(xué)、環(huán)境科學(xué)、生物信息學(xué)、醫(yī)學(xué)、物理學(xué)、天體物理、地球科學(xué)、天文學(xué)、工程學(xué)、社會(huì)行為學(xué)等。
????? 我國在十五期間有863支持的中國國家網(wǎng)格(CNGrid,863-10主題)和中國空間信息網(wǎng)格(SIG,863-13主題)、教育部支持的中國教育科研網(wǎng)格(ChinaGrid)、上海市支持的上海網(wǎng)格(ShanghaiGrid)等。中國國家網(wǎng)格擁有包括香港在內(nèi)的10個(gè)結(jié)點(diǎn),聚合計(jì)算能力為18萬億次,目前擁有408個(gè)用戶和360個(gè)應(yīng)用。中國教育科研網(wǎng)格ChinaGrid連接了20所高校的計(jì)算設(shè)施,運(yùn)算能力達(dá)每秒3萬億次以上,開發(fā)并實(shí)現(xiàn)了生物信息、流體力學(xué)等五個(gè)科學(xué)研究領(lǐng)域的網(wǎng)格典型應(yīng)用。十一五期間,國家對(duì)網(wǎng)格支持的力度更大,通過973和863、自然科學(xué)基金等途徑對(duì)網(wǎng)格技術(shù)進(jìn)行了大力支持。973計(jì)劃有“語義網(wǎng)格的基礎(chǔ)理論、模型與方法研究”等,863計(jì)劃有“高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境”、“網(wǎng)格地理信息系統(tǒng)軟件及其重大應(yīng)用”等,國家自然科學(xué)基金重大研究計(jì)劃有“網(wǎng)絡(luò)計(jì)算應(yīng)用支撐中間件”等項(xiàng)目。
????? 就像云計(jì)算可以分為IaaS、PaaS和SaaS三種類型一樣,網(wǎng)格計(jì)算也可以分為三種類型:計(jì)算網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格。計(jì)算網(wǎng)格目標(biāo)是提供集成各種計(jì)算資源的、虛擬化的計(jì)算基礎(chǔ)設(shè)施。信息網(wǎng)格目標(biāo)是提供一體化的智能信息處理平臺(tái),集成各種信息系統(tǒng)和信息資源,消除信息孤島,使得用戶能按需獲取集成后的精確信息,即服務(wù)點(diǎn)播(Service on Demand) 和一步到位的服務(wù)(One Click is Enough)。知識(shí)網(wǎng)格研究一體化的智能知識(shí)處理和理解平臺(tái),使得用戶能方便地發(fā)布、處理和獲取知識(shí)。
????? 需要說明的是,目前對(duì)網(wǎng)格的認(rèn)識(shí)存在一種誤解,認(rèn)為只有使用Globus Toolkit等知名網(wǎng)格中間件的應(yīng)用才是網(wǎng)格。我們認(rèn)為,只要是遵照網(wǎng)格理念,將一定范圍分布異構(gòu)資源集成為有機(jī)整體,提供資源共享和協(xié)同工作服務(wù)的平臺(tái),均可以認(rèn)為是網(wǎng)格。這是因?yàn)?#xff0c;由于網(wǎng)格技術(shù)非常復(fù)雜,必然有一個(gè)從不規(guī)范到規(guī)范化的過程,應(yīng)該承認(rèn)差異存在的客觀性。雖然網(wǎng)格界從一開始就致力于構(gòu)造能夠?qū)崿F(xiàn)全面互操作的環(huán)境,但由于網(wǎng)格處于信息技術(shù)前沿、許多領(lǐng)域尚未定型、已發(fā)布的個(gè)別規(guī)范過于復(fù)雜造成易用性差等原因,現(xiàn)有網(wǎng)格系統(tǒng)多針對(duì)具體應(yīng)用采用適用的、個(gè)性化的框架設(shè)計(jì)和實(shí)現(xiàn)技術(shù)等,造成網(wǎng)格系統(tǒng)之間互操作困難,這也是開放網(wǎng)格論壇OGF(Open Grid Forum)提出建立不同網(wǎng)格系統(tǒng)互通機(jī)制的計(jì)劃GIN(Grid Interoperation Now)的原因。從另一個(gè)角度看,雖然建立全球一統(tǒng)的網(wǎng)格平臺(tái)的計(jì)劃還有很長的路要走,但并不妨礙網(wǎng)格技術(shù)在各種具體的應(yīng)用系統(tǒng)中發(fā)揮重要的作用。網(wǎng)格計(jì)算與云計(jì)算的關(guān)系如下表所示。
表 1?? 網(wǎng)格計(jì)算與云計(jì)算的比較
?
| ? | 網(wǎng)格計(jì)算 | 云計(jì)算 |
| 目標(biāo) | 共享高性能計(jì)算力和數(shù)據(jù)資源,實(shí)現(xiàn)資源共享和協(xié)同工作 | 提供通用的計(jì)算平臺(tái)和存儲(chǔ)空間,提供各種軟件服務(wù) |
| 資源來源 | 不同機(jī)構(gòu) | 同一機(jī)構(gòu) |
| 資源類型 | 異構(gòu)資源 | 同構(gòu)資源 |
| 資源節(jié)點(diǎn) | 高性能計(jì)算機(jī) | 服務(wù)器/PC |
| 虛擬化視圖 | 虛擬組織 | 虛擬機(jī) |
| 計(jì)算類型 | 緊耦合問題為主 | 松耦合問題 |
| 應(yīng)用類型 | 科學(xué)計(jì)算為主,計(jì)算密集 | 數(shù)據(jù)處理為主,數(shù)據(jù)密集 |
| 用戶類型 | 科學(xué)界 | 商業(yè)社會(huì) |
| 付費(fèi)方式 | 免費(fèi)(政府出資) | 按量計(jì)費(fèi) |
| 標(biāo)準(zhǔn)化 | 有統(tǒng)一的國際標(biāo)準(zhǔn)OGSA/WSRF | 尚無標(biāo)準(zhǔn),但已經(jīng)有了開放云計(jì)算聯(lián)盟OCC |
?
????? 網(wǎng)格計(jì)算走的是學(xué)院派的路子:在概念上爭論多年,在體系結(jié)構(gòu)上三次傷筋動(dòng)骨,在標(biāo)準(zhǔn)規(guī)范上花費(fèi)了大量的心力,所設(shè)定的目標(biāo)又非常遠(yuǎn)大--要在跨平臺(tái)、跨組織、跨信任域的極其復(fù)雜的異構(gòu)環(huán)境中共享資源和協(xié)同解決問題,所要共享的資源也是五花八門--從高性能計(jì)算機(jī)、數(shù)據(jù)庫、設(shè)備到軟件、甚至知識(shí);云計(jì)算走的是現(xiàn)實(shí)派的路子:暫時(shí)不管概念、不管標(biāo)準(zhǔn),Google云計(jì)算與Amazon云計(jì)算的差別非常大,云計(jì)算只是對(duì)他們以前做的事情的新的共同的時(shí)髦叫法;所共享的存儲(chǔ)和計(jì)算資源暫時(shí)僅限于某個(gè)企業(yè)內(nèi)部,省去了許多跨組織協(xié)調(diào)的問題;以Google為代表的云計(jì)算在內(nèi)部管理運(yùn)作方式上的簡潔一如其界面,能省的功能都省了,Google文件系統(tǒng)甚至不允許修改已經(jīng)存在的文件,大大降低了實(shí)現(xiàn)難度,卻借助其無與倫比的規(guī)模效應(yīng)釋放前所未有的能量。
????? 網(wǎng)格計(jì)算與云計(jì)算的關(guān)系,就像是OSI與TCP/IP之間的關(guān)系:ISO制定的OSI(開放系統(tǒng)互聯(lián))網(wǎng)絡(luò)標(biāo)準(zhǔn),考慮得非常周到,也異常復(fù)雜,在多年之前就考慮到了會(huì)話層和表示層的問題。很有遠(yuǎn)見,但過于陽春白雪了,實(shí)現(xiàn)的難度和代價(jià)也非常大。當(dāng)OSI的一個(gè)簡化版--TCP/IP冒出來之后,將七層協(xié)議簡化為四層,內(nèi)容也大大精簡,因而迅速取得了成功。在TCP/IP一統(tǒng)天下之后多年,語義網(wǎng)等問題才被提上議事日程,開始為TCP/IP補(bǔ)課,增加其會(huì)話和表示的能力。因此,OSI是學(xué)院派,TCP/IP是現(xiàn)實(shí)派。OSI是TCP/IP的基礎(chǔ),TCP/IP又推動(dòng)了OSI的發(fā)展。不是成者為王、敗者為寇的問題,而是滾動(dòng)發(fā)展的問題。
????? 早在2002年,劉鵬就指出了傳統(tǒng)網(wǎng)格計(jì)算思路存在的不實(shí)用問題,并提出了網(wǎng)格計(jì)算池(Computing Pool)的概念[1][2],這種概念與當(dāng)今的云計(jì)算是吻合的。“傳統(tǒng)上,人們希望用網(wǎng)格將若干臺(tái)超級(jí)計(jì)算機(jī)的計(jì)算能力‘累加’,以形成一個(gè)‘前所未有’的虛擬超級(jí)計(jì)算機(jī)。但是,到目前為止,這些項(xiàng)目還是試驗(yàn)性的、專用的,不太可能投入長期的、針對(duì)通用任務(wù)的實(shí)際運(yùn)行。究其原因,大多數(shù)計(jì)算任務(wù)不能夠劃分成相互之間不通信或很少通信的子任務(wù),因而在子任務(wù)之間存在頻繁通信。而無論網(wǎng)絡(luò)條件有多好,遠(yuǎn)程超級(jí)計(jì)算機(jī)之間的通信帶寬和延遲(由遠(yuǎn)距離傳輸和TCP/IP協(xié)議造成)都無法與超級(jí)計(jì)算機(jī)內(nèi)部總線和系統(tǒng)區(qū)域網(wǎng)絡(luò)SAN相比。…… 既然目前階段網(wǎng)絡(luò)條件和研究水平尚不能有效地支持跨結(jié)點(diǎn)分布運(yùn)算任務(wù)(這就是國際上所設(shè)想的計(jì)算網(wǎng)格),限定為三點(diǎn):(1) 計(jì)算資源共享(N臺(tái)本地或異地高性能計(jì)算機(jī)加入這個(gè)系統(tǒng)中)。可以大大提高資源的利用率和服務(wù)質(zhì)量。(2) 不把一個(gè)任務(wù)分解成N個(gè)子任務(wù),而只是安排在其中一臺(tái)合適的機(jī)器上運(yùn)行。(3) 通過Web提交任務(wù)和查看結(jié)果。”也就是說,網(wǎng)格計(jì)算池“把分散在各地的高性能計(jì)算機(jī)用高速網(wǎng)絡(luò)連接起來,用專門設(shè)計(jì)的中間件軟件有機(jī)地粘合在一起,以Web界面接受各地科學(xué)工作者提出的計(jì)算請(qǐng)求,并將之分配到合適的結(jié)點(diǎn)上運(yùn)行。計(jì)算池能大大提高資源的服務(wù)質(zhì)量和利用率,同時(shí)避免跨結(jié)點(diǎn)劃分應(yīng)用程序所帶來的低效性和復(fù)雜性,能夠在目前條件下達(dá)到實(shí)用化要求。”
????? 沒有網(wǎng)格計(jì)算打下的基礎(chǔ),云計(jì)算也不會(huì)這么快到來。云計(jì)算是網(wǎng)格計(jì)算的一種簡化實(shí)用版,不像網(wǎng)格2.0,而像網(wǎng)格0.2。網(wǎng)格0.1是指以前實(shí)現(xiàn)的以科學(xué)研究為主的網(wǎng)格,非常重視標(biāo)準(zhǔn)規(guī)范,也非常復(fù)雜,但缺乏成功的商業(yè)模式。云計(jì)算是網(wǎng)格計(jì)算的一種簡化形態(tài),云計(jì)算的成功也是網(wǎng)格的成功。網(wǎng)格不僅要集成異構(gòu)資源,還要在解決許多非技術(shù)的協(xié)調(diào)問題,也不像云計(jì)算有成功的商業(yè)模式推動(dòng),所以實(shí)現(xiàn)起來要比云計(jì)算難度大很多。但對(duì)于許多高端科學(xué)或軍事應(yīng)用而言,云計(jì)算是無法滿足需求的,必須依靠網(wǎng)格來解決。
????? 目前,許多人聲稱網(wǎng)格計(jì)算失敗了,云計(jì)算取而代之了,這其實(shí)是一種錯(cuò)覺。網(wǎng)格計(jì)算已經(jīng)有十多年歷史,不如剛興起時(shí)那樣引人注目是正常的。事實(shí)上,有些政府主導(dǎo)、范圍較窄、用途特定的網(wǎng)格,已經(jīng)取得了決定性的勝利。代表性的有:美國的TeraGrid和歐洲的EGEE等,這些網(wǎng)格每天都有幾十萬個(gè)作業(yè)在上面執(zhí)行。未來的科學(xué)研究主戰(zhàn)場(chǎng),將建立在網(wǎng)格計(jì)算之上。軍事上,美軍的全球信息網(wǎng)格GIG已經(jīng)囊括超過700萬臺(tái)計(jì)算機(jī),規(guī)模超過現(xiàn)有的所有云計(jì)算中心之和。
相信不久的將來,建立在云計(jì)算之上的商業(yè)2.0與建立在網(wǎng)格計(jì)算之上的科學(xué)2.0都將取得成功。
?
?
參考文獻(xiàn)
[1]???????????劉鵬.?提出一種實(shí)用的網(wǎng)格實(shí)現(xiàn)方式——網(wǎng)格計(jì)算池模型, 2002-11-27,?http://www.chinagrid.net/show.aspx?id=1672&cid=57
[2]???????????Peng Liu, Yao Shi, San-li Li, Computing Pool--a Simplified and Practical Computational Grid Model, the Second International Workshop on Grid and Cooperative Computing (GCC 2003), Shanghai, Dec 7-10, 2003, published in Lecture Notes in Computer Science (LNCS), Vol. 3032, Heidelberg: Springer-Verlag, 2004.http://www.chinagrid.net/show.aspx?id=1915&cid=48
?
?
?本文作者:劉鵬,來源:中國云計(jì)算(http://www.chinacloud.cn)
總結(jié)
- 上一篇: CSAPP第七章家庭作业参考答案
- 下一篇: 2020.7-8月份暑假培训总结