轉(zhuǎn)自：http://blog.csdn.net/cuidiwhere/article/details/7884545

并行計(jì)算：并行計(jì)算是相對于串行計(jì)算來說的。可分為時(shí)間上的并行和空間上的并行。 時(shí)間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。例如基于CUDA編程。并行計(jì)算的目的就是提供單處理器無法提供的性能（處理器能力或存儲器），使用多處理器求解單個(gè)問題。

總結(jié)：并行的主體 -- 處理器；進(jìn)程/線程級并行。

分布式計(jì)算：分布式計(jì)算研究如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來得到最終的結(jié)果。最近的分布式計(jì)算項(xiàng)目已經(jīng)被用于使用世界各地成千上萬位志愿者的計(jì)算機(jī)的閑置計(jì)算能力，通過因特網(wǎng)，可以分析來自外太空的電訊號，尋找隱蔽的黑洞，并探索可能存在的外星智慧生命等。

總結(jié)：并行的主體 -- 計(jì)算機(jī)；各個(gè)計(jì)算機(jī)并行

并行計(jì)算與分布式計(jì)算的區(qū)別：（1）簡單的理解，并行計(jì)算借助并行算法和并行編程語言能夠?qū)崿F(xiàn)進(jìn)程級并行（如MPI）和線程級并行（如openMP）。而分布式計(jì)算只是將任務(wù)分成小塊到各個(gè)計(jì)算機(jī)分別計(jì)算各自執(zhí)行。（2）粒度方面，并行計(jì)算中，處理器間的交互一般很頻繁，往往具有細(xì)粒度和低開銷的特征，并且被認(rèn)為是可靠的。而在分布式計(jì)算中，處理器間的交互不頻繁，交互特征是粗粒度，并且被認(rèn)為是不可靠的。并行計(jì)算注重短的執(zhí)行時(shí)間，分布式計(jì)算則注重長的正常運(yùn)行時(shí)間。（3）聯(lián)系，并行計(jì)算和分布式計(jì)算兩者是密切相關(guān)的。某些特征與程度（處理器間交互頻率）有關(guān)，而我們還未對這種交叉點(diǎn)（crossover point）進(jìn)行解釋。另一些特征則與側(cè)重點(diǎn)有關(guān)（速度與可靠性），而且我們知道這兩個(gè)特性對并行和分布兩類系統(tǒng)都很重要。（4）總之，這兩種不同類型的計(jì)算在一個(gè)多維空間中代表不同但又相鄰的點(diǎn)。


集群計(jì)算：計(jì)算機(jī)集群使將一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。在某種意義上，他們可以被看作是一臺計(jì)算機(jī)。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計(jì)算機(jī)通常用來改進(jìn)單個(gè)計(jì)算機(jī)的計(jì)算速度和/或可靠性。一般情況下集群計(jì)算機(jī)比單個(gè)計(jì)算機(jī)，比如工作站或超級計(jì)算機(jī)性價(jià)比要高得多。根據(jù)組成集群系統(tǒng)的計(jì)算機(jī)之間體系結(jié)構(gòu)是否相同，集群可分為同構(gòu)與異構(gòu)兩種。集群計(jì)算機(jī)按功能和結(jié)構(gòu)可以分為，高可用性集群（High-availability (HA) clusters）、負(fù)載均衡集群（Loadbalancing clusters）、高性能計(jì)算集群（High-performance (HPC)clusters）、網(wǎng)格計(jì)算（Grid computing）。

• 高可用性集群：一般是指當(dāng)集群中有某個(gè)節(jié)點(diǎn)失效的情況下，其上的任務(wù)會自動轉(zhuǎn)移到其他正常的節(jié)點(diǎn)上。還指可以將集群中的某節(jié)點(diǎn)進(jìn)行離線維護(hù)再上線，該過程并不影響整個(gè)集群的運(yùn)行。
• 負(fù)載均衡集群：負(fù)載均衡集群運(yùn)行時(shí)，一般通過一個(gè)或者多個(gè)前端負(fù)載均衡器，將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個(gè)系統(tǒng)的高性能和高可用性。這樣的計(jì)算機(jī)集群有時(shí)也被稱為服務(wù)器群（Server Farm）。 一般高可用性集群和負(fù)載均衡集群會使用類似的技術(shù)，或同時(shí)具有高可用性與負(fù)載均衡的特點(diǎn)。Linux虛擬服務(wù)器（LVS）項(xiàng)目在Linux操作系統(tǒng)上提供了最常用的負(fù)載均衡軟件。
• 高性能計(jì)算集群：?高性能計(jì)算集群采用將計(jì)算任務(wù)分配到集群的不同計(jì)算節(jié)點(diǎn)兒提高計(jì)算能力，因而主要應(yīng)用在科學(xué)計(jì)算領(lǐng)域。比較流行的HPC采用Linux操作系統(tǒng)和其它一些免費(fèi)軟件來完成并行運(yùn)算。這一集群配置通常被稱為Beowulf集群。這類集群通常運(yùn)行特定的程序以發(fā)揮HPC cluster的并行能力。這類程序一般應(yīng)用特定的運(yùn)行庫, 比如專為科學(xué)計(jì)算設(shè)計(jì)的MPI庫。HPC集群特別適合于在計(jì)算中各計(jì)算節(jié)點(diǎn)之間發(fā)生大量數(shù)據(jù)通訊的計(jì)算作業(yè)，比如一個(gè)節(jié)點(diǎn)的中間結(jié)果或影響到其它節(jié)點(diǎn)計(jì)算結(jié)果的情況。

網(wǎng)格計(jì)算：網(wǎng)格計(jì)算是分布式計(jì)算的一種，也是一種與集群計(jì)算非常相關(guān)的技術(shù)。如果我們說某項(xiàng)工作是分布式的，那么，參與這項(xiàng)工作的一定不只是一臺計(jì)算機(jī)，而是一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)，顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力。網(wǎng)格計(jì)算的實(shí)質(zhì)就是組合與共享資源并確保系統(tǒng)安全。網(wǎng)格計(jì)算通過利用大量異構(gòu)計(jì)算機(jī)的未用資源（CPU周 期和磁盤存儲），將其作為嵌入在分布式電信基礎(chǔ)設(shè)施中的一個(gè)虛擬的計(jì)算機(jī)集群，為解決大規(guī)模的計(jì)算問題提供一個(gè)模型。網(wǎng)格計(jì)算的焦點(diǎn)放在支持跨管理域計(jì)算 的能力，這使它與傳統(tǒng)的計(jì)算機(jī)集群或傳統(tǒng)的分布式計(jì)算相區(qū)別。網(wǎng)格計(jì)算的目標(biāo)是解決對于任何單一的超級計(jì)算機(jī)來說仍然大得難以解決的問題，并同時(shí)保持解決 多個(gè)較小的問題的靈活性。這樣，網(wǎng)格計(jì)算就提供了一個(gè)多用戶環(huán)境。


集群計(jì)算與網(wǎng)格計(jì)算的區(qū)別：（1）簡單地，網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關(guān)并不信任的計(jì)算機(jī)，它的運(yùn)作更像一個(gè)計(jì)算公共設(shè)施而不是一個(gè)獨(dú)立的計(jì)算機(jī)。網(wǎng)格通常比集群支持更多不同類型的計(jì)算機(jī)集合。（2）網(wǎng)格本質(zhì)上就是動態(tài)的，集群包含的處理器和資源的數(shù)量通常都是靜態(tài)的。在網(wǎng)格上，資源則可以動態(tài)出現(xiàn)，資源可以根據(jù)需要添加到網(wǎng)格中或從網(wǎng)格中刪除。（3） 網(wǎng)格天生就是在本地網(wǎng)、城域網(wǎng)或廣域網(wǎng)上進(jìn)行分布的。網(wǎng)格可以分布在任何地方。而集群物理上都包含在一個(gè)位置的相同地方，通常只是局域網(wǎng)互連。集群互連技 術(shù)可以產(chǎn)生非常低的網(wǎng)絡(luò)延時(shí)，如果集群距離很遠(yuǎn)，這可能會導(dǎo)致產(chǎn)生很多問題。物理臨近和網(wǎng)絡(luò)延時(shí)限制了集群地域分布的能力，而網(wǎng)格由于動態(tài)特性，可以提供 很好的高可擴(kuò)展性。（4）集群僅僅通過增加服務(wù)器滿足增長的需求。然而，集群的服務(wù)器數(shù)量、以及由此導(dǎo)致的集群性能是有限的：互連網(wǎng)絡(luò)容量。也就是說如果一味地想通過擴(kuò)大規(guī)模來提高集群計(jì)算機(jī)的性能，它的性價(jià)比會相應(yīng)下降，這意味著我們不可能無限制地?cái)U(kuò)大集群的規(guī)模。 而網(wǎng)格虛擬出空前的超級計(jì)算機(jī)，不受規(guī)模的限制，成為下一代Internet的發(fā)展方向。（5）集群和網(wǎng)格計(jì)算是相互補(bǔ)充的。很多網(wǎng)格都在自己管理的資源中采用了集群。實(shí)際上，網(wǎng)格用戶可能并不清楚他的工作負(fù)載是在一個(gè)遠(yuǎn)程的集群上執(zhí)行的。盡管網(wǎng)格與集群之間存在很多區(qū)別，但是這些區(qū)別使它們構(gòu)成了一個(gè)非常重要的關(guān)系，因?yàn)榧涸诰W(wǎng)格中總有一席之地—— 特定的問題通常都需要一些緊耦合的處理器來解決。然而，隨著網(wǎng)絡(luò)功能和帶寬的發(fā)展，以前采用集群計(jì)算很難解決的問題現(xiàn)在可以使用網(wǎng)格計(jì)算技術(shù)解決了。理解網(wǎng)格固有的可擴(kuò)展性和集群提供的緊耦合互連機(jī)制所帶來的性能優(yōu)勢之間的平衡是非常重要的。


云計(jì)算：云計(jì)算是最新開始的新概念，它不只是計(jì)算等計(jì)算機(jī)概念，還有運(yùn)營服務(wù)等概念了。它是分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展，或者說是這些概念的商業(yè)實(shí)現(xiàn)。云計(jì)算不但包括分布式計(jì)算還包括分布式存儲和分布式緩存。分布式存儲又包括分布式文件存儲和分布式數(shù)據(jù)存儲。


云計(jì)算與并行、分布式、網(wǎng)格和集群計(jì)算的區(qū)別：云計(jì)算是從集群技術(shù)發(fā)展而來，區(qū)別在于集群雖然把多臺機(jī)器聯(lián)了起來，但其某項(xiàng)具體任務(wù)執(zhí)行的時(shí)候還是會被轉(zhuǎn)發(fā)到某臺服務(wù)器上，而云可以簡單的認(rèn)為是任務(wù)可以被分割成多個(gè)進(jìn)程在多臺服務(wù)器上并行計(jì)算，然后得到結(jié)果，好處在于大數(shù)據(jù)量的操作性能非常好。云可以使用廉價(jià)的PC服務(wù)器 ，可以管理大數(shù)據(jù)量與大集群，關(guān)鍵技術(shù)在于能夠?qū)υ苾?nèi)的基礎(chǔ)設(shè)施進(jìn)行動態(tài)按需分配與管理。云計(jì)算與并行計(jì)算、分布式計(jì)算的區(qū)別，以計(jì)算機(jī)用戶來說，并行計(jì)算是由單個(gè)用戶完成的，分布式計(jì)算是由多個(gè)用戶合作完成的，云計(jì)算是沒有用戶參與，而是交給網(wǎng)絡(luò)另一端的服務(wù)器完成的。

總結(jié)

以上是生活随笔為你收集整理的云计算、分布式计算、并行计算、网格计算、集群的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。