轉自：http://blog.csdn.net/cuidiwhere/article/details/7884545

并行計算：并行計算是相對于串行計算來說的。可分為時間上的并行和空間上的并行。 時間上的并行就是指流水線技術，而空間上的并行則是指用多個處理器并發的執行計算。例如基于CUDA編程。并行計算的目的就是提供單處理器無法提供的性能（處理器能力或存儲器），使用多處理器求解單個問題。

總結：并行的主體 -- 處理器；進程/線程級并行。

分布式計算：分布式計算研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果。最近的分布式計算項目已經被用于使用世界各地成千上萬位志愿者的計算機的閑置計算能力，通過因特網，可以分析來自外太空的電訊號，尋找隱蔽的黑洞，并探索可能存在的外星智慧生命等。

總結：并行的主體 -- 計算機；各個計算機并行

并行計算與分布式計算的區別：（1）簡單的理解，并行計算借助并行算法和并行編程語言能夠實現進程級并行（如MPI）和線程級并行（如openMP）。而分布式計算只是將任務分成小塊到各個計算機分別計算各自執行。（2）粒度方面，并行計算中，處理器間的交互一般很頻繁，往往具有細粒度和低開銷的特征，并且被認為是可靠的。而在分布式計算中，處理器間的交互不頻繁，交互特征是粗粒度，并且被認為是不可靠的。并行計算注重短的執行時間，分布式計算則注重長的正常運行時間。（3）聯系，并行計算和分布式計算兩者是密切相關的。某些特征與程度（處理器間交互頻率）有關，而我們還未對這種交叉點（crossover point）進行解釋。另一些特征則與側重點有關（速度與可靠性），而且我們知道這兩個特性對并行和分布兩類系統都很重要。（4）總之，這兩種不同類型的計算在一個多維空間中代表不同但又相鄰的點。


集群計算：計算機集群使將一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協作完成計算工作。在某種意義上，他們可以被看作是一臺計算機。集群系統中的單個計算機通常稱為節點，通常通過局域網連接，但也有其它的可能連接方式。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機，比如工作站或超級計算機性價比要高得多。根據組成集群系統的計算機之間體系結構是否相同，集群可分為同構與異構兩種。集群計算機按功能和結構可以分為，高可用性集群（High-availability (HA) clusters）、負載均衡集群（Loadbalancing clusters）、高性能計算集群（High-performance (HPC)clusters）、網格計算（Grid computing）。

• 高可用性集群：一般是指當集群中有某個節點失效的情況下，其上的任務會自動轉移到其他正常的節點上。還指可以將集群中的某節點進行離線維護再上線，該過程并不影響整個集群的運行。
• 負載均衡集群：負載均衡集群運行時，一般通過一個或者多個前端負載均衡器，將工作負載分發到后端的一組服務器上，從而達到整個系統的高性能和高可用性。這樣的計算機集群有時也被稱為服務器群（Server Farm）。 一般高可用性集群和負載均衡集群會使用類似的技術，或同時具有高可用性與負載均衡的特點。Linux虛擬服務器（LVS）項目在Linux操作系統上提供了最常用的負載均衡軟件。
• 高性能計算集群：?高性能計算集群采用將計算任務分配到集群的不同計算節點兒提高計算能力，因而主要應用在科學計算領域。比較流行的HPC采用Linux操作系統和其它一些免費軟件來完成并行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程序以發揮HPC cluster的并行能力。這類程序一般應用特定的運行庫, 比如專為科學計算設計的MPI庫。HPC集群特別適合于在計算中各計算節點之間發生大量數據通訊的計算作業，比如一個節點的中間結果或影響到其它節點計算結果的情況。

網格計算：網格計算是分布式計算的一種，也是一種與集群計算非常相關的技術。如果我們說某項工作是分布式的，那么，參與這項工作的一定不只是一臺計算機，而是一個計算機網絡，顯然這種“螞蟻搬山”的方式將具有很強的數據處理能力。網格計算的實質就是組合與共享資源并確保系統安全。網格計算通過利用大量異構計算機的未用資源（CPU周 期和磁盤存儲），將其作為嵌入在分布式電信基礎設施中的一個虛擬的計算機集群，為解決大規模的計算問題提供一個模型。網格計算的焦點放在支持跨管理域計算 的能力，這使它與傳統的計算機集群或傳統的分布式計算相區別。網格計算的目標是解決對于任何單一的超級計算機來說仍然大得難以解決的問題，并同時保持解決 多個較小的問題的靈活性。這樣，網格計算就提供了一個多用戶環境。


集群計算與網格計算的區別：（1）簡單地，網格與傳統集群的主要差別是網格是連接一組相關并不信任的計算機，它的運作更像一個計算公共設施而不是一個獨立的計算機。網格通常比集群支持更多不同類型的計算機集合。（2）網格本質上就是動態的，集群包含的處理器和資源的數量通常都是靜態的。在網格上，資源則可以動態出現，資源可以根據需要添加到網格中或從網格中刪除。（3） 網格天生就是在本地網、城域網或廣域網上進行分布的。網格可以分布在任何地方。而集群物理上都包含在一個位置的相同地方，通常只是局域網互連。集群互連技 術可以產生非常低的網絡延時，如果集群距離很遠，這可能會導致產生很多問題。物理臨近和網絡延時限制了集群地域分布的能力，而網格由于動態特性，可以提供 很好的高可擴展性。（4）集群僅僅通過增加服務器滿足增長的需求。然而，集群的服務器數量、以及由此導致的集群性能是有限的：互連網絡容量。也就是說如果一味地想通過擴大規模來提高集群計算機的性能，它的性價比會相應下降，這意味著我們不可能無限制地擴大集群的規模。 而網格虛擬出空前的超級計算機，不受規模的限制，成為下一代Internet的發展方向。（5）集群和網格計算是相互補充的。很多網格都在自己管理的資源中采用了集群。實際上，網格用戶可能并不清楚他的工作負載是在一個遠程的集群上執行的。盡管網格與集群之間存在很多區別，但是這些區別使它們構成了一個非常重要的關系，因為集群在網格中總有一席之地—— 特定的問題通常都需要一些緊耦合的處理器來解決。然而，隨著網絡功能和帶寬的發展，以前采用集群計算很難解決的問題現在可以使用網格計算技術解決了。理解網格固有的可擴展性和集群提供的緊耦合互連機制所帶來的性能優勢之間的平衡是非常重要的。


云計算：云計算是最新開始的新概念，它不只是計算等計算機概念，還有運營服務等概念了。它是分布式計算、并行計算和網格計算的發展，或者說是這些概念的商業實現。云計算不但包括分布式計算還包括分布式存儲和分布式緩存。分布式存儲又包括分布式文件存儲和分布式數據存儲。


云計算與并行、分布式、網格和集群計算的區別：云計算是從集群技術發展而來，區別在于集群雖然把多臺機器聯了起來，但其某項具體任務執行的時候還是會被轉發到某臺服務器上，而云可以簡單的認為是任務可以被分割成多個進程在多臺服務器上并行計算，然后得到結果，好處在于大數據量的操作性能非常好。云可以使用廉價的PC服務器 ，可以管理大數據量與大集群，關鍵技術在于能夠對云內的基礎設施進行動態按需分配與管理。云計算與并行計算、分布式計算的區別，以計算機用戶來說，并行計算是由單個用戶完成的，分布式計算是由多個用戶合作完成的，云計算是沒有用戶參與，而是交給網絡另一端的服務器完成的。

總結

以上是生活随笔為你收集整理的云计算、分布式计算、并行计算、网格计算、集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。