并行計算（Parallel Computing）
　　
　　并行計算或稱平行計算是相對于串行計算來說的。并行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程。為執(zhí)行并行計算，計算資源應(yīng)包括一臺配有多處理機（并行處理）的計算機、一個與網(wǎng)絡(luò)相連的計算機專有編號，或者兩者結(jié)合使用。并行計算的主要目的是快速解決大型且復雜的計算問題。
　　
　　并行計算可以劃分成時間并行和空間并行。時間并行即流水線技術(shù)，空間并行使用多個處理器執(zhí)行并發(fā)計算，當前研究的主要是空間的并行問題。以程序和算法設(shè)計人員的角度看，并行計算又可分為數(shù)據(jù)并行和任務(wù)并行。數(shù)據(jù)并行把大的任務(wù)化解成若干個相同的子任務(wù)，處理起來比任務(wù)并行簡單。
　　
　　空間上的并行導致兩類并行機的產(chǎn)生，按照Michael Flynn（費林分類法）的說法分為單指令流多數(shù)據(jù)流（SIMD）和多指令流多數(shù)據(jù)流（MIMD），而常用的串行機也稱為單指令流單數(shù)據(jù)流（SISD）。MIMD類的機器又可分為常見的五類：并行向量處理機（PVP）、對稱多處理機（SMP）、大規(guī)模并行處理機（MPP）、工作站機群（COW）、分布式共享存儲處理機（DSM）。
　　
　　
　　2. 分布式計算（Distributed Computing）
　　
　　分布式計算這個研究領(lǐng)域，主要研究分散系統(tǒng)（Distributed system）如何進行計算。分散系統(tǒng)是一組計算機，通過計算機網(wǎng)絡(luò)相互鏈接與通信后形成的系統(tǒng)。把需要進行大量計算的工程數(shù)據(jù)分區(qū)成小塊，由多臺計算機分別計算，在上傳運算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學。
　　
　　目前常見的分布式計算項目通常使用世界各地上千萬志愿者計算機的閑置計算能力，通過互聯(lián)網(wǎng)進行數(shù)據(jù)傳輸。如分析計算蛋白質(zhì)的內(nèi)部結(jié)構(gòu)和相關(guān)藥物的Folding@home項目，該項目結(jié)構(gòu)龐大，需要驚人的計算量，由一臺電腦計算是不可能完成的。即使現(xiàn)在有了計算能力超強的超級電腦，但是一些科研機構(gòu)的經(jīng)費卻又十分有限。
　　
　　分布式計算比起其它算法具有以下幾個優(yōu)點：
　　
　　1、稀有資源可以共享。
　　
　　2、通過分布式計算可以在多臺計算機上平衡計算負載。
　　
　　3、可以把程序放在最適合運行它的計算機上。其中，共享稀有資源和平衡負載是計算機分布式計算的核心思想之一。
　　
　　3. 并行計算與分布式計算的區(qū)別
　　
　　并行計算與分布式計算都是運用并行來獲得更高性能，化大任務(wù)為小任務(wù)。簡單說來，如果處理單元共享內(nèi)存，就稱為并行計算，反之就是分布式計算。也有人認為分布式計算是并行計算的一種特例。
　　
　　但是分布式的任務(wù)包互相之間有獨立性，上一個任務(wù)包的結(jié)果未返回或者是結(jié)果處理錯誤，對下一個任務(wù)包的處理幾乎沒有什么影響。因此，分布式的實時性要求不高，而且允許存在計算錯誤（因為每個計算任務(wù)給好幾個參與者計算，上傳結(jié)果到服務(wù)器后要比較結(jié)果，然后對結(jié)果差異大的進行驗證。
　　
　　分布式要處理的問題一般是基于“尋找”模式的。所謂的“尋找”，就相當于窮舉法！為了嘗試到每一個可能存在的結(jié)果，一般從0～N（ 某一數(shù)值）被一個一個的測試，直到我們找到所要求的結(jié)果。事實上，為了易于一次性探測到正確的結(jié)果，我們假設(shè)結(jié)果是以某個特殊形式開始的。在這種類型的搜索里，我們也許幸運的一開始就找到答案；也許不夠走運以至于到最后才找到答案，這都很公平。
　　
　　這么說，并行程序并行處理的任務(wù)包之間有很大的聯(lián)系，而且并行計算的每一個任務(wù)塊都是必要的，沒有浪費的分割的，就是每個任務(wù)包都要處理，而且計算結(jié)果相互影響，就要求每個的計算結(jié)果要絕對正確，而且在時間上要盡量做到同步，而分布式的很多任務(wù)塊可以根本就不處理，有大量的無用數(shù)據(jù)塊，所以說分布式計算的速度盡管很快，但是真正的“效率”是低之再低 的，可能一直在尋找，但是永遠都找不到，也可能一開始就找到了；而并行處理不同，它的任務(wù)包個數(shù)相對有限，在一個有限的時間應(yīng)該是可能完成的。
　　
　　分布式的編寫一般用的是C++（也有用JAVA的，但是都不是主流），基本不用MPI接口。并行計算用MPI或者OpenMP。
　　
　　4. 集群計算(Cluster Computing)
　　
　　計算機集群將一組松散集成的計算機軟件或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看作是一臺計算機。集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機，比如工作站或超級計算機性價比要高得多。
　　
　　根據(jù)組成集群系統(tǒng)的計算機之間體系結(jié)構(gòu)是否相同，集群可分為同構(gòu)與異構(gòu)兩種。集群計算機按功能和結(jié)構(gòu)可以分為，高可用性集群（High-availability (HA) clusters）、負載均衡集群（Loadbalancing clusters）、高性能計算集群（High-performance (HPC)clusters）、網(wǎng)格計算（Grid computing）。
　　
　　高可用性集群，一般是指當集群中有某個節(jié)點失效的情況下，其上的任務(wù)會自動轉(zhuǎn)移到其他正常的節(jié)點上。還指可以將集群中的某節(jié)點進行離線維護再上線，該過程并不影響整個集群的運行。
　　
　　負載均衡集群，負載均衡集群運行時，一般通過一個或者多個前端負載均衡器，將工作負載分發(fā)到后端的一組服務(wù)器上，從而達到整個系統(tǒng)的高性能和高可用性。這樣的計算機集群有時也被稱為服務(wù)器群（Server Farm）。一般高可用性集群和負載均衡集群會使用類似的技術(shù)，或同時具有高可用性與負載均衡的特點。Linux虛擬服務(wù)器（LVS）項目在Linux操作系統(tǒng)上提供了最常用的負載均衡軟件。
　　
　　高性能計算集群，高性能計算集群采用將計算任務(wù)分配到集群的不同計算節(jié)點兒提高計算能力，因而主要應(yīng)用在科學計算領(lǐng)域。比較流行的HPC采用Linux操作系統(tǒng)和其它一些免費軟件來完成并行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程序以發(fā)揮HPC cluster的并行能力。這類程序一般應(yīng)用特定的運行庫, 比如專為科學計算設(shè)計的MPI庫。HPC集群特別適合于在計算中各計算節(jié)點之間發(fā)生大量數(shù)據(jù)通訊的計算作業(yè)，比如一個節(jié)點的中間結(jié)果或影響到其它節(jié)點計算結(jié)果的情況。
　　
　　5. 網(wǎng)格計算（Grid Computing）
　　
　　網(wǎng)格計算是分布式計算的一種，也是一種與集群計算非常相關(guān)的技術(shù)。如果我們說某項工作是分布式的，那么，參與這項工作的一定不只是一臺計算機，而是一個計算機網(wǎng)絡(luò)，顯然這種“螞蟻搬山”的方式將具有很強的數(shù)據(jù)處理能力。網(wǎng)格計算的實質(zhì)就是組合與共享資源并確保系統(tǒng)安全。
　　
　　網(wǎng)格計算通過利用大量異構(gòu)計算機的未用資源（CPU周 期和磁盤存儲），將其作為嵌入在分布式電信基礎(chǔ)設(shè)施中的一個虛擬的計算機集群，為解決大規(guī)模的計算問題提供一個模型。網(wǎng)格計算的焦點放在支持跨管理域計算 的能力，這使它與傳統(tǒng)的計算機集群或傳統(tǒng)的分布式計算相區(qū)別。網(wǎng)格計算的目標是解決對于任何單一的超級計算機來說仍然大得難以解決的問題，并同時保持解決 多個較小的問題的靈活性。這樣，網(wǎng)格計算就提供了一個多用戶環(huán)境。
　　
　　6. 集群計算與網(wǎng)格計算的區(qū)別
　　
　　（1）簡單地，網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關(guān)并不信任的計算機，它的運作更像一個計算公共設(shè)施而不是一個獨立的計算機。網(wǎng)格通常比集群支持更多不同類型的計算機集合。
　　
　　（2）網(wǎng)格本質(zhì)上就是動態(tài)的，集群包含的處理器和資源的數(shù)量通常都是靜態(tài)的。在網(wǎng)格上，資源則可以動態(tài)出現(xiàn)，資源可以根據(jù)需要添加到網(wǎng)格中或從網(wǎng)格中刪除。
　　
　　（3）網(wǎng)格天生就是在本地網(wǎng)、城域網(wǎng)或廣域網(wǎng)上進行分布的。網(wǎng)格可以分布在任何地方。而集群物理上都包含在一個位置的相同地方，通常只是局域網(wǎng)互連。集群互連技 術(shù)可以產(chǎn)生非常低的網(wǎng)絡(luò)延時，如果集群距離很遠，這可能會導致產(chǎn)生很多問題。物理臨近和網(wǎng)絡(luò)延時限制了集群地域分布的能力，而網(wǎng)格由于動態(tài)特性，可以提供 很好的高可擴展性。
　　
　　（4）集群僅僅通過增加服務(wù)器滿足增長的需求。然而，集群的服務(wù)器數(shù)量、以及由此導致的集群性能是有限的：互連網(wǎng)絡(luò)容量。也就是說如果一味地想通過擴大規(guī)模來提高集群計算機的性能，它的性價比會相應(yīng)下降，這意味著我們不可能無限制地擴大集群的規(guī)模。 而網(wǎng)格虛擬出空前的超級計算機，不受規(guī)模的限制，成為下一代Internet的發(fā)展方向。
　　
　　（5）集群和網(wǎng)格計算是相互補充的。很多網(wǎng)格都在自己管理的資源中采用了集群。實際上，網(wǎng)格用戶可能并不清楚他的工作負載是在一個遠程的集群上執(zhí)行的。盡管網(wǎng)格與集群之間存在很多區(qū)別，但是這些區(qū)別使它們構(gòu)成了一個非常重要的關(guān)系，因為集群在網(wǎng)格中總有一席之地—— 特定的問題通常都需要一些緊耦合的處理器來解決。然而，隨著網(wǎng)絡(luò)功能和帶寬的發(fā)展，以前采用集群計算很難解決的問題現(xiàn)在可以使用網(wǎng)格計算技術(shù)解決了。理解網(wǎng)格固有的可擴展性和集群提供的緊耦合互連機制所帶來的性能優(yōu)勢之間的平衡是非常重要的。
　　
　　7. 云計算（Cloud Computing）
　　
　　云計算是最新開始的新概念，它不只是計算等計算機概念，還有運營服務(wù)等概念了。它是分布式計算、并行計算和網(wǎng)格計算的發(fā)展，或者說是這些概念的商業(yè)實現(xiàn)。云計算不但包括分布式計算還包括分布式存儲和分布式緩存。分布式存儲又包括分布式文件存儲和分布式數(shù)據(jù)存儲。
　　
　　8. 云計算與并行、分布式、網(wǎng)格和集群計算的區(qū)別
　　
　　云計算是從集群技術(shù)發(fā)展而來，區(qū)別在于集群雖然把多臺機器聯(lián)了起來，但其某項具體任務(wù)執(zhí)行的時候還是會被轉(zhuǎn)發(fā)到某臺服務(wù)器上，而云可以簡單的認為是任務(wù)可以被分割成多個進程在多臺服務(wù)器上并行計算，然后得到結(jié)果，好處在于大數(shù)據(jù)量的操作性能非常好。云可以使用廉價的PC服務(wù)器 ，可以管理大數(shù)據(jù)量與大集群，關(guān)鍵技術(shù)在于能夠?qū)υ苾?nèi)的基礎(chǔ)設(shè)施進行動態(tài)按需分配與管理。云計算與并行計算、分布式計算的區(qū)別，以計算機用戶來說，并行計算是由單個用戶完成的，分布式計算是由多個用戶合作完成的，云計算是沒有用戶參與，而是交給網(wǎng)絡(luò)另一端的服務(wù)器完成的。
　　人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)的未來發(fā)展值得重視，均為前沿產(chǎn)業(yè)，多智時代專注于人工智能和大數(shù)據(jù)的入門和科譜，在此為你推薦幾篇優(yōu)質(zhì)好文：
云計算服務(wù)模式，主要分為哪幾種？
http://www.duozhishidai.com/article-13377-1.html
面對巨大的云計算人才需要，你準備好了么？
http://www.duozhishidai.com/article-12312-1.html
云安全主要技術(shù)分析
http://www.duozhishidai.com/article-6489-1.html

---

多智時代-人工智能和大數(shù)據(jù)學習入門網(wǎng)站|人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算的學習交流網(wǎng)站

總結(jié)

以上是生活随笔為你收集整理的并行计算、分布式计算、集群计算和网格计算的介绍，以及主要有哪些区别？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。