分布式批同步BSP

Pregel、GraphLab、GraphX都是基于BSP（Bulk Synchronous Parallel）模式，即整體同步并行。一次計(jì)算過程由一系列全局超步組成，每一個(gè)超步由并發(fā)計(jì)算、通信和同步三個(gè)步驟組成。從垂直上看,一個(gè)程序由一系列串行的超步組成。從水平上看，在一個(gè)超步中，所有的進(jìn)程并行執(zhí)行局部計(jì)算。BSP最大的好處是編程簡(jiǎn)單，但在某些情況下BSP運(yùn)算的性能非常差，系統(tǒng)速度取決于最慢的計(jì)算任務(wù)，即木桶原理。Spark Graphx中也實(shí)現(xiàn)了Pregel的API。

Pregel

Pregel采用迭代的計(jì)算模型：在每一輪，每個(gè)頂點(diǎn)處理上一輪收到的消息，并發(fā)出消息給其它頂點(diǎn)，并更新自身狀態(tài)和拓?fù)浣Y(jié)構(gòu)等。算法是否能夠結(jié)束取決于是否所有的頂點(diǎn)都已經(jīng)vote標(biāo)識(shí)其自身已經(jīng)達(dá)到halt狀態(tài)了。頂點(diǎn)通過將其自身的狀態(tài)設(shè)置成halt來(lái)表示它已經(jīng)不再active。

Pregel框架的缺點(diǎn)：這個(gè)模型雖然簡(jiǎn)單，那就是對(duì)于鄰居數(shù)很多的頂點(diǎn)，它需要處理的消息非常龐大，所以對(duì)于符合冪律分布的自然圖，這種計(jì)算模型下很容易發(fā)生假死或者崩潰。

GraphLab

GraphLab將數(shù)據(jù)抽象成Graph結(jié)構(gòu)，將基于頂點(diǎn)切分的算法的執(zhí)行過程抽象成Gather、Apply、Scatter三個(gè)步驟。如下：需要完成對(duì)V0鄰接頂點(diǎn)的求和計(jì)算，將頂點(diǎn)V0進(jìn)行切分，邊關(guān)系以及鄰接點(diǎn)部署在兩臺(tái)處理器上，各臺(tái)機(jī)器上并行進(jìn)行求和運(yùn)算，然后通過master（藍(lán)色）頂點(diǎn)和mirror（橘紅色）頂點(diǎn)的通信完成最終的計(jì)算。

1.Gather階段，工作頂點(diǎn)的邊從連接頂點(diǎn)和自身收集數(shù)據(jù)。

2.Apply階段，mirror將gather階段計(jì)算的結(jié)果發(fā)送給master頂點(diǎn)，master進(jìn)行匯總并結(jié)合上一步的頂點(diǎn)數(shù)據(jù)，進(jìn)行進(jìn)一步的計(jì)算，然后更新master的頂點(diǎn)數(shù)據(jù)，并同步給mirror。

3.Scatter階段，工作頂點(diǎn)更新完成之后，更新邊上的數(shù)據(jù)，并通知對(duì)其有依賴的鄰結(jié)頂點(diǎn)更新狀態(tài)。

由于gather/scatter函數(shù)是以單條邊為操作粒度，所以對(duì)于一個(gè)頂點(diǎn)的眾多鄰邊，可以分別由相應(yīng)的節(jié)點(diǎn)獨(dú)立調(diào)用gather/scatter函數(shù)，從而避免Pregel模型的問題。

GraphX

GraphX公開了類似Pregel的操作，是Pregel和GraphLab抽象的一個(gè)融合。在GraphX中，操作者執(zhí)行一系列的超步，在這些超步中，頂點(diǎn)從之前的超步中接收進(jìn)入消息，為頂點(diǎn)屬性計(jì)算一個(gè)新的值，然后在以后的超步中發(fā)送消息到鄰居頂點(diǎn)。不像Pregel而更像GraphLab，消息通過邊triplet的一個(gè)函數(shù)被并行計(jì)算，消息的計(jì)算既會(huì)訪問源頂點(diǎn)特征也會(huì)訪問目的頂點(diǎn)特征。

此外，GraphX的優(yōu)點(diǎn)還包括：

1.允許用戶把數(shù)據(jù)當(dāng)做一個(gè)圖和一個(gè)集合(RDD)，而不需要數(shù)據(jù)移動(dòng)或者復(fù)制。

2.Spark GraphX可以無(wú)縫與Spark SQL、MLLib等結(jié)合，方便且高效地完成圖計(jì)算整套流水作業(yè)。

總結(jié)

以上是生活随笔為你收集整理的GraphX与GraphLab、Pregel的对比的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。