偽分布式一:

只有一臺機子，搞偽分布式，很簡單，

IP分別來自127.0.0.1和局域網ip,這樣一臺機子就變成兩臺，spark認為一個IP就是一臺機子

?

偽分布式二:

兩臺機子，雖然看起來是集群，其實依然是偽分布式

根據[1]可知:

更抽象的層次來看：Spark的運行架構由Driver（可理解為master）和Executor（可理解為worker或slave)組成，Driver負責把用戶代碼進行DAG切分，劃分為不同的Stage，然后把每個Stage對應的task調度提交到Executor進行計算，這樣Executor就并行執行同一個Stage的task。

也就是說，兩臺機子，一臺負責統籌管理，只有一臺負責計算，沒有發揮集群的威力.

如果想要兩臺一起計算，需要在配置文件里面設置127.0.0.1為slave才行．

?

偽分布式三:

單機里面跑幾個虛擬機用來模擬集群

?

Reference:

[1]Spark并行計算內容總結

總結

以上是生活随笔為你收集整理的Spark的三种伪分布式方式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。