在Spark _18 _Shuffle文件尋址https://georgedage.blog.csdn.net/article/details/103068770中的shffle尋址流程圖中有說到shffle聚合內存的概念，本篇就是闡述Spark的內存管理。

官網：http://spark.apache.org/docs/2.3.0/configuration.html#memory-management

Spark執行應用程序時，Spark集群會啟動Driver和Executor兩種JVM進程，Driver負責創建SparkContext上下文，提交任務，task的分發等。Executor負責task的計算任務，并將結果返回給Driver。同時需要為需要持久化的RDD提供儲存。Driver端的內存管理比較簡單，這里所說的Spark內存管理針對Executor端的內存管理。

Spark內存管理分為靜態內存管理和統一內存管理，Spark1.6之前使用的是靜態內存管理，Spark1.6之后引入了統一內存管理。

靜態內存管理中存儲內存、執行內存和其他內存的大小在 Spark 應用程序運行期間均為固定的，但用戶可以應用程序啟動前進行配置。

統一內存管理與靜態內存管理的區別在于儲存內存和執行內存共享同一塊空間，可以互相借用對方的空間。

Spark1.6以上版本默認使用的是統一內存管理，可以通過參數spark.memory.useLegacyMode?設置為true(默認為false)使用靜態內存管理。

圖示【更好理解】：

【注】其中的參數均可以在配置文件，或者?官網上找到。

• reduce 中OOM如何處理？

減少每次拉取的數據量

提高shuffle聚合的內存比例

提高Excutor的總內存

總結

以上是生活随笔為你收集整理的Spark _19 _Spark内存管理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。