第28課：徹底解密Spark Sort-Based Shuffle排序具體實現內幕和源碼詳解

本文根據家林大神系列課程編寫 http://weibo.com/ilovepains

為什么講解Sorted-Based shuffle？2方面的原因：
一，可能有些朋友看到Sorted-Based Shuffle的時候，會有一個誤解，認為Spark基于Sorted-Based Shuffle 它產出的結果是有序的。
二，Sorted-Based Shuffle要排序，涉及到一個排序算法。這部分內容同學們可選學。

 

Sorted-Based Shuffle 的核心是借助于 ExternalSorter 把每個 ShuffleMapTask 的輸出，排序到一個文件中 (FileSegmentGroup)，為了區分下一個階段 Reducer Task 不同的內容，它還需要有一個索引文件 (Index) 來告訴下游 Stage 的并行任務，那一部份是屬于你的。

 

 

Shuffle Map Task 在ExternalSorter 溢出到磁盤的時候，

總結

以上是生活随笔為你收集整理的第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。