本文目錄：

一、Spark 基礎
二、Spark Core
三、Spark SQL
四、Spark Streaming
五、Structured Streaming
六、Spark 兩種核心 Shuffle
七、Spark 底層執行原理
八、Spark 數據傾斜
九、Spark 性能調優
十、Spark 故障排除
十一、Spark大廠面試真題

Spark涉及的知識點如下圖所示，本文將逐一講解：

一、Spark 基礎

1. 激動人心的 Spark 發展史

大數據、人工智能( Artificial Intelligence )像當年的石油、電力一樣， 正以前所未有的廣度和深度影響所有的行業， 現在及未來公司的核心壁壘是數據， 核心競爭力來自基于大數據的人工智能的競爭。

Spark 是當今大數據領域最活躍、最熱門、最高效的大數據通用計算平臺之一。

2009 年誕生于美國加州大學伯克利分校 AMP 實驗室；
2010 年通過 BSD 許可協議開源發布；
2013 年捐贈給 Apache 軟件基金會并切換開源協議到切換許可協議至 Apache2.0；
2014 年 2 月，Spark 成為 Apache 的頂級項目；
2014 年 11 月, Spark 的母公司 Databricks

總結

以上是生活随笔為你收集整理的spark知识点八万字长文最全汇总和高频面试题目的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。