1.大數據的四大特征（4V）：海量的數據規模，快速的數據流動和動態的數據體系，多樣的數據類型，巨大的數據價值

 

2.RDD與DataFrame區別：RDD是一個抽象數據集，DataFrame則相當于一個二維表，帶有schema元數據信息，更便于上層應用分析

3.DataFrame和DataSet的區別：每個DataSet有一個被稱為DataFrame的類型化視圖，它只有在執行action操作時才觸發計算

4.DataSet與RDD的區別:DataSet是特定域的對象集合，RDD是任意對象的集合

5.當遇到Task not serializable，一般因為map、filter等的參數使用了外部的變量，而該變量不能序列化，特別是當引用了某個類成員函數或者變量時。

解決方案：
1）對類中不需要序列化的部分用transient修飾

2）將引用的類序列化

3）將需要序列化的變量用更小的class保存，并讓該class序列化

4）將該變量在map或者filter中定義

 

6.Spark SQL再學習：

具有如下特征：
1）HQL方面重用Hive中HQL的解析、邏輯執行計劃翻譯、執行計劃優化等邏輯，可以近似認為是把物理執行計劃從MR作業變為了Spark作業

2）依賴Hive Metastore和Hive SerDe（兼容各種Hive存儲格式）

3）支持對原生RDD的關系查詢

 

功能模塊：

1）      

總結

以上是生活随笔為你收集整理的Spark知识体系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。