External Data產生背景

在之前的案例中，每一個Spark Application都是以加載數據開始，經過一系列處理，然后把結果展示到控制臺中。
在生產環境中我們往往需要把數據存儲到外部系統中如HBase、mysql等。
同時，我們也希望能從不同的數據源（json、parquet、RDBMS）經過混合處理（json join parquet），然后將處理結果以特定的格式（json、parquet）寫回到指定的系統中（HDFS、S3）上去。
因此在Spark1.2之后引入了外部數據源API。

Spark內置的導入數據格式

我們通常使用spark.read.format(format)方式來導入數據，內置的導入格式包括：json、parquet、jdbc，在spark2.x版本之后，支持了csv格式。
此外我們可以自定義packages外部的數據源。

Spark導出數據

people.write.format("parquet").save("path")

總結

以上是生活随笔為你收集整理的SparkSQL之External Data的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。