代碼量

計算平均數

使用hadoop的方式

spark方式-RDD

spark方式-DataFrame

spark方式-SQL

綜上，很明顯使用spark方式的DataFrame或者SQL都可以使代碼可讀性更好，代碼更精簡。

讀寫數據

從json讀數據：df = sqlContext.read.format("json").option("samplingRatio", "0.1").load("/home/user1/data.json")
將文件寫入json：df.write.format("parquet").mode("append").partitionBy("year").saveAsTable("fasterData")

總結

以上是生活随笔為你收集整理的SparkSQL愿景的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。