learn from 從0開始學大數據（極客時間）

Spark 擁有更快的執行速度
更友好的編程接口
迅速搶占 MapReduce 的市場份額，成為主流的大數據計算框架

val textFile = sc.textFile("hdfs://...") // 根據 HDFS 路徑生成一個輸入數據 RDD val counts = textFile.flatMap(line => line.split(" "))// 每一行文本用空格拆分成單詞.map(word => (word, 1))// 每個單詞進行轉換，word => (word, 1)，生成 <Key, Value> 的結構.reduceByKey(_ + _)// 相同的 Key 進行統計，統計方式是對 Value 求和，(_ + _) counts.saveAsTextFile("hdfs://...") // 將這個 RDD 保存到 HDFS

RDD 是 Spark 的核心概念，是彈性數據集（Resilient Distributed Datasets）的縮寫

MapReduce 面向過程的大數據計算

Spark 將大規模數據集合抽象成一個 RDD 對象，然后在這個 RDD 上進行各種計算處理，得到一個新的 RDD，繼續計算處理，直到得到最后的結果數據。

Spark 可以理解成是面向對象的大數據計算。
在進行 Spark 編程的時候，思考的是一個 RDD 對象需要經過什么樣的操作，轉換成另一個 RDD 對象

RDD 上定義的函數分兩種

• 轉換（transformation）函數，返回值還是 RDD
• 執行（action）函數，不再返回 RDD

總結

以上是生活随笔為你收集整理的我们并没有觉得MapReduce速度慢，直到Spark出现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。