總的來說，Spark采用更先進(jìn)的架構(gòu)，使得靈活性、易用性、性能等方面都比Hadoop更有優(yōu)勢，有取代Hadoop的趨勢，但其穩(wěn)定性有待進(jìn)一步提高。我總結(jié)，具體表現(xiàn)在如下幾個方面。

1

Q：為什么選擇Kafka去承擔(dān)類似數(shù)據(jù)總線的角色？

A：絕大部分是由于它簡單的架構(gòu)以及出色的吞吐量, 并且與Spark也有專門的集成模塊. Kafka的出色吞吐量主要是來自于最大化利用系統(tǒng)緩存以及順序讀寫所帶來的優(yōu)點, 同時offset和partition的涉及也提供了較好的容災(zāi)性.

2

Q：為什么選擇Spark作為流計算引擎？

A：主要是由于Spark本身優(yōu)雅的RDD設(shè)計讓分布式編程更簡單, 同時結(jié)合Spark的內(nèi)存緩存層也使得計算更快,而Spark對各種技術(shù)的集成與支持, 能夠使技術(shù)棧更簡單和通用, 也是選用它的一個重要原因. 而Spark的DirectKafkaInputDStream也提供了簡單有效的HA.

3

Q：Spark和Hadoop的操作模型區(qū)別

A：Hadoop：只提供了Map和Reduce兩種操作所有的作業(yè)都得轉(zhuǎn)換成Map和Reduce的操作。

Spark：提供很多種的數(shù)據(jù)集操作類型比如Transformations 包括map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues,sort,partionBy等多種操作類型，還提供actions操作包括Count,collect, reduce, lookup, save等多種。這些多種多樣的數(shù)據(jù)集操作類型，給開發(fā)上層應(yīng)用的用戶提供了方便。

4

Q：spark Streaming 是什么？

A：Spark Streaming是一種構(gòu)建在Spark上的實時計算框架，它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。

首先，Spark Streaming把實時輸入數(shù)據(jù)流以時間片Δt （如1秒）為單位切分成塊，Spark Streaming會把每塊數(shù)據(jù)作為一個RDD，并使用RDD操作處理每一小塊數(shù)據(jù)，每個塊都會生成一個Spark Job處理，最終結(jié)果也返回多塊。在Spark Streaming中，則通過操作DStream（表示數(shù)據(jù)流的RDD序列）提供的接口，這些接口和RDD提供的接口類似。?

正如Spark Streaming最初的目標(biāo)一樣，它通過豐富的API和基于內(nèi)存的高速計算引擎讓用戶可以結(jié)合流式處理，批處理和交互查詢等應(yīng)用。因此Spark Streaming適合一些需要?dú)v史數(shù)據(jù)和實時數(shù)據(jù)結(jié)合分析的應(yīng)用場合。當(dāng)然，對于實時性要求不是特別高的應(yīng)用也能完全勝任，另外通過RDD的數(shù)據(jù)重用機(jī)制可以得到更高效的容錯處理。

5

Q：Spark streaming+Kafka應(yīng)用

A：WeTest輿情監(jiān)控對于每天爬取的千萬級游戲玩家評論信息都要實時的進(jìn)行詞頻統(tǒng)計，對于爬取到的游戲玩家評論數(shù)據(jù)，我們會生產(chǎn)到Kafka中，而另一端的消費(fèi)者我們采用了Spark Streaming來進(jìn)行流式處理，首先利用上文我們闡述的Direct方式從Kafka拉取batch，之后經(jīng)過分詞、統(tǒng)計等相關(guān)處理，回寫到DB上（至于Spark中，由此高效實時的完成每天大量數(shù)據(jù)的詞頻統(tǒng)計任務(wù)。

小伙伴們沖鴨，后臺留言區(qū)等著你！

關(guān)于Spark，今天你學(xué)到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區(qū)打卡啦！留言方式：打開第XX天，答：……

同時歡迎大家搜集更多問題，投稿給我們！風(fēng)里雨里留言區(qū)里等你~

福利

1、掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

推薦閱讀：

• 如何高效地準(zhǔn)備技術(shù)面試？

• 漫畫：有趣的“帽子問題”

• 我為什么放棄了 Chrome？

• 5天破10億的哪吒，為啥這么火，Python來分析

• 通俗易懂：圖解10大CNN網(wǎng)絡(luò)架構(gòu)

• 互聯(lián)網(wǎng)公司上演反腐風(fēng)暴；GitHub CEO 對斷供表示無能為力；程序員面試錦集| 開發(fā)者周刊

• 在其他國家被揭穿騙子又盯上非洲? 這幾個騙子公司可把非洲人民坑苦了……

真香，朕在看了！

總結(jié)

以上是生活随笔為你收集整理的Spark精华问答 | 为什么选择Spark作为流计算引擎？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。