我有一個非常要好的同事，無數(shù)次幫我解決了業(yè)務(wù)上的痛。技術(shù)能力很強(qiáng)，業(yè)務(wù)方面也精通。而且更耐得住加班，并且是自愿加班，毫無怨言。不像我，6點(diǎn)到準(zhǔn)時(shí)走人了。但就是這么一位兢兢業(yè)業(yè)的技術(shù)人，卻一直沒有升職加薪的機(jī)會，黯然神傷之下，只能離開，挺可惜。

在數(shù)據(jù)庫承擔(dān)了所有業(yè)務(wù)訪問的重壓下，團(tuán)隊(duì)決定用ElasticSearch來取代數(shù)據(jù)庫上承載的搜索任務(wù)。在灰度上線之后，取得了很好的反響。于是，我從京東上一口氣買了5本ElasticSearch的技術(shù)書，慢慢的啃起來。這位同事也來找我借書看，大家都知道的，我一般不輕易借書給別人。但對他倒是例外。我相信他能看得下去，能發(fā)揮出書的作用。我欣然答應(yīng)。

沒過一個禮拜，這哥們過來還書了。我借他的是其中一本操作性能強(qiáng)的書。所以這么快看完，也是出乎我的意料。我就隨口問了句，“ES是不是很牛皮，給你點(diǎn)時(shí)間，百度你都能做出來了吧”。結(jié)果這哥們的一句話，徹底顛覆我對他的認(rèn)識?！斑@沒什么好看的，我就看了前幾章。知道有這回事就行了。不就是SQL中的Like嘛。細(xì)節(jié)我都跳過了。”

我本以為我的黃氏看書法足夠囂張了，沒想到還是敗在了這哥們手上。

所以，看書真的只是從頭到尾，掃一遍就可以的嘛？

這兩個月我一直都在摸索大數(shù)據(jù)Spark組件的知識框架，從原理，搭建環(huán)境，到源碼閱讀，無所不包。書自然也看過很多，但值得花心思去看的，也就這么一本。它就是王家林的《Spark大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)三部曲：內(nèi)核解密|商業(yè)案例|性能調(diào)優(yōu)》。尤其是其中商業(yè)案例這部分足夠吸引我。用個畫來表達(dá)下

上面的框架或許過于復(fù)雜，那么我簡單抽象成最小可執(zhí)行單元

只有足夠精彩的書，才能讓我有畫畫的沖動。根據(jù)這幅畫，我摸索著寫出來所有實(shí)現(xiàn)畫中細(xì)節(jié)的代碼，也漸漸發(fā)現(xiàn)自己對Spark的掌握順手了。

從最初級的RDD編程玩起，慢慢過渡到 Spark SQL, Spark DataFrame, Spark Streaming. 做了一系列順暢運(yùn)行的小例子，最終實(shí)現(xiàn) Spark Streaming 吃進(jìn)Kafka消息，并存盤MySQL.

代碼這里我就省略了，基本都是從《Spark大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)三部曲》復(fù)制下來的，少許已經(jīng)淘汰的 API，谷歌里百度下，也都能搞定。

最核心的就是Spark Stream消費(fèi)程序，讀取Kafka集群的消息：

val kafkaParams = Map[String, Object]("bootstrap.servers" -> "192.168.1.8:9092","key.deserializer" -> classOf[StringDeserializer],"value.deserializer" -> classOf[StringDeserializer],"group.id" -> "spark_kafka_consumer_01","auto.offset.reset" -> "latest","enable.auto.commit" -> (false: java.lang.Boolean))val topic = Array("newbook")val stream = KafkaUtils.createDirectStream[String, String](sparkstreamcontext,PreferConsistent,ConsumerStrategies.Subscribe[String,String](topic, kafkaParams))

如果仔細(xì)看文檔，這點(diǎn)代碼量不會難倒你。

在這個過程中，再一次驗(yàn)證一個學(xué)習(xí)方法，對我來說非常有用，那就是從頭到尾的讀一本技術(shù)操作型的書，會讓你失去很多樂趣。我的方法是盡快讀完基礎(chǔ)部分，然后找到最小實(shí)現(xiàn)單元，自己動手完成它。

在做實(shí)例的過程中，會碰到各種各樣的問題，此時(shí)會逼著你去讀各種各樣的材料，代碼，直到把例子做出來。好書，就像藏寶圖。用心去尋找，總能給你驚喜。在實(shí)現(xiàn)本例的過程中，我在微信讀書上參考了很多其他書，并且都做了標(biāo)記和思考，有興趣的朋友，可以加我好友，一起來討論。

僅僅把書囫圇吞棗看完，只留個模糊概念，遠(yuǎn)遠(yuǎn)不夠。畢竟對老板說，我讀了某某書，你給我加錢，加工資，升職，是會被當(dāng)做發(fā)癡的。優(yōu)秀的程序員，只用代碼說話。

--完--

總結(jié)

以上是生活随笔為你收集整理的光环大数据spark文档_推荐大数据Spark必读书目的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。