戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦！

歸于Apache社區(qū)，Storm被業(yè)界稱為實(shí)時(shí)版Hadoop。隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍。而目前已是分布式技術(shù)領(lǐng)域最新爆發(fā)點(diǎn)，Storm更是流計(jì)算技術(shù)中的佼佼者和主流。今天我們就一起來看看Storm的精華問答！

1

Q：task與executor有什么關(guān)系？

A：在我們安裝配置Storm的時(shí)候，不知大家是否主要到了一個(gè)問題，就是我們在配置的時(shí)候會(huì)加幾個(gè)worker的端口(supervisor.slots.ports:)，比如眾多文檔中提到的6700/6701等等類似的東西。沒錯(cuò)，這就是我們定義了該supervisor最多的worker數(shù)，worker中執(zhí)行一個(gè)bolt或者spout線程，我們就稱之為task，而executor是物理上的線程概念，我們可以將其稱為執(zhí)行線程；而task更多是邏輯概念上的，有時(shí)候bolt與spout的task會(huì)共用一個(gè)executor，特別是在系統(tǒng)負(fù)荷比較高的時(shí)候。

2

Q：storm與Hadoop區(qū)別？

A：storm用于實(shí)時(shí)計(jì)算，hadoop用于離線計(jì)算

storm處理的數(shù)據(jù)保存在內(nèi)存中，源源不斷；hadoop處理的數(shù)據(jù)保存在文件系統(tǒng)中，一批一批

storm的數(shù)據(jù)通過網(wǎng)絡(luò)傳輸進(jìn)來的；hadoop的數(shù)據(jù)保存在磁盤中

storm與hadoop的編程模型相似：

3

Q：Storm的Spout組件中的ack及fail是一個(gè)什么樣的機(jī)制呢？

? ? ? A：Storm保證每一個(gè)數(shù)據(jù)都得到有效處理，這是如何保證的呢？正是ack及fail機(jī)制確保數(shù)據(jù)都得到處理的保證，但是storm只是提供給我們一個(gè)接口，而具體的方法得由我們自己來實(shí)現(xiàn)。例如在spout下一個(gè)拓?fù)涔?jié)點(diǎn)的bolt上，我們定義某種情況下為數(shù)據(jù)處理失敗，則調(diào)用fail，則我們可以在fail方法中進(jìn)行數(shù)據(jù)重發(fā)，這樣就保證了數(shù)據(jù)都得到了處理。其實(shí)，通過讀storm的源碼，里面有講到，有些類（BaseBasicBolt？）是會(huì)自動(dòng)調(diào)用ack和fail的，不需要我們程序員去ack和fail，但是其他Bolt就沒有這種功能了。

4

Q：IRichBolt與IBasicBolt接口有什么區(qū)別？

A：首先從類的組成上進(jìn)行分析可以看到，IBasicBolt接口只有execute方法和declareOutputFields方法，而IRichBolt接口上除了以上幾個(gè)方法還有prepare方法和cleanup及map方法。而且其中execute方法是有些不一樣的，其參數(shù)列表不同。

總體來說Rich方法比較完善，我們可以使用prepare方法進(jìn)行該Bolt類的初始化工作，例如我們鏈接數(shù)據(jù)庫時(shí)，需要進(jìn)行一次數(shù)據(jù)庫連接操作，我們就可以把該操作放入prepare中，只需要執(zhí)行一次就可以了。而cleanup方法能在該類調(diào)用結(jié)束時(shí)進(jìn)行收尾工作，往往在處理數(shù)據(jù)的時(shí)候用到，例如在寫hdfs（hadoop的文件系統(tǒng)）數(shù)據(jù)的時(shí)候，在結(jié)束時(shí)需要進(jìn)行數(shù)據(jù)clear，則需要進(jìn)行數(shù)據(jù)收尾。當(dāng)然，根據(jù)官網(wǎng)及實(shí)際的測驗(yàn)，該方法往往是執(zhí)行失敗的。

5

Q：發(fā)布topologies 到遠(yuǎn)程集群時(shí)，出現(xiàn)Nimbus host is not set 異常，請問是什么問題？

? ? ?A：原因是Nimbus 沒有被正確啟動(dòng)起來，可能是storm.yaml 文件沒有配置，或者配置有問題。解決方法是：打開storm.yaml 文件正確配置：nimbus.host: "xxx.xxx.xxx.xxx"，重啟nimbus后臺(tái)程序即可。

小伙伴們沖鴨，后臺(tái)留言區(qū)等著你！

關(guān)于Hadoop，今天你學(xué)到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區(qū)打卡啦！留言方式：打開第XX天，答：……

同時(shí)歡迎大家搜集更多問題，投稿給我們！風(fēng)里雨里留言區(qū)里等你~

福利

1、掃描添加小編微信，備注“姓名+公司職位”，加入【云計(jì)算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2、公眾號后臺(tái)回復(fù)：白皮書，獲取IDC最新數(shù)據(jù)白皮書整理資料！

推薦閱讀：

• 上萬條數(shù)據(jù)撕開微博熱搜的真相！

• IT公司老板落水，各部門員工怎么救？？

• HTML 30 年進(jìn)化史

• 讀了鴻蒙 OS 的代碼后，我發(fā)現(xiàn)優(yōu)秀項(xiàng)目都有這個(gè)共性！

• 字節(jié)跳動(dòng)李航：自學(xué)機(jī)器學(xué)習(xí)，研究AI三十載，他說AI發(fā)展或進(jìn)入平緩期

• 主鏈增幅最高飚至 152%，主流幣卻驚現(xiàn)回落；以太坊發(fā)幣速度持續(xù)放緩

真香，朕在看了！

總結(jié)

以上是生活随笔為你收集整理的Storm精华问答 | storm与Hadoop有什么区别？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。