kafka和storm集成

我將在此處描述Storm和Kafka集成模塊的一些細(xì)節(jié)，一些您應(yīng)該意識(shí)到的重要錯(cuò)誤以及如何克服其中的一些錯(cuò)誤（尤其是對(duì)于生產(chǎn)安裝）。

我在生產(chǎn)安裝中大量使用Apache Storm，并將Kafka作為主要輸入源（Spout）。

使用Kafka和版本的Storm集成模塊：

• Storm 0.x通過現(xiàn)有模塊storm-kafka支持Kafka 0.8.x
• Storm 1.0.x通過新模塊storm-kafka-client支持Kafka 0.9.x
• Storm 1.x通過新模塊storm-kafka-client支持Kafka 0.10.x

最近，我將Storm 1.0.3 （從0.9.6）升級(jí)到Kafka 0.9.0.1 （從0.8.2.2）。
不幸的是，Storm 1.0.3有兩個(gè)主要的錯(cuò)誤 ，您必須解決這些錯(cuò)誤才能在生產(chǎn)環(huán)境中使用它。

主要錯(cuò)誤（與Kafka相關(guān)）：

“如果在運(yùn)行元組時(shí)重新分配分區(qū)，則新的Kafka噴嘴會(huì)崩潰[ JIRA-2104 ]在1.0.x分支中已解決（ Pull-1980 ）

“ Storm-kafka-client：不總是重放失敗的元組” [ JIRA-2087 ]在1.x分支中已解決（ Pull-1826 ）

當(dāng)開始從Storm 0.9.6到1.0.3的遷移過程時(shí)，我遇到了上述錯(cuò)誤。 在強(qiáng)調(diào)我的拓?fù)鋾r(shí)，各種事情開始不起作用，或者看到停滯不前的Workers停止處理數(shù)據(jù)。
在閱讀了許多日志并進(jìn)行了許多測(cè)試之后，我們終于了解了該問題（KafkaSpout錯(cuò)誤）。 我們暫停了遷移過程，并希望解決這些問題。
幸運(yùn)的是，Storm提交者已經(jīng)修復(fù)了這些錯(cuò)誤，因此已經(jīng)提供了解決方案。 非常感謝Storm社區(qū)！！！

為了解決這些問題，我將這兩個(gè)修復(fù)程序移植到了“ storm-kafka-client ”的派生版本中，并發(fā)布了具有新maven版本（ 1.0.3- <custom> 1.0 ）的新自定義模塊。 然后，我僅在項(xiàng)目中引用新的自定義版本。
之后，我們?cè)俅伍_始?jí)毫y(cè)試，一切都按預(yù)期進(jìn)行。
請(qǐng)注意，錯(cuò)誤“ 2087”僅在1.x分支中已修復(fù)，但將其移植到1.0.3版本非常容易。

幸運(yùn)的是，幾天前發(fā)布了Storm 1.1.0 。 此版本已經(jīng)修復(fù)了這些錯(cuò)誤以及許多其他錯(cuò)誤。 我尚未進(jìn)行測(cè)試，但是我會(huì)盡快嘗試。
當(dāng)我將這些修復(fù)移植回1.0.3版本時(shí)，沒有Storm 1.1.0版本。

如果您打算使用Storm 1.0.3發(fā)行版，則必須注意該發(fā)行版的一些其他錯(cuò)誤，您可能需要在“ custom ”發(fā)行版中對(duì)其進(jìn)行修復(fù)：

• “ Kafka中斷可能導(dǎo)致拓?fù)滏i定” [ STORM-2440 ] [ FIX ]
• “ ReportErrorAndDie并不總是消亡” [ STORM-2194 ] [ 修復(fù) ]
• “在捕獲InterruptedException后，Utils.sleep方法未設(shè)置中斷標(biāo)志” [ STORM-2396 ] [ 修復(fù) ]
• “即使topology.eventlogger.executors = 0，事件記錄器螺栓也會(huì)實(shí)例化” [ STORM-2389 ] [ 修復(fù) ]
• “故障恢復(fù)Blob刪除在BlobSynchronizer.syncBlobs中也失敗” [ STORM-2386 ] [ FIX ]（與Nimbus HA有關(guān)）
• “ Storm-HDFS的listFilesByModificationTime已損壞” [ STORM-2350 ] [ 修復(fù) ]
• “ ReadClusterState的ProfileAction處理映射中的類型不匹配” [ STORM-2345 ] [ FIX ]

上述大多數(shù)錯(cuò)誤（2440和2194除外）已在Storm 1.1.0版本中解決。 新版本包含您可能感興趣的新功能（流式SQL，Druid和OpenTSB集成等）。

最好的祝福，
阿德里安斯·達(dá)迪斯（Adrianos Dadis）。
真正的民主需要免費(fèi)軟件

翻譯自: https://www.javacodegeeks.com/2017/04/important-production-bugs-fixes-storm-kafka-integration.html

kafka和storm集成

總結(jié)

以上是生活随笔為你收集整理的kafka和storm集成_Storm和Kafka集成的重要生产错误和修复的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。