在Ubuntu背后的公司Canonical，每6個月進行一次技術工作，以第一手測試我們的工具并向其他人展示新想法。 這次，我創建了一個即時大數據解決方案，更具體地講是“即時風暴”。

Storm現在是Apache基金會的一部分，但以前Storm是Nathan Marz在Twitter期間建立的。 Storm是用于實時和分布式計算的流處理引擎。 您可以使用Storm來聚合事件的實時流，進行機器學習，進行分析，進行分布式ETL等。

Storm由多種服務構建而成，需要Zookeeper。 這是一個復雜的解決方案，并且易于部署，集成和擴展。 我在Canonical所做的第一個技術項目是創建Storm Juju魅力 。 盡管我能夠自動化Storm的部署，但是仍然存在一些問題，因為用戶仍然必須閱讀有關如何實際使用Storm的信息。

Instant Storm是解決此問題的第一步。 我創建了一個StormDeployer超級按鈕 ，可以讀取yaml文件，開發人員可以在其中指定多個拓撲。 為每個名稱指定拓撲的名稱，jar文件，Github中的位置，如何打包jar文件等。然后，通過將yaml文件上載到Github或任何公共Web服務器，并給它擴展名.storm世界能夠通過兩個步驟立即重用拓撲：

1.通過簡單地在Juju中拖放，即可部署Storm + Zookeeper + StormDeployer隨附的Storm捆綁包 ：

2.獲取風暴文件的URL，并將其放入StormDeployer的服務設置的deploy字段中：

另外，您可以使用Juju命令行：

juju set stormdeployer "deploy=http://somedomain/somefile.storm"

Github上已經有幾個示例可用，但是可以肯定地使用以下示例：
https://raw.githubusercontent.com/mectors/stormdeployer-examples/master/storm-hackaton/storm-hackaton.storm

StormDeployer將從Github下載項目，將jar與Maven打包，然后將jar上傳到Storm。 您可以在日志（/opt/storm/latest/log/deploy.log）中查看進度。

這是在任何公共云，私有云上或在任何裸機服務器（X86，ARM64和Power 8）上使用Ubuntu的Metal-as-a / Service / MaaS部署Storm的最簡單方法。 有關Juju安裝說明，請參見此處。

這是第一個版本，有一些限制。 要添加的真正不錯的功能之一是使用Juju使拓撲和其他超級按鈕之間的集成動態化。 例如，您可以創建連接到Kafka或Cassandra護身符的噴嘴或螺栓。 Juju可以自動告知拓撲連接信息，并在發生任何更改時更新正在運行的拓撲。 這將使運行長期運行的Storm拓撲更加健壯。

我很高興將自己的工作捐贈給Apache基金會，并指導任何想要擁有所有權的人……

翻譯自: https://www.javacodegeeks.com/2014/09/instant-big-data-stream-processing-instant-storm.html

總結

以上是生活随笔為你收集整理的即时大数据流处理=即时风暴的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。