Storm精华问答 | 最火的流式处理框架——Storm
戳藍字“CSDN云計算”關注我們哦！
Storm是Twitter開源的分布式實時大數據處理框架，被業界稱為實時版Hadoop。? 今天就為大家帶來Storm誕生到發展再到實踐，趕快學習起來吧！
Q：Storm的誕生。
A：在2011年Storm開源之前，由于Hadoop的火紅，整個業界都在喋喋不休地談論大數據。Hadoop的高吞吐，海量數據處理的能力使得人們可以方便地處理海量數據。但是，Hadoop的缺點也和它的優點同樣鮮明——延遲大，響應緩慢，運維復雜。
有需求也就有創造，在Hadoop基本奠定了大數據霸主地位的時候，很多的開源項目都是以彌補Hadoop的實時性為目標而被創造出來。而在這個節骨眼上Storm橫空出世了。
Q：Storm的特點
A：Storm帶著流式計算的標簽華麗麗滴出場了，看看它的一些賣點：
分布式系統：可橫向拓展,現在的項目不帶個分布式特性都不好意思開源。
運維簡單：Storm的部署的確簡單。雖然沒有Mongodb的解壓即用那么簡單，但是它也就是多安裝兩個依賴庫而已。
高度容錯：模塊都是無狀態的，隨時宕機重啟。
無數據丟失：Storm創新性提出的ack消息追蹤框架和復雜的事務性處理,能夠滿足很多級別的數據處理需求。不過，越高的數據處理需求，性能下降越嚴重。
多語言：實際上，Storm的多語言更像是臨時添加上去似的。因為，你的提交部分還是要使用Java實現。
Q：Storm已經發展到0.8.2版本了，如今它取得的成就
A：有50個大大小小的公司在使用Storm，相信更多的不留名的公司也在使用。這些公司中不乏淘寶，百度，Twitter，Groupon，雅虎等重量級公司。
從開源時候的0.5.0版本，到現在的0.8.0+，和即將到來的0.9.0+。先后添加了以下重大的新特性：
使用kryo作為Tuple序列化的框架（0.6.0）
添加了Transactional topologies（事務性拓撲）的支持（0.7.0）
添加了Trident的支持（0.8.0）
引入netty作為底層消息機制（0.9.0）
Transactional topologies和Trident都是針對實際應用中遇到的重復計數問題和應用性問題的解決方案。可以看出，實際的商用給予了Storm很多良好的反饋。
在GitHub上超過4000個項目負責人。Storm集成了許多庫，支持包括Kestrel、Kafka、JMS、Cassandra、Memcached以及更多系統。隨著支持的庫越來越多，Storm更容易與現有的系統協作。Storm的擁有一個活躍的社區和一群熱心的貢獻者。過去兩年，Storm的發展是成功的。
Q：在Storm的學習過程中，感覺難以理解的部分有：1）Storm的反饋機制的設計原理；2）HBase用在線上欄位高可用保障方面的采集過程；3）前端欄位快照數據回流，每次訪問過程中商品。這三個問題應該如何理解？
A：1）可以簡單參考下圖
實際生產環境中需要計算欄位的產品列表不同算法的一些實時指標，不斷的反饋模型，修正相關因子或權重。
2）比如，采集0.98等版本的HBase，用默認的JMX不是很好，讀到的某些數據往往是溢出的，不是很準，用HBaseClient接口收集相關更精確的數據
3）盡可能的保存每一個點擊行為的當前的快照，比如商品當前的訂單量、訪問量、價格等，用來離線訓練，這些數據全部都走tracker方式，數據量比較大，在調用服務端API的時候可以異步寫到Kafka，再通過Gobblin等sync到HDFS。
Q：Kafka在Storm中的角色是什么呢？是作為分流的解決方案,還是作為通信的工具？Kafka的前置機是什么？數據量大的時候Kafka會不會崩掉？
A：Kafka在Storm之前扮演一個緩沖的消息隊列；Kafka最開始的前置一般有Flume等，其他消息也可以直接往Kafka寫，Storm的中間過程也可以存到Kafka中，當做一個消息隊列來用；雙十一的時候，分區設置小，Kafka滿了，來不及處理崩過，寫Kafka的時候；如果客戶端直接寫Kafka，也要注意，并發量大會把Kafka搞掛。采用異步寫+本地緩存寫Kafka，比如log4j寫Kafka，基本的異步和本地緩存等已經做了，數據量再大的時候，加一層Flume等。
福利
1、掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！
2、公眾號后臺回復：白皮書，獲取IDC最新數據白皮書整理資料！
推薦閱讀：
Elastic Jeff Yoshimura：開源正在開啟新一輪的創新 | 人物志
深入淺出Docker 鏡像 | 技術頭條
19歲當老板, 20歲ICO失敗, 21歲將項目掛到了eBay, 為何初創公司如此艱難?
碼二代的出路是什么？
機器學習萌新必備的三種優化算法 | 選型指南
小程序的侵權“生死局”
@996 程序員，ICU 你真的去不起！
真香，朕在看了！ 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎
總結
以上是生活随笔為你收集整理的Storm精华问答 | 最火的流式处理框架——Storm的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： FreeWheel是一家怎样的公司？|
- 下一篇： Boost：原子性的用法测试程序