Storm精华问答 | 如何处理常见故障?
Hadoop能夠進行大批量數(shù)據(jù)的離線處理,但是在實時計算上的表現(xiàn)實在是不盡如人意;而Storm就可以擔(dān)當(dāng)這部分的角色,今天,就讓我們看看關(guān)于Storm的精華問答吧。
1
Q:發(fā)布topology到遠程集群時,出現(xiàn)AlreadyAliveException(msg: xxx is alreadyactive)異常。
A:故障原因是因為提供的topology 與已經(jīng)在運行的topology 重名。解決方法是在發(fā)布時換一個拓撲名稱即可。
Q:啟動Supervisor 時,出現(xiàn)java.lang.UnsatisfiedLinkError:
A:故障原因是未找到zmq 動態(tài)鏈接庫。
解決方法1:配置環(huán)境變量 export LD_LIBRARY_PATH=/usr/local/lib
解決方法2:編輯/etc/ld.so.conf 文件,增加一行:/usr/local/lib。再執(zhí)行
sudo ldconfig 命令,重啟Supervisor。
Q:發(fā)布topologies 時,出現(xiàn)不能序列化log4j.Logger 的異常。
A:故障原因是日志系統(tǒng)無法正確支付序列化。解決方法的方式是使用slf4j 代替log4j。
Q:bolt 在處理消息時,worker 的日志中出現(xiàn)Failing message
A:故障原因可能是因為Topology 的消息處理超時所致。解決方法為提交Topology 時設(shè)置適當(dāng)?shù)南⒊瑫r時間,比默認消息超時時間(30秒)更長。比如:
Q:在打包toplogy工程的時候, 如果采用assembly方式,對于相關(guān)的依賴的配置一般要這樣的Xml代碼:
A: wiki上說可以用<scope>compile</scope>。然后將storm依賴設(shè)置為runtime,貌似不行。 另外就是所有的依賴包將全部解壓,然后將所有依賴的配置和class文件生成一個文件。這個是通過<unpack>true</unpack>參數(shù)來控制的。
小伙伴們沖鴨,后臺留言區(qū)等著你!
關(guān)于Storm,今天你學(xué)到了什么?還有哪些不懂的?除此還對哪些話題感興趣?快來留言區(qū)打卡啦!留言方式:打開第XX天,答:……
同時歡迎大家搜集更多問題,投稿給我們!風(fēng)里雨里留言區(qū)里等你~
福利
1、掃描添加小編微信,備注“姓名+公司職位”,加入【云計算學(xué)習(xí)交流群】,和志同道合的朋友們共同打卡學(xué)習(xí)!
2、公眾號后臺回復(fù):白皮書,獲取IDC最新數(shù)據(jù)白皮書整理資料!
推薦閱讀:
全面剖析企業(yè)私有云
30 秒?!Chrome 插件帶你速成編程學(xué)習(xí) | 程序員硬核評測
為什么程序員下班后只關(guān)顯示器從不關(guān)電腦?
算法警告!該圖片涉嫌違規(guī)不予顯示
交易機器人春天已來?先看完這篇再說吧
2019年中國IT市場趨勢熱點
2019年最值得關(guān)注的五大微服務(wù)發(fā)展趨勢
總結(jié)
以上是生活随笔為你收集整理的Storm精华问答 | 如何处理常见故障?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 干货 | 算法和编程面试题精选TOP50
- 下一篇: 被子弹击中后会铅污染吗?