當前位置:
首頁 >
topic相关问题
發布時間:2025/7/25
34
豆豆
1.下面是一個topic數據出現堵塞的情況示圖。
如圖所示,delta列表示當前分區未處理的數據條數,kafka current表示推送到topic的數據量,spout current表示已經處理的數據量。
這種情況有幾種可能:數據有問題,配置文件有問題,代碼有問題,顯然這些都是廢話,差不多也就這幾總,這里只是說一下找錯的的幾個方向,如果你刷新頁面發現慢慢的delta變小,spout current慢慢變大,
這可能是數據量過大,處理的慢,試著把配置文件內的work改大,work根據配置文件內的bolt數量和實際work的使用情況設置。
?
2.下面是一個strom任務出現的報錯示圖。
明確提示jvm內存溢出,內存不夠用,應該是一次從數據庫拉過來的數據量太大導致的。
修改對應的topology配置文件,調整兩個參數,把他們變大。
<property>
<name>hbase.manualFlushLimit</name>
<value>1</value>
</property>
<property>
<name>hbase.writeBufferSize</name>
<value>1024</value>
</property>
轉載于:https://www.cnblogs.com/lccyb/p/9442648.html
總結
- 上一篇: IEEE的论文需要注意的一些
- 下一篇: 基于继承类的属性模版中无法绑定的原因和解