日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Storm ack和fail机制再论

發布時間:2023/12/19 编程问答 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Storm ack和fail机制再论 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

之前對這個的理解有些問題,今天用到有仔細梳理了一遍,記錄一下

?

首先開啟storm tracker機制的前提是,

1. 在spout emit tuple的時候,要加上第3個參數messageid?
2. 在配置中acker數目至少為1?
3. 在bolt emit的時候,要加上第二個參數anchor tuple,以保持tracker鏈路

?

流程,

1. 當tuple具有messageid時,spout會把該tuple加到pending list里面?
?? 并發消息給acker,通知acker開始tracker這條tuple

2. 然后再后續的bolt的處理邏輯中,你必須顯式的ack或fail所有處理的tuple?
?? 如果這條tuple在整個DAG圖上都成功執行了,那么acker會發現該tuple的track異或值為0?
?? 于是acker會發ack_message給spout?
?? 當然如果在DAG圖上任意一個節點bolt上fail,那么acker會認為該tuple fail?
?? 于是acker會發fail_message給spout

3. 當spout收到ack或fail message如何處理,?
??? 首先是從pending list里面刪掉這條tuple,因為無論ack或fail,只要得到結果,這條tuple就沒有繼續被cache的必要了?
??? 然后做的事是調用spout.ack或spout.fail?
??? 所以系統默認是不會做任何事的,甚至是fail后的重發,你也需要在fail里面自己實現?
??? 如何實現后面看

4. 如果一條tuple沒有被ack或fail,最終是會超時的?
??? Spout會根據system tick去rotate pending list,對于每個過時的tuple,都調用spout.fail

?

下面的問題就是如何做fail重發,

這個必須用戶通過自己處理fail來做,系統是不會自己做的,

public void fail(Object msgId)

看看系統提供的接口,只有msgId這個參數,這里的設計不合理,其實在系統里是有cache整個msg的,只給用戶一個messageid,用戶如何取得原來的msg

貌似需要自己cache,然后用這個msgId去查詢,太坑爹了

阿里自己的Jstorm會提供

public interface IFailValueSpout { void fail(Object msgId, List<object>values); }

這樣更合理一些, 可以直接取得系統cache的msg values

本文章摘自博客園,原文發布日期:?2014-06-24?

總結

以上是生活随笔為你收集整理的Storm ack和fail机制再论的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。