目錄

• Flink 流處理為什么需要網絡流控？

• Flink V1.5 版之前網絡流控介紹

• Flink V1.5 版之前的反壓策略存在的問題

• Credit的反壓策略實現原理，Credit是如何解決 Flink 1.5 之前的問題？

• 對比spark，都說flink延遲低，來一條處理一條，真是這樣嗎？其實Flink內部也有Buffer機制，Buffer機制具體是如何實現的？

• Flink 如何在吞吐量和延遲之間做權衡？

Flink 流處理為什么需要網絡流控？

分析一個簡單的 Flink 流任務，下圖是一個簡單的Flink流任務執行圖：任務首先從 Kafka 中讀取數據、 map 算子對數據進行轉換、keyBy 按照指定 key 對數據進行分區（相同 key 的數據經過 keyBy 后分到同一個 subtask 實例中），keyBy 后對數據接著進行 map 轉換，然后使用 Sink 將數據輸出到外部存儲。

眾所周知，在大數據處理中，無論是批處理還是流處理，單點處理的性能總是有限的，我們的單個 Job 一般會運行在多個節點上，多個節點共同配合來提升整個系統的處理性能。圖中，任務被切分成 4 個可獨立執行的 subtask（ A0、A1、B0、B1），在數據處理過程中，就會存在 shuffle（數據傳輸&#

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的Flink从入门到精通100篇（二十二）- Flink应用实战案例：如何实现网络流控与反压机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。