Flink从入门到精通100篇(十三)-Flink的入门教学
生活随笔
收集整理的這篇文章主要介紹了
Flink从入门到精通100篇(十三)-Flink的入门教学
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
Flink 是一種流式計算框架,為什么我會接觸到 Flink 呢?因為我目前在負責的是監控平臺的告警部分,負責采集到的監控數據會直接往 kafka 里塞,然后告警這邊需要從 kafka topic 里面實時讀取到監控數據,并將讀取到的監控數據做一些 聚合/轉換/計算 等操作,然后將計算后的結果與告警規則的閾值進行比較,然后做出相應的告警措施(釘釘群、郵件、短信、電話等)。畫了個簡單的圖如下:
目前告警這塊的架構是這樣的結構,剛進公司那會的時候,架構是所有的監控數據直接存在 ElasticSearch 中,然后我們告警是去 ElasticSearch 中搜索我們監控指標需要的數據,幸好 ElasticSearch 的搜索能力夠強大。但是你有沒有發現一個問題,就是所有的監控數據從采集、采集后的數據做一些 計算/轉換/聚合、再通過 Kafka 消息隊列、再存進 ElasticSearch 中,再而去 ElasticSearch 中查找我們的監控數據,然后做出告警策略。整個流程對監控來說看起來很按照常理,但是對于告警來說,如果中間某個環節出了問題,比如 Kafka 消息隊列延遲、監控數據存到 ElasticSearch 中寫入時間較長、你的查詢姿勢寫的不對等原因,這都將導致告警從 ElasticSearc
總結
以上是生活随笔為你收集整理的Flink从入门到精通100篇(十三)-Flink的入门教学的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Flink从入门到精通100篇(五)-f
- 下一篇: Flink从入门到精通100篇(十八)-