flink source 同步_大数据面试题-Flink
1、Flink 的 抽象層次有幾種
Stateful stream processing
Core API
Table
SQL
2、Window 類型
(1)TimeWindow
Tumbling Window(滾動窗口)
Sliding Window(滑動窗口)
Session Window(會話窗口)
Global Window(全局窗口)
(2)countWindow
(3)自定義window
3、Time 類型
事件時間、注入時間和Processing Time
4、Checkpoint的理解
輕量級容錯機制(全局異步,局部同步)
保證exactly-once 語義
用于內部失敗的恢復
基本原理:通過往source 注入barrier,barrier作為checkpoint的標志
5、Savepoint
流處理過程中的狀態(tài)歷史版本
具有可以replay的功能
外部恢復(應用重啟和升級)
兩種方式觸發(fā):Cancel with savepoint,手動主動觸發(fā)
$s bin/flink savepoint :jobId [:targetDirectory]
$ bin/flink cancel -s [:targetDirectory] :jobId
6、Flink runtime architecture
Job Manager
Task Manger
Client
角色間的通信(Akka)
數(shù)據(jù)的傳輸(Netty)
7、什么是solts
solts :槽,slot 的數(shù)量通常與每個 TaskManager 的可用 CPU 內核數(shù)成比例。
一般情況下你的 slot 數(shù)是你每個 TaskManager 的 cpu 的核數(shù)。
8、什么是狀態(tài)
Definition
task/operator在某個時刻的中間結果
Snapshot
Effect:記錄狀態(tài)并且在失敗時用于恢復
Basic type:Operator state、Keyed state
9、RestartStrategies
Restart Strategies
4種重啟策略
10、statebacked有幾種(3種)
Apache Flink 1.8 Documentation: State Backends
//env.setStateBackend(new MemoryStateBackend());
//env.setStateBackend(new FsStateBackend("hdfs://hadoop100:9000/flink/checkpoints"));
//env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:9000/flink/checkpoints",true));
11、運行模式
Job模式
獨享Dispatcher和ResourceManager
資源按需申請
適合?大作業(yè)
Session模式
共享Dispatcher和ResourceManager
共?用TaskManager
適合規(guī)模?小,運?行行時間短的作業(yè)
12、全量聚合和增量聚合 window
全量聚合:ProcessWindowFunction
增量聚合:ReduceFunction、AggregateFunction、FoldFunction
總結
以上是生活随笔為你收集整理的flink source 同步_大数据面试题-Flink的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 食梦先生剧情介绍
- 下一篇: 1.1.1.1校园网_Apache Fl