2019獨角獸企業重金招聘Python工程師標準>>>

背景

otter4.0發布至今也差不多有近一年的時間，中間過程有著比較曲折經歷，擁抱了許多變化，目前otter4已經在逐步替換otter3，繼續服務icbu的相關中美同步業務，otter3即將成為過去式。

otter4管理系統(manager)

比如我們內部系統使用了otter.alibaba-inc.com的域名，后續文檔描述的時候會基于此域名鏈接

系統登錄

匿名訪問時只擁有同步狀態的查詢權限，可考慮與自己用戶授權管理.

同步管理

同步模式配置 (點擊同步列表右邊的查看/編輯鏈接)

說明：

a. 同步一致性

基于數據庫反查 (簡單點說，就是強制反查數據庫，從binlog中拿到pk，直接反查對應數據庫記錄進行同步，回退到幾天前binlog進行消費時避免同步老版本的數據時可采用)

基于當前日志變更 (基于binlog/redolog解析出來的字段變更值進行同步，不做數據庫反查，推薦使用)

b. 同步模式

行模式 (兼容otter3的處理方案，改變記錄中的任何一個字段，觸發整行記錄的數據同步，在目標庫執行merge sql)

列模式 (基于log中的具體變更字段，按需同步)

c. 特殊組合： (同樣支持)

基于數據庫反查+列模式

基于當前日志變更+行模式

同步簡要信息 (點擊同步列表上的通道Channel名字的鏈接)

說明：

• 延遲時間 = 數據庫同步到目標庫成功時間 - 數據庫源庫產生變更時間， 單位秒. (由對應node節點定時推送配置)
• 最后同步時間 = 數據庫同步到目標庫最近一次的成功時間 (當前同步關注的相關表，同步到目標庫的最后一次成功時間)
• 最后位點時間 = 數據binlog消費最后一次更新位點的時間 (和同步時間區別：一個數據庫可能存在別的表的變更，不會觸發同步時間變更，但會觸發位點時間變更)

同步詳細信息 (點擊同步簡要信息上的Pipeline名字的鏈接)

目前主要分為幾類:

映射關系列表

延遲時間

同步進度

監控管理

日志記錄

映射關系列表

點擊查看打開映射關系信息頁面：



說明：

• 定義同步的源和目標的表信息 (注意:表明可以不同，可以定義數據庫分庫/分表)
• Push權重 (對應的數字越大，同步會越后面得到同步，優先同步權重小的數據)
• FileResolver (數據關聯文件的解析類，目前支持動態源碼推送,在目標jvm里動態編譯生效，不再需要起停同步任務)
• EventProcessor (業務自定義的數據處理類，比如可以定義不需要同步status='ENABLE'的記錄或者根據業務改變同步的字段信息 簡單業務擴展，otter4新特性)
• 字段同步 (定義源和目標的字段映射，字段名和字段類型均可進行映射定義，類似于數據庫視圖定義功能 otter4新特性)
• 組合同步 (字段組的概念，字段組中的一個字段發生變更，會確保字段組中的3個字段一起同步到目標庫 otter4新特性)
• 多個字段決定一個圖片地址，變更文件字段中的任何一個字段，就會觸發FileResolver類解析，從而可以確保基于字段同步模式，也可以保證FileResolver能夠正常解析出文件 otter4重要的優化)

吞吐量

說明：

• 數據記錄統計 (insert/update/delete的變更總和，不區分具體的表，按表緯度的數據統計，可查看映射關系列表->每個映射關系右邊的行為曲線鏈接)
• 文件記錄統計

延遲時間

說明：

• 延遲時間的統計 = 數據庫同步到目標庫成功時間 - 數據庫源庫產生變更時間， 單位秒. (由對應node節點定時推送配置)

同步進度

說明：

• mainstem狀態： 代表canal模塊當前的運行節點(也即是binlog解析的運行節點，解析會相對耗jvm內存)
• position狀態： 當前同步成功的最后binlog位點信息 (包含鏈接的是數據庫ip/port，對應binlog的位置，對應binlog的變更時間此時間即是計算延遲時間的源庫變更時間)
• 同步進度： 每個同步批次會有一個唯一標識，可根據該唯一標示進行數據定位，可以查看每個批次的運行時間，找出性能瓶頸點

監控管理

說明：

監控項目

• 同步延遲，position超時(位點超過多少時間沒有更新) ， 一般業務方關心這些即可
• 異常 (同步運行過程中出現的異常，比如oracle DBA關心oracle系統ORA-的異常信息，mysql DBA關心mysql數據庫相關異常)
• process超時(一個批次數據執行超過多少時間)，同步時間超時(數據超過多少時間沒有同步成功過)

閥值設置

• 1800@09:00-18:00 , 這例子是指定了早上9點到下午6點，報警閥值為1800.

發送對象

• otterteam為otter團隊的標識，阿里內部使用了dragoon系統監控報警通知，如果外部系統可實現自己的報警通知機制

日志記錄

說明：

日志標題即為對應的監控規則定義的名字，可根據監控規則檢索對應的日志記錄

日志內容即為發送報警的信息

注意： otter4采用主動推送報警的模式，可以保證報警的及時性以及日志完整性(相比于日志文件掃描機制來說)

配置管理

數據源

說明：

• 主要是數據庫連接信息：定義字符編碼，ip地址等 (類似napoli等存儲也可以抽象為數據源進行配置)
• 切換數據庫時，可根據ip檢索同步數據庫，找到需要切換的同步任務

數據表

說明：

• 數據表是一種抽象概念，(針對數據庫類型即為一個數據庫表的定義)

canal配置

說明：主要是管理canal鏈接到mysql/oracle獲取日志的相關參數等，業務方可不重點關注

機器管理

轉載于:https://my.oschina.net/sansom/blog/157878

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Manager使用介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。