購買ECS

作為自定義資源組的機器建議，按照下面規格購買：

• 使用centos6、centos7或aliyunos。
• 如果您添加的ECS需要執行MaxCompute任務或同步任務，需要檢查當前ECS的python版本是否是python2.6或2.7的版本（centos5的版本為2.4，其它os自帶2.6以上版本）。
• 請確保ECS有訪問公網能力，可以是否能ping通 www.aliyun.com 作為衡量標準。
• 建議ECS的配置為8核16G。

添加自定義資源組

• 創建項目后，單擊對應項目后的進入數據開發；
• 進入DataStudio頁面，左上角選擇數據集成頁面里的資源組界面；
  
• 命令運行安裝自定義資源組：

Agent只能安裝在Linux機器上，添加的每個服務器都需要初始化。

如果是新添加機器，請按照提示的步驟添加自定義資源組，注意：保持在root用戶下：

• 根據上面相關的命令，部署Agent，資源組的狀態為可用代表添加成功了
  

如果刷新后還是停止狀態，您可以重啟alisa命令。切換到admin賬號，執行下述命令。

/home/admin/alisatasknode/target/alisatasknode/bin/serverct1 restart

增加mysql驅動為案例

概述

• RDBMS Reader插件實現了從RDBMS讀取數據。在底層實現上，RDBMS Reader通過JDBC連接遠程RDBMS數據庫，并執行相應的SQL語句將數據從RDBMS庫中SELECT出來。目前支持達夢、DB2、PPAS、Sybase數據庫的讀取。RDBMS Reader是一個通用的關系數據庫讀插件，您可以通過注冊數據庫驅動等方式增加任意多樣的關系數據庫讀支持。
• 簡而言之，RDBMS Reader通過JDBC連接器連接到遠程的RDBMS數據庫，并根據您配置的信息生成查詢SQL語句并發送到遠程RDBMS數據庫，并將該SQL執行返回的結果，使用DataX自定義的數據類型拼裝為抽象的數據集，并傳遞給下游Writer處理。
• 對于您配置的Table、Column、Where等信息，RDBMS Reader將其拼接為SQL語句發送到RDBMS數據庫。對于您配置的querySql信息，RDBMS直接將其發送到RDBMS數據庫。
• 目前RDBMS Reader支持大部分通用的關系數據庫類型如數字、字符等，但也存在部分類型沒有支持的情況，請注意檢查您的類型，根據具體的數據庫做選擇。

RDBMS Writer可通過以下方式增加新的數據庫支持驅動

• 進入RDBMS Reader對應目錄，${DATAX_HOME}為DataX主目錄，即/home/admin/datax3/plugin/reader/rdbmswriter目錄，如下圖：
• 在RDBMS Reader插件目錄下找到plugin.json配置文件，在此文件中注冊您具體的數據庫驅動，如下面的"mysql.jdbc.Driver"，放在drivers數組中。RDBMS Reader插件在任務執行時會動態選擇合適的數據庫驅動連接數據庫，如下圖：
  
• 在rdbmsreader插件目錄下找到libs子目錄，將您下載的mysql的jar包上傳上去，如下圖的mysql-connector-java-5.1.34.jar。
  

配置任務

• 目前通過RDBMS插件只能在資源組腳本模式配置同步任務，您可以創建您的json任務，如下圖：
  
• 配置您相關的json具體內容如下：

{ "job": {"setting": {"speed": {"byte": 1048576},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "rdbmsreader","parameter": {"username": "xxxxx","password": "yyyyyy","column": ["*", ],"splitPk": "id","connection": [{"table": ["a2"],"jdbcUrl": ["jdbc:mysql://xxx.mysql.yy.aliyuncs.com:3306/xxx"]}],"where": ""}},"writer": {"name": "streamwriter","parameter": {"print": true}}}]} }

運行任務

• 直接運行下面的命令：/usr/bin/python2.7 /home/admin/datax3/bin/datax.py rdbmsreader.json
  

總結

以上是生活随笔為你收集整理的增加关系型数据库驱动配置同步任务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。