隨著公司業務的增多，云數據庫 RDS 下的 MySQL 數據庫的表越來越多，想要把它全部遷移到 MaxCompute 中進行計算分析，但又愁要配置太多次同步任務。如何能將大量的數據表一次性上傳到 MaxCompute 中呢？通過大數據開發套件的整庫遷移功能，便可快速完成 MySQL 數據整庫遷移到 MaxCompute，從而節省同步時間，提高工作效率。

下面介紹一個適用于中小企業用戶，高效率低成本的數據同步方案：

對于自建或云數據庫 RDS 的 MySQL 數據庫中的數據，都可以通過整庫遷移功能，快速同步到 MaxCompute 中進行存儲與分析，流程圖如下：

云數據庫 RDS ：RDS 是一種穩定可靠、可彈性伸縮的在線數據庫服務，本實驗主要使用 云數據庫 MySQL 版。

MaxCompute：原名 ODPS，是由阿里云自主研發的一款服務，提供針對TB/PB級數據、實時性要求不高的分布式處理能力，它適用于海量數據的存儲、計算，商業智能等領域。

大數據開發套件：大數據開發套件提供全面托管的工作流服務，一站式開發管理的界面，幫助企業快速搭建數據中心。

實驗目的和前期說明

實驗目的：
通過大數據開發套件的整庫遷移功能，快速把云數據庫中的數據同步到 MaxCompute 中。

前期說明：
用戶擁有阿里云官網實名認證賬號，并且創建好賬號 Access Key。

實驗前的準備工作

開通并創建 MaxCompute 項目

1 . 阿里云實名認證賬號訪問 https://www.aliyun.com/product/odps ，根據自身需求進行購買，開通 MaxCompute；

2 . 點擊開通成功頁面的管理控制臺，進入 MaxCompute 的 控制臺頁面；

3 . 創建項目。進入控制臺頁面后導航至 大數據開發套件 — 項目列表，點擊 創建項目，如圖所示：

4 . 在彈出框中選擇區域和付費方式，輸入項目名稱：

準備同步數據

創建 RDS 實例

1 . 登錄 RDS 管理控制臺；
2 . 在 實例列表 頁面，單擊 新建實例，進入 創建 頁面；
3 . 選擇包年包月或按量付費，示例選擇包年包月。關于計費方式的選擇，請參見 收費項目及價格說明 中的計費方式；
4 . 根據自身需求選擇基本配置、網絡類型、規格、存儲空間、購買時長和購買量等實例配置，詳情請參見：創建實例中的選擇實例配置；
5 . 單擊立即購買，進入訂單確認頁面；
6 . 閱讀關系型數據庫 RDS 服務條款后，根據后續提示完成支付流程。

設置白名單

1 . 登錄 RDS 管理控制臺，選擇目標實例；
2 . 在實例左側菜單中選擇 數據安全性；
3 . 在數據安全性頁面的默認分組后單擊 修改，如下圖所示：

4 . 在修改白名單分組頁面刪除默認白名單 127.0.0.1，填寫自定義白名單后，單擊 確定，如下圖所示：

組內白名單：填寫可以訪問數據庫的 IP 地址或者 IP 段，IP 地址或者 IP 段間用英文逗號分隔。詳情請參見：設置白名單中的操作步驟。

創建賬號和數據庫

1 . 登錄 RDS 管理控制臺，選擇目標實例；
2 . 選擇左側菜單中的 賬號管理，單擊 創建賬號，如下圖所示：

3 . 輸入要創建的賬號信息，單擊 確定，如下圖所示：

4 . 選擇菜單中的 數據庫管理，單擊 創建數據庫，如下圖所示：

5 . 輸入要創建的數據庫信息，單擊 確定，如下圖所示：

登錄數據庫

進入數據庫管理頁面，點擊上側 登錄數據庫，在彈出頁面填寫數據庫用戶名和密碼，如下圖所示：

創建表并準備數據

1 . 成功登錄數據庫后，點擊 SQL 操作下的 SQL 窗口，如下圖所示：

2 . 輸入建表語句，點擊執行,示例如下：

CREATE TABLE `a1` (`id` int(11) NULL,`col1` varchar(32) NULL,`col2` varchar(32) NULL,`col3` varchar(32) NULL,`col4` varchar(32) NULL )ENGINE=InnoDBDEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci;

3 . 根據自身需求寫入數據即可，insert 語句如下：

`INSERT INTO table_name(col_name,...) values(expr,...)`

整庫遷移配置

新增數據源

1 . 登錄到大數據開發套件 數據集成產品頁，單擊左側導航欄離線同步—數據源，進入數據源管理頁面，如下圖所示：

2 . 點擊右上角的 新增數據源，添加一個面向整庫遷移的 MySQL 數據源 mysql_demo，填寫相關信息，如下圖所示：

各配置項的說明請參見：RDS 數據源配置之新建 RDS-MySQL 數據源。
3 . 點擊 測試連通性 驗證數據源訪問正確無誤后，確認并保存此數據源。

整庫遷移

1 . 進入數據源列表頁面，找到新增的數據源，點擊對應 MySQL 數據源后的 整庫遷移，即可進入對應數據源的整庫遷移功能界面，如下圖所示：

2 . 點擊右上角 高級設置 按鈕，您可以根據自身需求選擇轉換規則。比如 MaxCompute 端建表時統一增加了 ods_ 這一前綴，如下圖所示：

3 . 根據自身需求選擇需要遷移的數據表、同步方式、日期字段、同步并發配置、開始時間和同步數量，如下圖所示：

4 . 點擊 a1 表后對應的查看任務，會跳轉到數據集成的任務開發界面。如下圖所示：

由上圖可以看到：源頭 a1 表對應的 MaxCompute 表 ods_a1 創建成功，列的名字和類型也符合之前映射轉換配置。在左側目錄樹 mysql_demo 目錄下，會有對應的所有整庫遷移任務，任務命名規則是: mysql2odps 源表名，如上圖紅框部分所示。

5 . 此時便成功將一個 MySQL 數據源 mysql_demo 整庫遷移到 MaxCompute 的工作。這些任務會根據配置的調度周期（默認天調度）被調度執行，您也可以使用 DataWorks DataIde 調度補數據功能完成歷史數據的傳輸。

通過 數據集成-整庫遷移功能 可以極大減少您初始化上云的配置、遷移成本。

新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！

總結

以上是生活随笔為你收集整理的【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。