介紹

MySQL自身的mysqldump工具支持單線程工作，依次一個個導出多個表，沒有一個并行的機，這就使得它無法迅速的備份數據。

mydumper作為一個實用工具，能夠良好支持多線程工作，可以并行的多線程的從表中讀入數據并同時寫到不同的文件里，這使得它在處理速度方面快于傳統的mysqldump。其特征之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那么會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務

下載安裝
yum -y install cmake glib2 pcre pcre-devel mysql-devel wget https://launchpad.net/mydumper/0.6/0.6.2/+download/mydumper-0.6.2.tar.gz tar xf mydumper-0.6.2.tar.gz cd mydumper-0.6.2 cmake . make && make install 注釋： 安裝之后生成兩個二進制命令/usr/local/bin/mydumper（備份）和/usr/local/bin/myloader（恢復） 最新版本:https://github.com/maxbube/mydumper/archive/v0.9.1.tar.gzmydumper特性

• 多線程備份
• 因為是多線程邏輯備份，備份后會生成多個備份文件
• 備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句
• 保證備份數據的一致性
• 支持文件壓縮
• 支持導出binlog
• 支持多線程恢復
• 支持以守護進程模式工作，定時快照和連續二進制日志
• 支持將備份文件切塊

mydumper備份機制

主要步驟概括

主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語句寫入，保證數據的一致性

讀取當前時間點的二進制日志文件名和日志寫入的位置并記錄在metadata文件中，以供即使點恢復使用

N個（線程數可以指定，默認是4）dump線程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啟讀一致的事物

dump non-InnoDB tables, 首先導出非事物引擎的表

主線程 UNLOCK TABLES 非事物引擎備份完后，釋放全局只讀鎖

dump InnoDB tables, 基于事物導出InnoDB表

事務結束

備份所生成的文件

所有的備份文件在一個目錄中，目錄可以自己指定

目錄中包含一個metadata文件

記錄了備份數據庫在備份時間點的二進制日志文件名，日志的寫入位置，
如果是在從庫進行備份，還會記錄備份時同步至從庫的二進制日志文件及寫入位置

3. 每個表有兩個備份文件：

database.table-schema.sql 表結構文件
database.table.sql 表數據文件
如果對表文件分片，將生成多個備份數據文件，可以指定行數或指定大小分片

mydumper參數詳解

-B, --database 要備份的數據庫，不指定則備份所有庫 -T, --tables-list 需要備份的表，名字用逗號隔開 -o, --outputdir 備份文件輸出的目錄 -s, --statement-size 生成的insert語句的字節數，默認1000000 -r, --rows 將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize -F, --chunk-filesize 將表按大小分塊時，指定的塊大小，單位是 MB -c, --compress 壓縮輸出文件 -e, --build-empty-files 如果表數據是空，還是產生一個空文件（默認無數據則只有表結構文件） -x, --regex 是同正則表達式匹配 'db.table' -i, --ignore-engines 忽略的存儲引擎，用逗號分割 -m, --no-schemas 不備份表結構 -k, --no-locks 不使用臨時共享只讀鎖，使用這個選項會造成數據不一致 --less-locking 減少對InnoDB表的鎖施加時間（減少鎖等待的時間） -l, --long-query-guard 設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時后默認mydumper將會退出） --kill-long-queries 殺掉長查詢 (不退出) -b, --binlogs 導出binlog -D, --daemon 啟用守護進程模式，守護進程模式以某個間隔不間斷對數據庫進行備份 -I, --snapshot-interval dump快照間隔時間，默認60s，需要在daemon模式下 -L, --logfile 使用的日志文件名(mydumper所產生的日志), 默認使用標準輸出 --tz-utc 跨時區是使用的選項，不解釋了 --skip-tz-utc 同上 --use-savepoints 使用savepoints來減少采集metadata所造成的鎖時間，需要 SUPER 權限 --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist -h, --host 連接的主機名 -u, --user 備份所使用的用戶 -p, --password 密碼 -P, --port 端口 -S, --socket 使用socket通信時的socket文件 -t, --threads 開啟的備份線程數，默認是4 -C, --compress-protocol 壓縮與mysql通信的數據 -V, --version 顯示版本號 -v, --verbose 輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認為 2

myloader參數詳解

-d, --directory 備份文件的目錄 -q, --queries-per-transaction 每次事物執行的查詢數量，默認是1000 -o, --overwrite-tables 如果要恢復的表存在，則先drop掉該表，使用該參數，需要備份時候要備份表結構 -B, --database 需要還原的數據庫 -e, --enable-binlog 啟用還原數據的二進制日志 -h, --host 主機 -u, --user 還原的用戶 -p, --password 密碼 -P, --port 端口 -S, --socket socket文件 -t, --threads 還原所使用的線程數，默認是4 -C, --compress-protocol 壓縮協議 -V, --version 顯示版本 -v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認為2

使用案例

1.導出test庫下面的table1和table2表結構和數據 /usr/local/bin/mydumper -h 10.1.1.1 -u root -p root -B test1 -T table1,table2 -t 8 -r 100000 -c --less-locking -v 3 -D -L /var/log/mydumper.log -o /geekwolf/test_table1_table2/ 若只導出數據增加-m參數 2.將導出的數據導入到10.1.1.2服務器的test2庫中 /usr/local/bin/myloader -h 10.1.1.2 -u root -p root -B test2 -e -t 8 -d /geekwolf/test_table1_table2/ --overwrite-tables -v 3注釋:后臺記錄導出導入的時間
輸入screen命令 然后(time myloader ? -h 10.1.1.2 -u user ?-p 'ap' -B mnew_gz -e -t 8 ?-d /geekwolf/m_members/ --overwrite-tables -v 3) 2>/geekwolf/im.log 最后Ctrl+A+D

轉載于:https://www.cnblogs.com/edgedance/p/7341858.html

總結

以上是生活随笔為你收集整理的mysqldumper的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。