當(dāng)前位置：首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

MySQL 5.7基于GTID及多线程主从复制

發(fā)布時(shí)間：2024/4/11 数据库 30 豆豆

生活随笔收集整理的這篇文章主要介紹了 MySQL 5.7基于GTID及多线程主从复制小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

點(diǎn)擊上方“朱小廝的博客”，選擇“設(shè)為星標(biāo)”

后臺(tái)回復(fù)"1024"領(lǐng)取公眾號(hào)專屬資料

來(lái)源：rrd.me/gDJDK

MySQL主從同步原理

MySQL主從同步是在MySQL主從復(fù)制(Master-Slave Replication)基礎(chǔ)上實(shí)現(xiàn)的，通過(guò)設(shè)置在Master MySQL上的binlog(使其處于打開(kāi)狀態(tài))，Slave MySQL上通過(guò)一個(gè)I/O線程從Master MySQL上讀取binlog，然后傳輸?shù)絊lave MySQL的中繼日志中，然后Slave MySQL的SQL線程從中繼日志中讀取中繼日志，然后應(yīng)用到Slave MySQL的數(shù)據(jù)庫(kù)中。這樣實(shí)現(xiàn)了主從數(shù)據(jù)同步功能。

MySQL中主從復(fù)制的優(yōu)點(diǎn)

橫向擴(kuò)展解決方案

在多個(gè)從庫(kù)之間擴(kuò)展負(fù)載以提高性能。在這種環(huán)境中，所有寫入和更新在主庫(kù)上進(jìn)行。但是，讀取可能發(fā)生在一個(gè)或多個(gè)從庫(kù)上。該模型可以提高寫入的性能（由于主庫(kù)專用于更新），同時(shí)在多個(gè)從庫(kù)上讀取，可以大大提高讀取速度。

數(shù)據(jù)安全性

由于主庫(kù)數(shù)據(jù)被復(fù)制到從庫(kù)，從庫(kù)可以暫停復(fù)制過(guò)程，可以在從庫(kù)上運(yùn)行備份服務(wù)，而不會(huì)破壞對(duì)應(yīng)的主庫(kù)數(shù)據(jù)。

分析

可以在主庫(kù)上創(chuàng)建實(shí)時(shí)數(shù)據(jù)，而信息分析可以在從庫(kù)上進(jìn)行，而不會(huì)影響主服務(wù)器的性能。

GTID概念

從 MySQL 5.6.5 開(kāi)始新增了一種基于 GTID 的復(fù)制方式。通過(guò) GTID保證了每個(gè)在主庫(kù)上提交的事務(wù)在集群中有一個(gè)唯一的ID。這種方式強(qiáng)化了數(shù)據(jù)庫(kù)的主備一致性，故障恢復(fù)以及容錯(cuò)能力。

在原來(lái)基于二進(jìn)制日志的復(fù)制中，從庫(kù)需要告知主庫(kù)要從哪個(gè)偏移量進(jìn)行增量同步，如果指定錯(cuò)誤會(huì)造成數(shù)據(jù)的遺漏，從而造成數(shù)據(jù)的不一致。借助GTID，在發(fā)生主備切換的情況下，MySQL的其它從庫(kù)可以自動(dòng)在新主庫(kù)上找到正確的復(fù)制位置，這大大簡(jiǎn)化了復(fù)雜復(fù)制拓?fù)湎录旱木S護(hù)，也減少了人為設(shè)置復(fù)制位置發(fā)生誤操作的風(fēng)險(xiǎn)。另外，基于GTID的復(fù)制可以忽略已經(jīng)執(zhí)行過(guò)的事務(wù)，減少了數(shù)據(jù)發(fā)生不一致的風(fēng)險(xiǎn)。

什么是GTID

GTID (Global Transaction ID) 是對(duì)于一個(gè)已提交事務(wù)的編號(hào)，并且是一個(gè)全局唯一的編號(hào)。GTID 實(shí)際上是由UUID+TID 組成的。其中 UUID 是一個(gè) MySQL 實(shí)例的唯一標(biāo)識(shí)。TID代表了該實(shí)例上已經(jīng)提交的事務(wù)數(shù)量，并且隨著事務(wù)提交單調(diào)遞增。

下面是一個(gè)GTID的具體形式：3E11FA47-71CA-11E1-9E33-C80AA9429562:23，冒號(hào)分割前邊為uuid，后邊為TID。

GTID 集合可以包含來(lái)自多個(gè) MySQL 實(shí)例的事務(wù)，它們之間用逗號(hào)分隔。

如果來(lái)自同一MySQL實(shí)例的事務(wù)序號(hào)有多個(gè)范圍區(qū)間，各組范圍之間用冒號(hào)分隔。例如：e6954592-8dba-11e6-af0e-fa163e1cf111:1-5:11-18,e6954592-8dba-11e6-af0e-fa163e1cf3f2:1-27 可以使用show master status實(shí)時(shí)查看當(dāng)前事務(wù)執(zhí)行數(shù)

Gtid的作用

Gtid采用了新的復(fù)制協(xié)議，舊協(xié)議是，首先從服務(wù)器上在一個(gè)特定的偏移量位置連接到主服務(wù)器上一個(gè)給定的二進(jìn)制日志文件，然后主服務(wù)器再?gòu)慕o定的連接點(diǎn)開(kāi)始發(fā)送所有的事件。

新協(xié)議有所不同，支持以全局統(tǒng)一事務(wù)ID (GTID)為基礎(chǔ)的復(fù)制。當(dāng)在主庫(kù)上提交事務(wù)或者被從庫(kù)應(yīng)用時(shí)，可以定位和追蹤每一個(gè)事務(wù)。GTID復(fù)制是全部以事務(wù)為基礎(chǔ)，使得檢查主從一致性變得非常簡(jiǎn)單。如果所有主庫(kù)上提交的事務(wù)也同樣提交到從庫(kù)上，一致性就得到了保證。

Gtid的工作原理

①當(dāng)一個(gè)事務(wù)在主庫(kù)端執(zhí)行并提交時(shí)，產(chǎn)生GTID，一同記錄到binlog日志中。

②binlog傳輸?shù)絪lave,并存儲(chǔ)到slave的relaylog后，讀取這個(gè)GTID的這個(gè)值設(shè)置gtid_next變量，即告訴Slave，下一個(gè)要執(zhí)行的GTID值。

③sql線程從relay log中獲取GTID，然后對(duì)比slave端的binlog是否有該GTID。

④如果有記錄，說(shuō)明該GTID的事務(wù)已經(jīng)執(zhí)行，slave會(huì)忽略。

⑤如果沒(méi)有記錄，slave就會(huì)執(zhí)行該GTID事務(wù)，并記錄該GTID到自身的binlog，在讀取執(zhí)行事務(wù)前會(huì)先檢查其他session持有該GTID，確保不被重復(fù)執(zhí)行。

⑥在解析過(guò)程中會(huì)判斷是否有主鍵，如果沒(méi)有就用二級(jí)索引，如果沒(méi)有就用全部掃描。

配置步驟

操作環(huán)境

系統(tǒng)：CentOS 7 數(shù)據(jù)庫(kù)：Percona MySQL 5.7 主庫(kù)：192.168.11.31 從庫(kù)：192.168.11.32

主庫(kù)配置

[mysqld] datadir=/data/mysql/3306 socket=/tmp/mysql.sock symbolic-links=0server_id=31 #服務(wù)器ID log-bin=master-bin #二進(jìn)制日志文件名 binlog_format = row #強(qiáng)烈建議，其他格式可能造成數(shù)據(jù)不一致 log-slave-updates = 1 #是否記錄從服務(wù)器同步數(shù)據(jù)動(dòng)作 gtid-mode = on #啟用gitd功能 enforce-gtid-consistency = 1 #開(kāi)啟強(qiáng)制GTID一致性 master-info-repository = TABLE #記錄IO線程讀取已經(jīng)讀取到的master binlog位置，用于slave宕機(jī)后IO線程根據(jù)文件中的POS點(diǎn)重新拉取binlog日志 relay-log-info-repository = TABLE #記錄SQL線程讀取Master binlog的位置，用于Slave 宕機(jī)后根據(jù)文件中記錄的pos點(diǎn)恢復(fù)Sql線程 sync-master-info = 1 #啟用確保無(wú)信息丟失；任何一個(gè)事務(wù)提交后, 將二進(jìn)制日志的文件名及事件位置記錄到文件中 slave-parallel-workers = 2 #設(shè)定從服務(wù)器的復(fù)制線程數(shù)；0表示關(guān)閉多線程復(fù)制功能 binlog-checksum = CRC32 #設(shè)置binlog校驗(yàn)算法（循環(huán)冗余校驗(yàn)碼） master-verify-checksum = 1 #設(shè)置主服務(wù)器是否校驗(yàn) slave-sql-verify-checksum = 1 #設(shè)置從服務(wù)器是否校驗(yàn) binlog-rows-query-log_events = 1 #用于在二進(jìn)制日志記錄事件相關(guān)的信息，可降低故障排除的復(fù)雜度 sync_binlog = 1 #保證master crash safe，該參數(shù)必須設(shè)置為1 innodb_flush_log_at_trx_commit = 1 #保證master crash safe，該參數(shù)必須設(shè)置為1

從庫(kù)配置

[mysqld] server_id = 32 log-bin=mysql-bin binlog_format = row gtid-mode = on enforce-gtid-consistency = 1 master-info-repository = TABLE relay-log-info-repository = TABLE sync-master-info = 1 slave-parallel-workers = 4 binlog-checksum = CRC32 master-verify-checksum = 1 slave-sql-verify-checksum = 1 binlog-rows-query-log_events = 1 #sync_binlog = 1 #innodb_flush_log_at_trx_commit = 1 log-slave-updates = 0 # crash safe slave 5.6版本需要開(kāi)啟 relay_log_recovery = 1 # crash safe slave read_only=on #設(shè)置一般用戶為只讀模式 super_read_only=on #設(shè)置super（root）用戶為只讀模式 #tx_read_only=on #設(shè)置事務(wù)為只讀模式

主庫(kù)權(quán)限設(shè)置

mysql > grant replication slave on *.* to slave@'192.168.11.32' identified by 'slave123'; mysql > flush privileges;

自動(dòng)同步連接主庫(kù)(方法一)

適用于master也是新建不久的情況。

如果你的master所有的binlog還在。可以安裝slave，slave直接change master to到master端。

原理是直接獲取master所有的GTID并執(zhí)行。

優(yōu)點(diǎn)：簡(jiǎn)單方便。

缺點(diǎn)：如果binlog太多，數(shù)據(jù)完全同步需要時(shí)間較長(zhǎng)，并且master一開(kāi)始就啟用了GTUD。

change master to master_host='192.168.11.31',\ master_user='slave',master_password='slave123',\ master_port=3306,master_auto_position=1#master_auto_position=1 從庫(kù)自動(dòng)找同步點(diǎn)

備份導(dǎo)入連接主庫(kù)(方法二)

Xtrabackup_binlog_info文件中，包含global.gtid_purged=’XXXXXX:XXXX’的信息。

然后到slave去手工的 SET @@GLOBAL.GTID_PURGED=’XXXXXX:XXXX’。

恢復(fù)備份，開(kāi)啟change master to 命令。

備份導(dǎo)入連接主庫(kù)(方法三)

適用于擁有較大數(shù)據(jù)的情況。（推薦）

通過(guò)master或者其他slave的備份搭建新的slave。

原理：獲取master的數(shù)據(jù)和這些數(shù)據(jù)對(duì)應(yīng)的GTID范圍，然后通過(guò)slave設(shè)置master_auto_position=1,自動(dòng)同步，跳過(guò)備份包含的gtid。

缺點(diǎn)：相對(duì)來(lái)說(shuō)有點(diǎn)復(fù)雜。

將主庫(kù)設(shè)為只讀模式

注：生產(chǎn)環(huán)境會(huì)影響不能寫入數(shù)據(jù)

mysql> flush tables with read lock; Query OK, 0 rows affected (0.00 sec)mysql> set global read_only=on; Query OK, 0 rows affected (0.00 sec)

主庫(kù)使用mysqldump導(dǎo)出

可以同時(shí)導(dǎo)出多個(gè)數(shù)據(jù)庫(kù)，如music、record

mysqldump --databases <數(shù)據(jù)庫(kù)名> --single-transaction --order-by-primary -r <備份文件名> --routines -h<服務(wù)器地址> -P<端口號(hào)> -u<用戶名> -p<密碼> mysqldump --default-character-set=utf8mb4 --single-transaction --triggers --routines --events --hex-blob --databases muisc record > music_record.sql

記錄GTID_PURGED

grep -r "GLOBAL.GTID_PURGED" music_record.sql SET @@GLOBAL.GTID_PURGED='3cdb9ce6-0d7e-11e8-abe4-001517b5a5f0:1-698887';

將主庫(kù)設(shè)為可讀寫模式

數(shù)據(jù)庫(kù)導(dǎo)出完成后將主庫(kù)重新設(shè)為可讀寫模式。

mysql> set global read_only=off; mysql> unlock tables;

從庫(kù)數(shù)據(jù)導(dǎo)入

##mysql> create database `music`; ##mysql -u root -p muisc < /root/music.sql mysql -u root -p < /root/music_record.sql mysql> reset slave all; mysql> reset master; mysql> SET @@GLOBAL.GTID_PURGED='3cdb9ce6-0d7e-11e8-abe4-001517b5a5f0:1-698887';

從庫(kù)連接主庫(kù)

change master to master_host='192.168.11.31',master_user='slave',master_password='slave123',master_port=3306,master_auto_position=1;

從庫(kù)啟動(dòng)復(fù)制線程

mysql> start slave;

從庫(kù)查看復(fù)制狀態(tài)

mysql> show slave status\G; *************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 192.168.11.31Master_User: slaveMaster_Port: 3306Connect_Retry: 60Master_Log_File: master-bin.000002Read_Master_Log_Pos: 149375983Relay_Log_File: db2-relay-bin.000002Relay_Log_Pos: 321Relay_Master_Log_File: master-bin.000002Slave_IO_Running: YesSlave_SQL_Running: YesReplicate_Do_DB:Replicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Table:Replicate_Wild_Do_Table:Replicate_Wild_Ignore_Table:Last_Errno: 0Last_Error:Skip_Counter: 0Exec_Master_Log_Pos: 149375983Relay_Log_Space: 526Until_Condition: NoneUntil_Log_File:Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File:Master_SSL_CA_Path:Master_SSL_Cert:Master_SSL_Cipher:Master_SSL_Key:Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: NoLast_IO_Errno: 0Last_IO_Error:Last_SQL_Errno: 0Last_SQL_Error:Replicate_Ignore_Server_Ids:Master_Server_Id: 31Master_UUID: 834449ff-4487-11e8-8b27-000c294b06caMaster_Info_File: mysql.slave_master_infoSQL_Delay: 0SQL_Remaining_Delay: NULLSlave_SQL_Running_State: Slave has read all relay log; waiting for more updatesMaster_Retry_Count: 86400Master_Bind:Last_IO_Error_Timestamp:Last_SQL_Error_Timestamp:Master_SSL_Crl:Master_SSL_Crlpath:Retrieved_Gtid_Set:Executed_Gtid_Set:Auto_Position: 0Replicate_Rewrite_DB:Channel_Name:Master_TLS_Version: 1 row in set (0.00 sec)ERROR: No query specified

檢查主從復(fù)制通信狀態(tài)

Slave_IO_State #從站的當(dāng)前狀態(tài)

Slave_IO_Running：Yes #讀取主程序二進(jìn)制日志的I/O線程是否正在運(yùn)行

Slave_SQL_Running：Yes #執(zhí)行讀取主服務(wù)器中二進(jìn)制日志事件的SQL線程是否正在運(yùn)行。與I/O線程一樣

Seconds_Behind_Master #是否為0，0就是已經(jīng)同步了

如果再次查詢狀態(tài)仍然發(fā)現(xiàn)Slave_IO_Running 或者Slave_SQL_Running 不同時(shí)為YES,嘗試執(zhí)行

mysql> stop slave; mysql> reset slave; mysql> start slave;

主庫(kù)查看狀態(tài)

其他命令

mysql> show binlog events; mysql> show binlog events in 'master-bin.000001'; mysql> show master logs; mysql> show processlist mysql> show full processlist;

想知道更多？掃描下面的二維碼關(guān)注我

后臺(tái)回復(fù)”加群“獲取公眾號(hào)專屬群聊入口

當(dāng)當(dāng)優(yōu)惠碼福利來(lái)一波！當(dāng)當(dāng)全場(chǎng)自營(yíng)圖書5折，用優(yōu)惠碼：TASEMU（長(zhǎng)按復(fù)制），滿200（原價(jià)400）再減30，相當(dāng)于170=400，四折多一點(diǎn)。使用渠道：當(dāng)當(dāng)小程序或當(dāng)當(dāng)APP。使用時(shí)間：4/10-4/23。

【原創(chuàng)系列 | 精彩推薦】

Paxos、Raft不是一致性算法嘛？
越說(shuō)越迷糊的CAP
面試官居然問(wèn)我Raft為什么會(huì)叫做Raft!
面試官給我挖坑：URI中的//有什么用
網(wǎng)關(guān)Zuul科普
網(wǎng)關(guān)Spring Cloud?Gateway科普
分布式事務(wù)科普——初識(shí)篇
分布式事務(wù)科普——終結(jié)篇
面試官給我挖坑：a[i][j]和a[j][i]有什么區(qū)別？

>>>?字節(jié)跳動(dòng)社招內(nèi)推入口?<<<

>>> 字節(jié)跳動(dòng)校招內(nèi)推入口 <<<

朕已閱?

總結(jié)

以上是生活随笔為你收集整理的MySQL 5.7基于GTID及多线程主从复制的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：面试官给我挖坑：a[i][j] 和 a[
下一篇： Redis性能指标监控