1、為什么需要主從復(fù)制

• 在業(yè)務(wù)中 有一條sql需要鎖表 就會導(dǎo)致其他讀業(yè)務(wù)不能執(zhí)行 ，那么就很影響業(yè)務(wù)，使用主從復(fù)制，讓主庫寫，從庫讀。這樣即使主庫出現(xiàn)鎖表情況，從庫也可以正常使用，保證業(yè)務(wù)正常進行
• 做數(shù)據(jù)熱備
• 架構(gòu)的擴展 ，業(yè)務(wù)量越來越大，I/O訪問頻率過高，此時做多庫的存儲，降低磁盤I/O訪問的頻率，提高單個機器的I/O性能

2、什么是主從復(fù)制

Mysql主從復(fù)制是指數(shù)據(jù)可以從一個Mysql數(shù)據(jù)庫服務(wù)器主節(jié)點中復(fù)制到另一個或多個從節(jié)點中，Mysql默認采用異步復(fù)制的方式，這樣從節(jié)點不用一直訪問主服務(wù)器來更新自己的數(shù)據(jù)，數(shù)據(jù)更新可以在遠程連接上操作，從節(jié)點可以復(fù)制主數(shù)據(jù)庫的所有數(shù)據(jù)庫或者特定的數(shù)據(jù)庫，或者特定的表

3、Mysql復(fù)制原理

(1) 主節(jié)點將數(shù)據(jù)改變放入binlog日志

(2) 從節(jié)點會定時去檢測binlog是否改變，如果發(fā)生改變，則開始一個I/O Thread 請求主節(jié)點二進制事件

(3) 同時主節(jié)點每個I/O線程啟動一個dump線程，用于向其發(fā)送二進制事件，并保存至從節(jié)點本地的中繼日志中，從節(jié)點將啟動SQL線程從中繼日志中讀取二進制事件，在本地重放，使得其數(shù)據(jù)與主節(jié)點保持一致，最后I/O Thread 和SQLThread 將進入休眠狀態(tài) 等待下一次喚醒

也就是說：

• 從庫會生成兩個線程 一個 I/O Thread 、一個SQL Thread
• I/O Thead 會去請求主節(jié)點的binlog 并將得到的binlog寫到本地的replay-log(中繼日志)中
• 主節(jié)點會生成一個log dump 線程，用來給從節(jié)點的I/O 線程傳遞binlog
• SQL線程會讀取replay-log 文件中的日志，并解析成sql 語句 主句執(zhí)行

注意：

主節(jié)點將操作語句記錄到binlog中，然后授予從節(jié)點遠程連接權(quán)限，（主節(jié)點一定要開啟binlog日志，為了安全起見，從節(jié)點一般也開啟binlog日志）

從節(jié)點開啟兩個線程 ：I/O 線程 、 SQL 線程 。
其中I/O線程負責讀取主節(jié)點的binlog內(nèi)容到replay-log中
Sql線程負責從replay-log中讀取內(nèi)容 并更新到從節(jié)點中

Mysql復(fù)制至少需要兩個Mysql服務(wù)，當然Mysql 服務(wù)可以分布在不同服務(wù)器上，也可以再同一臺服務(wù)器上啟動多個服務(wù)

Mysql主從復(fù)制最好保證主節(jié)點與從節(jié)點的Mysql版本一致，如果不能保證版本一致，那么要保證主節(jié)點版本低于從節(jié)點版本

主節(jié)點和從節(jié)點間時間需要同步

具體步驟：

從庫通過手動執(zhí)行 change master to 語句連接主庫，提供了連接的用戶一切條件（user password port ip） 并且讓從庫知道二進制日志的起點位置（file名 position號）； start slave

從庫的I/O線程和主庫的dump 線程建立連接

從庫根據(jù)change master to語句提供的file名 和 position號，I/O線程向主庫發(fā)送IO線程

從庫I/O線程接受binlog events 并存入本地replay-log中 傳送過來的信息會記錄到master.info中

從庫SQL線程應(yīng)用replay-log,并把應(yīng)用過的記錄到replay-log.info中，默認情況下，已經(jīng)應(yīng)用過的replay會自動被清理purge

4、Mysql主從復(fù)制形式

一主一從

主主復(fù)制

一主多從

多主一從

聯(lián)級復(fù)制

5、主從復(fù)制安裝配置

兩臺虛擬機

主節(jié)點：192.168.2.125 從節(jié)點：192.168.2.126

創(chuàng)建數(shù)據(jù)庫

-- 主節(jié)點 從節(jié)點 都要創(chuàng)建 create database hhei;

主節(jié)點配置

vi /etc/my.cnf #在mysqld模塊中添加如下配置信息 log-bin=master-bin #二進制文件名稱 binlog-format=ROW #二進制日志格式，有row、statement、mixed三種格式 -- row指的是把改變的內(nèi)容復(fù)制過去，而不是把命令在從服務(wù)器上執(zhí)行一遍， -- statement指的是在主服務(wù)器上執(zhí)行的SQL語句，在從服務(wù)器上執(zhí)行同樣的語句。 -- MySQL默認采用基于語句的復(fù)制，效率比較高。mixed指的是默認采用基于語句的復(fù)制，一旦發(fā)現(xiàn)基于語句的無法精確的復(fù)制時，就會采用基于行的復(fù)制。 server-id=1 #要求各個服務(wù)器的id必須不一樣 各個節(jié)點是通過server-id來區(qū)分彼此 binlog-do-db=hhei#同步的數(shù)據(jù)庫名稱

配置從節(jié)點登錄主節(jié)點賬號 授權(quán)

mysql -uroot -p 輸入密碼 執(zhí)行： --授權(quán)操作 set global validate_password_policy=0; set global validate_password_length=1; grant replication slave on *.* to 'root'@'%' identified by '123456'; --刷新權(quán)限 flush privileges;

從節(jié)點配置

#修改配置文件，執(zhí)行以下命令打開mysql配置文件 vi /etc/my.cnf #在mysqld模塊中添加如下配置信息 log-bin=master-bin #二進制文件的名稱 binlog-format=ROW #二進制文件的格式 server-id=2 #服務(wù)器的id

重啟主服務(wù)器mysqld 服務(wù)

service mysqld restart ;-- 進入 mysql -uroot -p123456 -- 執(zhí)行 show master status; +-------------------+----------+--------------+- | File | Position | Binlog_Do_DB | +-------------------+----------+--------------+- | master-bin.000002 | 154 | hhei | +-------------------+----------+--------------+-

重啟從服務(wù)器 進行相關(guān)配置

service mysqld restart-- 登錄 mysql -uroot -p123456#連接主服務(wù)器 這里的master_log_file master_log_pos 要和上一步執(zhí)行的show master syatus的輸出結(jié)構(gòu)一致 change master to master_host='192.168.2.125',master_user='root',master_password='123456',master_port=3306,master_log_file='master-bin.000002',master_log_pos=154;#啟動slave start slave;#查看slave的狀態(tài) show slave status\G(注意沒有分號)*************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 192.168.2.125Master_User: rootMaster_Port: 3306Connect_Retry: 60Master_Log_File: master-bin.000002Read_Master_Log_Pos: 589Relay_Log_File: centosminimal-relay-bin.000004Relay_Log_Pos: 321Relay_Master_Log_File: master-bin.000002Slave_IO_Running: Yes # 這個必須是YesSlave_SQL_Running: Yes #這個也必須是YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 589Relay_Log_Space: 536Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: NoLast_IO_Errno: 0Last_IO_Error: Last_SQL_Errno: 0Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1Master_UUID: 48ca9699-866b-11ea-aaef-000c2972c314Master_Info_File: /var/lib/mysql/master.infoSQL_Delay: 0SQL_Remaining_Delay: NULLSlave_SQL_Running_State: Slave has read all relay log; waiting for more updatesMaster_Retry_Count: 86400Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0Replicate_Rewrite_DB: Channel_Name: Master_TLS_Version:

如果 Slave_IO_Running Slave_SQL_Running 不是yes可以考慮是不是防火墻沒有關(guān)閉
我操作關(guān)閉了主節(jié)點和從節(jié)點的防火墻 service iptables stop
7、此時可以在主服務(wù)器進行相關(guān)的數(shù)據(jù)添加刪除工作，在從服務(wù)器看相關(guān)的狀態(tài)

主節(jié)點： --切換數(shù)據(jù)庫use hhei; -- 創(chuàng)建表 CREATE TABLE `tt` (`id` bigint(20) NOT NULL,`name` varchar(255) DEFAULT NULL); -- 插入數(shù)據(jù) insert into tt values (1,'a'),(2,'bb');從節(jié)點： -- 切換數(shù)據(jù)庫 use hhei --查看數(shù)據(jù)select * from tt;+----+------+ | id | name | +----+------+ | 1 | a | | 2 | bb | +----+------+

5、Mysql主從同步延時分析

• mysql的主從復(fù)制都是單線程操作，主庫對所有的DDL和DML產(chǎn)生的日志寫進binlog,
• 由于binlog是順序?qū)懙?#xff0c;所以效率很高
• slave的sql thread 將主庫的DDL DML 操作事件在slave中重放，DML和DDL 的IO 操作是隨機的，不是順序的，所以成本高
• 由于sql thread 也是單線程的，當主數(shù)據(jù)庫并發(fā)較高時，產(chǎn)生的DML 數(shù)據(jù)量超過slave的SQL thread 所處理的的速度，或者當slave中有大型的query語句產(chǎn)生了等待，那么延時就產(chǎn)生了

解決方案：
mysql5.7之前

業(yè)務(wù)的持久化層采用分庫架構(gòu) mysql服務(wù)可以平行擴展 分散壓力

單個庫讀寫分離，一主多從，主寫從讀，分散壓力，這樣從庫壓力比主庫高，保護主庫

服務(wù)的基礎(chǔ)架構(gòu)業(yè)務(wù)和數(shù)據(jù)庫之間加緩存降低mysql讀壓力

不同業(yè)務(wù)的mysql物理機放在不同的機器上，分散壓力

使用比主庫更好的硬件設(shè)備作為從庫，mysql壓力小，延時自然變小

使用性能更好的硬件設(shè)備

mysql5.7之后 不存在了 MTS enhanced multi-threaded slave 號稱解決了延時問題
具體技術(shù)沒有看

6、讀寫分離

讀寫分離介紹：

Mysql讀寫分離基本原理是讓master數(shù)據(jù)庫處理寫操作，slave數(shù)據(jù)庫處理讀操作
master將寫操作變更到各個slave節(jié)點

Mysql讀寫分離提高性能的原因在于 ：
(1) 物理服務(wù)器增加 機器處理能力提升，拿硬件換性能
(2) 主從只負責各自的讀和寫 極大程度緩解了共享鎖和排它鎖爭用
(3)slave可以配置myisam引擎 提升查詢性能以及節(jié)約系統(tǒng)開銷
(4)master直接寫是并發(fā)的，slave通過主庫發(fā)送過來的binlog恢復(fù)數(shù)據(jù)是異步的
(5)slave可以單獨設(shè)置一些屬性來提升性能
(6)增加冗余 提高可用性

• Mysql Proxy
  使用比較少

master:192.168.2.125 slave:192.168.2.126 proxy:192.168.2.127

下載壓縮包

官網(wǎng)地址：https://downloads.mysql.com/archives/proxy/#downloadscd /opt wget https://downloads.mysql.com/archives/get/p/21/file/mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit.tar.gz

解壓

cd /opt ls mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit.tar.gz -- 解壓 tar -zxvf mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit.tar.gz -- 名字太長 重命名一下 mv mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit mysql-proxy

創(chuàng)建目錄

cd /opt/mysql-proxy mkdir conf mkdir logs

添加環(huán)境變量

#打開/etc/profile文件 vi /etc/profile #在文件的最后面添加一下命令 export PATH=$PATH:/opt/mysql-proxy/bin -- 保存退出 #執(zhí)行命令讓環(huán)境變量生效 source /etc/profile

5.創(chuàng)建文件 并添加內(nèi)容 mysql-proxy.conf

cd /opt/mysql-proxy/conf vim mysql-proxy.conf --添加 [mysql-proxy] user=root proxy-address=192.168.2.127:4040 proxy-backend-addresses=192.168.2.125:3306 proxy-read-only-backend-addresses=192.168.2.126:3306 proxy-lua-script=/opt/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua log-file=/opt/mysql-proxy/logs/mysql-proxy.log log-level=debug daemon=true

給mysql-proxy.conf 660權(quán)限

chmod 660 mysql-proxy.conf

6.開啟mysql-proxy

mysql-proxy --defaults-file=/opt/mysql-proxy/conf/mysql-proxy.conf

報錯：

/opt/mysql-proxy/bin/mysql-proxy: /opt/mysql-proxy/libexec/mysql-proxy: /lib/ld-linux.so.2: bad ELF interpreter: 沒有那個文件或目錄

解決：

yum install glibc.i686 -y mysql-proxy --defaults-file=/opt/mysql-proxy/conf/mysql-proxy.confcd /opt/mysql-proxy/logstail -f -n100 mysql-proxy.log

這個時候可以連接
host:192.168.2.127
port:4040
user:root
password:123456

做實驗： 在126（從節(jié)點）插入一條數(shù)據(jù) 在proxy查詢發(fā)現(xiàn)沒有這條數(shù)據(jù) 停掉125 再查詢發(fā)現(xiàn)有這條數(shù)據(jù)了 說明125（主節(jié)點） 是既讀也寫的 但是主節(jié)點掛了 從節(jié)點還可以接著讀 但是主節(jié)點掛了 就不能寫了 只能讀 也就是說如果剛起來 從節(jié)點只做數(shù)據(jù)備份 讀&寫 還是主節(jié)點

• amoeba

什么是amoeba
? Amoeba(變形蟲)項目，專注 分布式數(shù)據(jù)庫 proxy 開發(fā)。座落與Client、DB Server(s)之間。對客戶端透明。具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關(guān)的query到目標數(shù)據(jù)庫、可并發(fā)請求多臺數(shù)據(jù)庫合并結(jié)果。

主要解決：
? 降低 數(shù)據(jù)切分帶來的復(fù)雜多數(shù)據(jù)庫結(jié)構(gòu)
? 提供切分規(guī)則并降低 數(shù)據(jù)切分規(guī)則 給應(yīng)用帶來的影響
? 降低db 與客戶端的連接數(shù)
? 讀寫分離

為什么要用Amoeba
目前要實現(xiàn)mysql的主從讀寫分離，主要有以下幾種方案：
1、 通過程序?qū)崿F(xiàn)，網(wǎng)上很多現(xiàn)成的代碼，比較復(fù)雜，如果添加從服務(wù)器要更改多臺服務(wù)器的代碼。
2、 通過mysql-proxy來實現(xiàn)，由于mysql-proxy的主從讀寫分離是通過lua腳本來實現(xiàn)，目前l(fā)ua的腳本的開發(fā)跟不上節(jié)奏，而寫沒有完美的現(xiàn)成的腳本，因此導(dǎo)致用于生產(chǎn)環(huán)境的話風險比較大，據(jù)網(wǎng)上很多人說mysql-proxy的性能不高。
3、 自己開發(fā)接口實現(xiàn)，這種方案門檻高，開發(fā)成本高，不是一般的小公司能承擔得起。
4、 利用阿里巴巴的開源項目Amoeba來實現(xiàn)，具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關(guān)的query到目標數(shù)據(jù)庫，并且安裝配置非常簡單。
3.amoeba安裝

1、首先安裝jdk，直接使用rpm包安裝即可 2、下載amoeba對應(yīng)的版本https://sourceforge.net/projects/amoeba/，直接解壓即可 yum install zip unzip unzip amoeba-mysql-3.0.5-RC-distribution.zip

3、配置amoeba的配置文件

cd /opt/amoeba-mysql-3.0.5-RC/conf vim dbServers.xml 刪除所有內(nèi)容(d+G(大寫G)) 復(fù)制下邊內(nèi)容到文件中

dbServers.xml

<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"><!--abstractServer 名字隨便起 下邊會用 --><dbServer name="abstractServer" abstractive="true"><factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"><property name="connectionManager">${defaultManager}</property><property name="sendBufferSize">64</property><property name="receiveBufferSize">128</property><!-- mysql port --><property name="port">3306</property><!-- mysql schema --><property name="schema">hhei</property><!-- mysql user --><property name="user">root</property><property name="password">123456</property></factoryConfig><poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool"><property name="maxActive">500</property><property name="maxIdle">500</property><property name="minIdle">1</property><property name="minEvictableIdleTimeMillis">600000</property><property name="timeBetweenEvictionRunsMillis">600000</property><property name="testOnBorrow">true</property><property name="testOnReturn">true</property><property name="testWhileIdle">true</property></poolConfig></dbServer><!--parent 會繼承abstractServer的所有屬性 writedb也是隨便寫的名字 后邊配置文件會用 --><dbServer name="writedb" parent="abstractServer"><factoryConfig><!-- mysql ip --><property name="ipAddress">192.168.2.125</property></factoryConfig></dbServer><!--parent 會繼承abstractServer的所有屬性 slave也是隨便寫的名字 后邊配置文件會用 --><dbServer name="slave" parent="abstractServer"><factoryConfig><!-- mysql ip --><property name="ipAddress">192.168.2.126</property></factoryConfig></dbServer><!-- 配置節(jié)點屬性 這個 myslave會在下邊配置成讀節(jié)點 --><dbServer name="myslave" virtual="true"><poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"><!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--><property name="loadbalance">1</property><!----><property name="poolNames">slave</property></poolConfig></dbServer> </amoeba:dbServers>

amoeba.xml

cd /opt/amoeba-mysql-3.0.5-RC/conf vim amoeba.xml 刪除所有內(nèi)容(d+G(大寫G)) 復(fù)制下邊內(nèi)容到文件中 <?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"> <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"><proxy><service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"><!-- port --><property name="port">8066</property><property name="connectionFactory"><bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"><property name="sendBufferSize">128</property><property name="receiveBufferSize">64</property></bean></property><property name="authenticateProvider"><bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"><property name="user">root</property><property name="password">123456</property><property name="filter"><bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"><property name="ipFile">${amoeba.home}/conf/access_list.conf</property></bean></property></bean></property></service><runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"><!-- proxy server client process thread size --><property name="executeThreadSize">128</property><!-- per connection cache prepared statement size --><property name="statementCacheSize">500</property><!-- default charset --><property name="serverCharset">utf8</property><!-- query timeout( default: 60 second , TimeUnit:second) --><property name="queryTimeout">60</property></runtime></proxy><!-- Each ConnectionManager will start as threadmanager responsible for the Connection IO read , Death Detection--><connectionManagerList><connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper"><property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property></connectionManager></connectionManagerList><!-- default using file loader --><dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader"><property name="configFile">${amoeba.home}/conf/dbServers.xml</property></dbServerLoader><queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"><property name="ruleLoader"><bean class="com.meidusa.amoeba.route.TableRuleFileLoader"><property name="ruleFile">${amoeba.home}/conf/rule.xml</property><property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property></bean></property><property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property><property name="LRUMapSize">1500</property><property name="defaultPool">writedb</property><!--寫節(jié)點--><property name="writePool">writedb</property><!--讀節(jié)點--><property name="readPool">myslave</property><property name="needParse">true</property></queryRouter> </amoeba:configuration>

啟動

cd /opt/amoeba-mysql-3.0.5-RC/bin ./launcher 報錯： Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=16m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=96m; support was removed in 8.0The stack size specified is too small, Specify at least 228k （至少228）解決： cd /opt/amoeba-mysql-3.0.5-RC vim jvm.properties 修改-Xss265k JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss265k -XX:PermSize=16m -XX:MaxPermSize=96m"

安裝成功 測試

連接： mysql -h192.168.2.127 -uroot -p123456 -P8066 開始為所欲為： 在這里 寫會走master 讀會走slave 測試方式： 查詢 數(shù)據(jù)來自slave(可以提前在slave庫上新增幾條與master不一樣數(shù)據(jù)) 新增數(shù)據(jù)是走的master(關(guān)閉master就不能新增了)這個是真正的 master寫 slave讀

Mycat

Mycat數(shù)據(jù)庫分庫分表中間件
活躍的、性能好的開源數(shù)據(jù)庫中間件！
http://www.mycat.org.cn/

后續(xù)再寫Mycat使用方式

總結(jié)

以上是生活随笔為你收集整理的mysql优化 个人笔记 (mysql 主从复制 ) 非礼勿扰 -m11的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。