系统提升架构能力之10种mysql主从实践总结
? ? ? Mysql作為目前世界上使用最廣泛的免費(fèi)數(shù)據(jù)庫，相信所有從事系統(tǒng)運(yùn)維的工程師都一定接觸過。但在實(shí)際的生產(chǎn)環(huán)境中，由單臺(tái)Mysql作為獨(dú)立的數(shù)據(jù)庫是完全不能滿足實(shí)際需求的，無論是在安全性，高可用性以及高并發(fā)等各個(gè)方面。
? ? ? 因此，一般來說都是通過主從復(fù)制Master-Slave的方式來同步數(shù)據(jù)，再通過讀寫分離（MySQL-Proxy）來提升數(shù)據(jù)庫的并發(fā)負(fù)載能力 這樣的方案來進(jìn)行部署與實(shí)施的。
如下圖所示：
下面是我在實(shí)際工作過程中所整理的筆記，在此分享出來，以供大家參考。
MySQL的安裝與配置
?
vi /ect/my.cnf
?配置如下截圖,標(biāo)紅部分非常重要
接下來確認(rèn)slave和master的上的server_id是否正確。可以分別在slave和master上運(yùn)行 SHOW VARIABLES LIKE 'server_id'; 來查看server_id是否和你配置的一樣。
? ? ? 失敗原因: 1:server_id 配置的一樣或是配置的沒有更新到Mysql數(shù)據(jù)中來
? ? ? 失敗原因2:防火墻攔截了3306端口
? ? ? 失敗原因3:用戶與密碼不正確
二、MySQL主從復(fù)制
場(chǎng)景描述：
? ? ? 主數(shù)據(jù)庫服務(wù)器：192.168.10.130，MySQL已經(jīng)安裝，并且無應(yīng)用數(shù)據(jù)。
? ? ? 從數(shù)據(jù)庫服務(wù)器：192.168.10.131，MySQL已經(jīng)安裝，并且無應(yīng)用數(shù)據(jù)。
2.1 主服務(wù)器上進(jìn)行的操作
? ? ? 啟動(dòng)mysql服務(wù)
service mysqld start? ? ?停止mysql服務(wù)
service mysqld stop? ? ?重啟mysql服務(wù)
service mysqld restart? ? ?通過命令行登錄管理MySQL服務(wù)器
/opt/mysql/bin/mysql?-uroot?-p'new-password'? ? ?授權(quán)給從數(shù)據(jù)庫服務(wù)器192.168.100.201
mysql>GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.100.201' identified by ‘123456’;???? 查詢主數(shù)據(jù)庫狀態(tài)
Mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000005 | 261 | | | +------------------+----------+--------------+------------------+? ? ? 記錄下 FILE 及 Position 的值，在后面進(jìn)行從服務(wù)器操作的時(shí)候需要用到。
?
2.2 配置從服務(wù)器
? ? ?修改從服務(wù)器的配置文件/opt/mysql/etc/my.cnf將 server-id = 1修改為 server-id = 10，并確保這個(gè)ID沒有被別的MySQL服務(wù)所使用。
? ? ?啟動(dòng)mysql服務(wù)
/opt/mysql/init.d/mysql start????通過命令行登錄管理MySQL服務(wù)器
/opt/mysql/bin/mysql -uroot -p'new-password'????執(zhí)行同步SQL語句
mysql> change master tomaster_host='192.168.0.104',master_user='rep1',master_password='root',master_log_file='log.000002',master_log_pos=364;? ?正確執(zhí)行后啟動(dòng)Slave同步進(jìn)程
mysql> start slave;? ?主從同步檢查
mysql> show slave status\G??
Slave_IO_State:Master_Host: 192.168.10.130Master_User: rep1Master_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000005Read_Master_Log_Pos: 415Relay_Log_File: localhost-relay-bin.000008Relay_Log_Pos: 561Relay_Master_Log_File: mysql-bin.000005Slave_IO_Running: YESSlave_SQL_Running: YESReplicate_Do_DB:……………省略若干……………Master_Server_Id: 11 row in set (0.01 sec)????其中Slave_IO_Running與Slave_SQL_Running 的值都必須為YES，才表明狀態(tài)正常。
? ? ? 如果主服務(wù)器已經(jīng)存在應(yīng)用數(shù)據(jù)，則在進(jìn)行主從復(fù)制時(shí)，需要做以下處理：
(1)主數(shù)據(jù)庫進(jìn)行鎖表操作，不讓數(shù)據(jù)再進(jìn)行寫入動(dòng)作
(2)查看主數(shù)據(jù)庫狀態(tài)
mysql>?show?master?status;(3)記錄下 FILE 及 Position 的值。
將主服務(wù)器的數(shù)據(jù)文件（整個(gè)/opt/mysql/data目錄）復(fù)制到從服務(wù)器，建議通過tar歸檔壓縮后再傳到從服務(wù)器解壓。
(4)取消主數(shù)據(jù)庫鎖定
mysql> UNLOCK TABLES;2.3 驗(yàn)證主從復(fù)制效果
主服務(wù)器上的操作
????在主服務(wù)器上創(chuàng)建數(shù)據(jù)庫first_db
????在主服務(wù)器上創(chuàng)建表first_tb
mysql> create table first_tb(id int(3),name char(10));????在主服務(wù)器上的表first_tb中插入記錄
mysql> insert into first_tb values (001,"myself");? ??在從服務(wù)器上查看
mysql> show databases;=============================+--------------------+| Database |+--------------------+| information_schema || first_db || mysql || performance_schema || test |+--------------------+5 rows in set (0.01 sec)? ?數(shù)據(jù)庫first_db已經(jīng)自動(dòng)生成
mysql> use first_dbDatabase chagedmysql> show tables;+--------------------+| Tables_in_first_db |+--------------------+| first_tb |+--------------------+1 row in set (0.02 sec)
? ?數(shù)據(jù)庫表first_tb也已經(jīng)自動(dòng)創(chuàng)建???????
記錄也已經(jīng)存在
? ? ?由此，整個(gè)MySQL主從復(fù)制的過程就完成了，接下來，我們進(jìn)行MySQL讀寫分離的安裝與配置。
三、MySQL讀寫分離
場(chǎng)景描述：
數(shù)據(jù)庫Master主服務(wù)器：192.168.10.130
數(shù)據(jù)庫Slave從服務(wù)器：192.168.10.131
MySQL-Proxy調(diào)度服務(wù)器：192.168.10.132
????以下操作，均是在192.168.10.132即MySQL-Proxy調(diào)度服務(wù)器 上進(jìn)行的。
3.1 MySQL的安裝與配置
? ? ? 具體的安裝過程與上文相同。
3.2 檢查系統(tǒng)所需軟件包
? ? ?通過 rpm -qa | grep name 的方式驗(yàn)證以下軟件包是否已全部安裝。???????
? ? ? 若缺少相關(guān)的軟件包，可通過yum -y install方式在線安裝，或直接從系統(tǒng)安裝光盤中找到并通過rpm -ivh方式安裝。
3.3 編譯安裝lua
? ? ?MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua腳本實(shí)現(xiàn)的，因此需要安裝lua。
? ? ? lua可通過以下方式獲得從http://www.lua.org/download.html下載源碼包從rpm.pbone.net搜索相關(guān)的rpm包download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm
download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm
? ? ?這里我們建議采用源碼包進(jìn)行安裝???????
cd /opt/installwget http://www.lua.org/ftp/lua-5.1.4.tar.gztar zvfx lua-5.1.4.tar.gzcd lua-5.1.4vi src/Makefile? ? ? 在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄里加上-fPIC，更改為 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程中出現(xiàn)錯(cuò)誤。???????
make linuxmake install?????? cp etc/lua.pc /usr/lib/pkgconfig/export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig? ? ? 但運(yùn)行的過程報(bào)錯(cuò)了error:readline/readline.h:no such file or directory,上網(wǎng)搜了一下需要安裝readline-6.1.tar.gz，因此我去wget http://www.sfr-fresh.com/unix/misc/readline-6.1.tar.gz ，tar -zxvf readline-6.1.tar.gz，cd ~~ ./configure && make && make install ?， sudo ldconfig，再運(yùn)行make linux，不報(bào)readline的錯(cuò)誤，但是又提示/usr/bin/ld: cannot find -lncurses，在網(wǎng)上搜了一下，還得下載ncurses安裝，wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.7.tar.gz， tar -xvf ncurses -5.7.tar.gz，然后 cd ncurses-5.7 ，./configure，make，make install，再運(yùn)行make linux就一切ok了。make install
安裝完成。
3.4 安裝配置MySQL-Proxy
?
? ?? MySQL-Proxy可通過以下網(wǎng)址獲得：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/
推薦采用已經(jīng)編譯好的二進(jìn)制版本，因?yàn)椴捎迷创a包進(jìn)行編譯時(shí)，最新版的MySQL-Proxy對(duì)automake，glib以及l(fā)ibevent的版本都有很高的要求，而這些軟件包都是系統(tǒng)的基礎(chǔ)套件，不建議強(qiáng)行進(jìn)行更新。
并且這些已經(jīng)編譯好的二進(jìn)制版本在解壓后都在統(tǒng)一的目錄內(nèi)，因此建議選擇以下版本：
??? 32位RHEL5平臺(tái)：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.3-linux-rhel5-x86-32bit.tar.gz
??? 64位RHEL5平臺(tái)：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.3-linux-rhel5-x86-64bit.tar.gz
測(cè)試平臺(tái)為RHEL5 32位，因此選擇32位的軟件包???????
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.3-linux-rhel5-x86-32bit.tar.gztar xzvf mysql-proxy-0.8.3-linux-rhel5-x86-32bit.tar.gzmv mysql-proxy-0.8.3-linux-rhel5-x86-32bit /opt/mysql-proxy????創(chuàng)建mysql-proxy服務(wù)管理腳本???????
mkdir /opt/mysql-proxy/init.d/vim mysql-proxy????配置并使用rw-splitting.lua讀寫分離腳本
最新的腳本我們可以從最新的mysql-proxy源碼包中獲取???????
????修改讀寫分離腳本rw-splitting.lua
修改默認(rèn)連接，進(jìn)行快速測(cè)試，不修改的話要達(dá)到連接數(shù)為4時(shí)才啟用讀寫分離???????
? ? ?修改完成后，啟動(dòng)mysql-proxy
/opt/mysql-proxy/init.d/mysql-proxy start3.5 測(cè)試讀寫分離效果
? ? ? ?創(chuàng)建用于讀寫分離的數(shù)據(jù)庫連接用戶
登陸主數(shù)據(jù)庫服務(wù)器192.168.10.130，通過命令行登錄管理MySQL服務(wù)器???????
? ? 由于我們配置了主從復(fù)制功能，因此從數(shù)據(jù)庫服務(wù)器192.168.10.131上已經(jīng)同步了此操作。
為了清晰的看到讀寫分離的效果，需要暫時(shí)關(guān)閉MySQL主從復(fù)制功能
登陸從數(shù)據(jù)庫服務(wù)器192.168.10.131，通過命令行登錄管理MySQL服務(wù)器
? ? ? 關(guān)閉Slave同步進(jìn)程???????
mysql> stop slave;Query OK, 0 rows affected (0.00 sec)? ? ? 連接MySQL-Proxy
/opt/mysql/bin/mysql -uproxy1 -p'password' -P4040 -h192.168.10.132? ? ? 登陸成功后，在first_db數(shù)據(jù)的first_tb表中插入兩條記錄???????
mysql> use first_db;Database changedmysql> insert into first_tb values (007,’first’);Query Ok, 1 row affected (0.00 sec)mysql> insert into first_tb values (110,’second’);Query Ok, 1 row affected (0.00 sec)? ? ? 查詢記錄???????
mysql> select * from first_tb;+------+------+| id | name |+------+------+| 1 | myself |+------+------+1 rows in set (0.00 sec)? ? 通過讀操作并沒有看到新記錄
mysql> quit? ? 退出MySQL-Proxy
????下面，分別登陸到主從數(shù)據(jù)庫服務(wù)器，對(duì)比記錄信息
????首先，檢查主數(shù)據(jù)庫服務(wù)器???????
? ? ? 兩條新記錄都已經(jīng)存在
然后，檢查從數(shù)據(jù)庫服務(wù)器???????
mysql> select * from first_tb;+------+------+| id | name |+------+------+| 1 | myself |+------+------+1 rows in set (0.00 sec)沒有新記錄存在
? ? ?由此驗(yàn)證，我們已經(jīng)實(shí)現(xiàn)了MySQL讀寫分離，目前所有的寫操作都全部在Master主服務(wù)器上，用來避免數(shù)據(jù)的不同步；
另外，所有的讀操作都分?jǐn)偨o了其它各個(gè)Slave從服務(wù)器上，用來分擔(dān)數(shù)據(jù)庫壓力。
?
經(jīng)驗(yàn)分享：
? ??1.當(dāng)MySQL主從復(fù)制在 show slave status\G 時(shí)出現(xiàn)Slave_IO_Running或Slave_SQL_Running 的值不為YES時(shí)，需要首先通過 stop slave 來停止從服務(wù)器，然后再執(zhí)行一次本文 2.1與2.2 章節(jié)中的步驟即可恢復(fù)，但如果想盡可能的同步更多的數(shù)據(jù)，可以在Slave上將master_log_pos節(jié)點(diǎn)的值在之前同步失效的值的基礎(chǔ)上增大一些，然后反復(fù)測(cè)試，直到同步OK。因?yàn)镸ySQL主從復(fù)制的原理其實(shí)就是從服務(wù)器讀取主服務(wù)器的binlog，然后根據(jù)binlog的記錄來更新數(shù)據(jù)庫。
??? 2.MySQL-Proxy的rw-splitting.lua腳本在網(wǎng)上有很多版本，但是最準(zhǔn)確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua腳本，如果有l(wèi)ua腳本編程基礎(chǔ)的話，可以在這個(gè)腳本的基礎(chǔ)上再進(jìn)行優(yōu)化；
??? 3.MySQL-Proxy實(shí)際上非常不穩(wěn)定，在高并發(fā)或有錯(cuò)誤連接的情況下，進(jìn)程很容易自動(dòng)關(guān)閉，因此打開--keepalive參數(shù)讓進(jìn)程自動(dòng)恢復(fù)是個(gè)比較好的辦法，但還是不能從根本上解決問題，因此通常最穩(wěn)妥的做法是在每個(gè)從服務(wù)器上安裝一個(gè)MySQL-Proxy供自身使用，雖然比較低效但卻能保證穩(wěn)定性；
? ? 4.一主多從的架構(gòu)并不是最好的架構(gòu)，通常比較優(yōu)的做法是通過程序代碼和中間件等方面，來規(guī)劃，比如設(shè)置對(duì)表數(shù)據(jù)的自增id值差異增長(zhǎng)等方式來實(shí)現(xiàn)兩個(gè)或多個(gè)主服務(wù)器，但一定要注意保證好這些主服務(wù)器數(shù)據(jù)的完整性，否則效果會(huì)比多個(gè)一主多從的架構(gòu)還要差；
? ? 5.MySQL-Cluster 的穩(wěn)定性也不是太好??
? ? 6.Amoeba for MySQL 是一款優(yōu)秀的中間件軟件，同樣可以實(shí)現(xiàn)讀寫分離，負(fù)載均衡等功能，并且穩(wěn)定性要大大超過MySQL-Proxy，建議大家用來替代MySQL-Proxy，甚至MySQL-Cluster。
?
總結(jié)
以上是生活随笔為你收集整理的系统提升架构能力之10种mysql主从实践总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Glances：一款功能强大的操作系统安
- 下一篇： 关于access数据库打不开