Corosync+Pacemaker+DRBD实现Mysql服务的高可用
一、Corosync概述
??請點擊查看詳細介紹
1、什么是AIS和OpenAIS？
? ? AIS是應(yīng)用接口規(guī)范，是用來定義應(yīng)用程序接口（API）的開放性規(guī)范的集合，這些應(yīng)用程序作為中間件為應(yīng)用服務(wù)提供一種開放、高移植性的程序接口。是在實現(xiàn)高可用應(yīng)用過程中是亟需的。服務(wù)可用性論壇（SA Forum）是一個開放性論壇，它開發(fā)并發(fā)布這些免費規(guī)范。使用AIS規(guī)范的應(yīng)用程序接口（API），可以減少應(yīng)用程序的復雜性和縮短應(yīng)用程序的開發(fā)時間，這些規(guī)范的主要目的就是為了提高中間組件可移植性和應(yīng)用程序的高可用性。
? ? OpenAIS是基于SA Forum 標準的集群框架的應(yīng)用程序接口規(guī)范。OpenAIS提供一種集群模式，這個模式包括集群框架，集群成員管理，通信方式，集群監(jiān)測等，能夠為集群軟件或工具提供滿足 AIS標準的集群接口，但是它沒有集群資源管理功能，不能獨立形成一個集群。
2、corosync簡介
? ? corosync最初只是用來演示OpenAIS集群框架接口規(guī)范的一個應(yīng)用，可以說corosync是OpenAIS的一部分，但后面的發(fā)展明顯超越了官方最初的設(shè)想，越來越多的廠商嘗試使用corosync作為集群解決方案。如Redhat的RHCS集群套件就是基于corosync實現(xiàn)。
? ? corosync只提供了message layer，而沒有直接提供CRM，一般使用Pacemaker進行資源管理。
3、小結(jié)
? ? 不管是heartbeat，還是corosync都是高可用集群中的Cluster Messaging Layer（集群信息層），是主要傳遞發(fā)集群信息與心跳信息的，并沒有資源管理功能，資源管理還得依賴于上層的crm(Cluster resource Manager，集群資源管理器)。最著名的資源管理器，就是pacemaker，它是heartbeat v3分離出去的子項目。而現(xiàn)在corosync+pacemaker成了高可用集群中的最佳組合。好了，到這里corosync與pacemaker的基礎(chǔ)知識就說到這里了，下面我們來看看怎么安裝corosync與pacemaker。
二、環(huán)境準備
1、拓撲結(jié)構(gòu)
2、服務(wù)器配置情況
| 名稱 | IP | 安裝軟件 | 系統(tǒng) |
| node1.wzlinux.com | VIP:192.168.0.18 eth0:192.168.0.10 | corosync、pacemaker DRBD、Mysql | CentOS 6.5 64位 |
| node2.wzlinux.com | VIP:192.168.0.18 eth0:192.168.0.11 | corosync、pacemaker DRBD、Mysql | CentOS 6.5 64位 |
3、關(guān)閉防火墻、SELinux和配置時間同步
4、配置各節(jié)點互相解析?
node1:
[root@node1?~]#?uname?-n?? node1.wzlinux.com?? [root@node1?~]#?cat?/etc/hosts?? 127.0.0.1???localhost?localhost.localdomain?localhost4?localhost4.localdomain4 ::1?????????localhost?localhost.localdomain?localhost6?localhost6.localdomain6 192.168.0.10?node1.wzlinux.com?node1 192.168.0.11?node2.wzlinux.com?node2node2:
[root@node2?~]#?uname?-n?? node2.wzlinux.com?? [root@node2?~]#?cat?/etc/hosts?? 127.0.0.1???localhost?localhost.localdomain?localhost4?localhost4.localdomain4 ::1?????????localhost?localhost.localdomain?localhost6?localhost6.localdomain6 192.168.0.10?node1.wzlinux.com?node1 192.168.0.11?node2.wzlinux.com?node25、配置各節(jié)點ssh互信
node1:
[root@node1?~]#?ssh-keygen??-t?rsa?-f?~/.ssh/id_rsa??-P?''?? [root@node1?~]#?ssh-copy-id?-i?.ssh/id_rsa.pub?root@node2.wzlinux.comnode2:
[root@node2?~]#?ssh-keygen??-t?rsa?-f?~/.ssh/id_rsa??-P?''? [root@node2?~]#?ssh-copy-id?-i?.ssh/id_rsa.pub?root@node1.wzlinux.com三、DRBD的安裝與配置
1、下載安裝
? ? 下載地址為ftp://rpmfind.net/linux/atrpms/，請按照需要下載，也可以在本文附件下載。
? ??詳細配置詳解請點擊查看博文
rpm?-ivh?drbd-8.4.3-33.el6.x86_64.rpm?drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm2、drbd的配置
? ? 以下兩個配置文件node1和node2節(jié)點必須相同。
cat?/etc/drbd.d/global-common.confglobal?{usage-count?no;#?minor-count?dialog-refresh?disable-ip-verification } common?{protocol?C;handlers?{pri-on-incon-degr?"/usr/lib/drbd/notify-pri-on-incon-degr.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";pri-lost-after-sb?"/usr/lib/drbd/notify-pri-lost-after-sb.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";local-io-error?"/usr/lib/drbd/notify-io-error.sh;?/usr/lib/drbd/notify-emergency-shutdown.sh;?echo?o?>?/proc/sysrq-trigger?;?halt?-f";#?fence-peer?"/usr/lib/drbd/crm-fence-peer.sh";#?split-brain?"/usr/lib/drbd/notify-split-brain.sh?root";#?out-of-sync?"/usr/lib/drbd/notify-out-of-sync.sh?root";#?before-resync-target?"/usr/lib/drbd/snapshot-resync-target-lvm.sh?-p?15?--?-c?16k";#?after-resync-target?/usr/lib/drbd/unsnapshot-resync-target-lvm.sh;}startup?{#wfc-timeout?120;#degr-wfc-timeout?120;}disk?{on-io-error?detach;#fencing?resource-only;}net?{cram-hmac-alg?"sha1";shared-secret?"mydrbd";}syncer?{rate?1000M;} }? ? 定義一個資源/etc/drbd.d/mysql.res，內(nèi)容如下：
resource?mydata?{on?node1.wzlinux.com?{device????/dev/drbd0;disk??????/dev/sdb;address???192.168.0.10:7789;meta-disk?internal;}on?node2.wzlinux.com?{device????/dev/drbd0;disk??????/dev/sdb;address???192.168.0.11:7789;meta-disk?internal;} }? ? 然后把文件同步到另一個節(jié)點
scp?/etc/drbd.d/{global_common.conf,mysql.res}?node2:/etc/drbd.d? ? 分別在兩個節(jié)點初始化資源，然后啟動服務(wù)
drbdadm?create-md?web service?drbd?start四、Mysql的安裝與配置
1、安裝mysql
? ? 為了實驗方便一些，我這里直接使用yum進行安裝
yum?install?mysql-server2、配置mysql
? ? 在其配置文件里面填寫如下內(nèi)容/etc/my.cf，提前創(chuàng)建需要的目錄。
datadir=/mydata innodb_file_per_table=1五、corosync的安裝與配置
? ? 以下如果沒有特別說明，就是在node1和node2上面同時執(zhí)行。
1、corosync和pacemaker的安裝
? ?RHEL6.x以后的版本中，直接集成了corosync和pacemaker，因此直接使用yum安裝即可。
yum?install?corosync?pacemaker?-y2、查看corosync安裝生成文件
# rpm -ql corosync
/etc/corosync??????#配置文件目錄 /etc/corosync/corosync.conf.example?????#配置事例文件 /etc/corosync/corosync.conf.example.udpu /etc/corosync/service.d /etc/corosync/uidgid.d /etc/dbus-1/system.d/corosync-signals.conf /etc/rc.d/init.d/corosync??????????#服務(wù)腳本 /etc/rc.d/init.d/corosync-notifyd /etc/sysconfig/corosync-notifyd /usr/bin/corosync-blackbox /usr/libexec/lcrso /usr/libexec/lcrso/coroparse.lcrso /usr/libexec/lcrso/objdb.lcrso /usr/libexec/lcrso/quorum_testquorum.lcrso /usr/libexec/lcrso/quorum_votequorum.lcrso /usr/libexec/lcrso/service_cfg.lcrso /usr/libexec/lcrso/service_confdb.lcrso /usr/libexec/lcrso/service_cpg.lcrso /usr/libexec/lcrso/service_evs.lcrso /usr/libexec/lcrso/service_pload.lcrso /usr/libexec/lcrso/vsf_quorum.lcrso /usr/libexec/lcrso/vsf_ykd.lcrso /usr/sbin/corosync /usr/sbin/corosync-cfgtool /usr/sbin/corosync-cpgtool /usr/sbin/corosync-fplay /usr/sbin/corosync-keygen???????????#集群間通訊秘鑰生成工具 /usr/sbin/corosync-notifyd /usr/sbin/corosync-objctl /usr/sbin/corosync-pload /usr/sbin/corosync-quorumtool /usr/share/doc/corosync-1.4.7 ……?……3、配置corosync
# cat corosync.conf
#?Please?read?the?corosync.conf.5?manual?page? compatibility:?whitetank totem?{????version:?2????#版本號，只能是2，不能修改?secauth:?on???#安全認證，當使用aisexec時，會非常消耗CPU?threads:?0????#線程數(shù)，根據(jù)CPU個數(shù)和核心數(shù)確定?interface?{?ringnumber:?0???#冗余環(huán)號，節(jié)點有多個網(wǎng)卡是可定義對應(yīng)網(wǎng)卡在一個環(huán)內(nèi)?bindnetaddr:?192.168.0.0??#綁定心跳網(wǎng)段?mcastaddr:?226.94.8.8?????#心跳組播地址?mcastport:?5405???????????#心跳組播使用端口?ttl:?1?}? }logging?{?fileline:?off???????#指定要打印的行?to_stderr:?no???????#是否發(fā)送到標準錯誤輸出?to_logfile:?yes?????#記錄到文件?to_syslog:?no???????#記錄到syslog?logfile:?/var/log/cluster/corosync.log?debug:?off?timestamp:?on???????#是否打印時間戳，利于定位錯誤，但會消耗CPU?logger_subsys?{?subsys:?AMF?debug:?off?}? }service?{ver:??1???????????????????name:?pacemaker???????? }注：ver: 1，當值為0時，啟動corosync時自動啟動pacemaker；當值為1時，手動啟動pacemaker。
? ? 前面測試的時候我使用自動啟動，但是使用crm的時候會報如下錯誤，而且日志里面也會有很多錯誤，后來改成手動啟動pacemaker之后問題變不再出現(xiàn)，具體問題出現(xiàn)在哪里我目前還不清楚。
4、生成密鑰文件
? ? 使用corosync生成key文件會默認調(diào)用/dev/random隨機數(shù)設(shè)備，一旦系統(tǒng)中斷的IRQS的隨機數(shù)不夠用，將會產(chǎn)生大量的等待時間，如果對安全不是要求太高，此過程可以使用偽隨機數(shù)，偽隨機數(shù)是有規(guī)律的，所以可能會被找到規(guī)律從而破解密鑰，因此，為了節(jié)約時間，我們在生成key之前講random替換成urandom，以便節(jié)約時間。
[root@node1?corosync]#?mv?/dev/{random,random.bak}???? [root@node1?corosync]#?ln?-s?/dev/urandom?/dev/random? [root@node1?corosync]#?corosync-keygen Corosync?Cluster?Engine?Authentication?key?generator. Gathering?1024?bits?for?key?from?/dev/random. Press?keys?on?your?keyboard?to?generate?entropy. Writing?corosync?key?to?/etc/corosync/authkey.? ? 然后把配置好的配置文件傳輸?shù)筋I(lǐng)一臺設(shè)備上面
六、corosync的啟動與檢查
1、corosync的啟動
[root@node1?corosync]#?service?corosync?start? Starting?Corosync?Cluster?Engine?(corosync):???????????????[OK] [root@node1?corosync]#?service?pacemaker?start? Starting?Pacemaker?Cluster?Manager?????????????????????????[OK]?[root@node1?corosync]#?ssh?node2?'service?corosync?start'? Starting?Corosync?Cluster?Engine?(corosync):???????????????[OK] [root@node1?corosync]#?ssh?node2?'service?pacemaker?start'? Starting?Pacemaker?Cluster?Manager?????????????????????????[OK]2、查看啟動是否成功
# netstat -anpu
查看corosync引擎是否正常啟動
# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
查看初始化成員節(jié)點通知是否正常發(fā)出
# grep ?TOTEM /var/log/cluster/corosync.log
查看pacemaker是否正常啟動
# grep pcmk_startup /var/log/cluster/corosync.log
五、集群資源管理軟件crm安裝與配置
1、安裝crmsh資源管理
? ? RHEL自6.4起不再提供集群的命令行配置工具crmsh，轉(zhuǎn)而使用pcs；如果想繼續(xù)使用crm命令，必須下載相關(guān)的程序包自行安裝才可。? ??
? ? 從pacemaker 1.1.8開始，crm發(fā)展成了一個獨立項目，叫crmsh。也就是說，我們安裝了pacemaker后，并沒有crm這個命令，我們要實現(xiàn)對集群資源管理，還需要獨立安裝crmsh。crmsh的rpm安裝可從如下地址下載：http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/，根據(jù)自己操作系統(tǒng)的版本進行選擇下載。
? ? crmsh依賴于pssh，因此也需要通過上面地址下載pssh.rpm，pssh需要python-pssh，可以直接通過地址下載，也可以使用我附近進行安裝，我的是32位版的。
[root@node1?~]#?wget?http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/i686/crmsh-2.1-1.6.i686.rpm? [root@node1?~]#?wget?http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/i686/pssh-2.3.1-4.2.i686.rpm [root@node1?~]#?yum?install?crmsh-2.1-1.6.i686.rpm?pssh-2.3.1-4.2.i686.rpm?python-pssh-2.3.1-4.2.i686.rpm? ? 安裝完成，我們先通過crm status指令查看一下集群狀態(tài)。
[root@node1?yum.repos.d]#?crm?status Last?updated:?Fri?Dec?11?19:46:39?2015 Last?change:?Fri?Dec?11?18:29:51?2015 Stack:?classic?openais?(with?plugin) Current?DC:?node2.wzlinux.com?-?partition?with?quorum Version:?1.1.11-97629de 2?Nodes?configured,?2?expected?votes 0?Resources?configuredOnline:?[?node1.wzlinux.com?node2.wzlinux.com?]? ? 可以看到節(jié)點node1目前是主節(jié)點，已經(jīng)在線。 ? ?
? ? 用crm status查看狀態(tài)時，如果報Could not establish cib_ro connection: Connection refused (111) ，說明本節(jié)點，連不上其他節(jié)點，可以重新corosync-keygen命令生成文件，要在修改主機名成功以后進行，盡量使用計算機熵池中的數(shù)據(jù)來生成。
2、crmsh基本介紹
? ?我們可以直接進入crm shell進行交互式操作，也可以在命令行直接操作，效果是一樣的，比如我們查看集群狀態(tài)，可以使用如下兩種方法。
注：如果不清楚某個命令的用法，都可以直接help查看幫助，TAB鍵也可以進行補全。
3、禁用stonith
? ? corosync默認啟用了stonith功能，而我們要配置的集群并沒有stonith設(shè)備，因此在配置集群的全局屬性時要對其禁用。
方法1：
[root@node1?corosync]#?crm crm(live)#?configure????????????#進入配置模式 crm(live)configure#?property?stonith-enabled=false???????#禁用stonith crm(live)configure#?verify?????????#驗證配置是否有誤 crm(live)configure#?commit?????????#配置提交到集群每個節(jié)點 crm(live)configure#?show???????????#查看當前配置 node?node1.wzlinux.com node?node2.wzlinux.com property?cib-bootstrap-options:?\dc-version=1.1.11-97629de?\cluster-infrastructure="classic?openais?(with?plugin)"?\expected-quorum-votes=2?\stonith-enabled=false方法2：
[root@node1?~]#?crm?configure?property?stonith-enabled=false???#直接提交到每個節(jié)點4、定義法定票數(shù)不夠時應(yīng)該做忽略操作
? ? 法定票數(shù)(quorum，?票數(shù))半數(shù)票數(shù)的集群成為滿足法定票數(shù))是為了避免集群分裂而出現(xiàn)的。在集群通信故障時，為了避免資源搶占，所以進行投票操作，只有具有法定票數(shù)的一方才有資格做為集群，不滿足的一方就應(yīng)該退出集群，但它放棄后并不代表服務(wù)停止，所以應(yīng)該讓其釋放資源，關(guān)閉電源。stonith設(shè)備的用處就在于此。
方法1：
同上原理。
方法2：
[root@node1?~]#?crm?configure?property?no-quorum-policy=ignore5、添加資源
? ? ? corosync支持heartbeat，LSB和ocf等類型的資源代理，目前較為常用的類型為LSB和OCF兩類，stonith類專為配置stonith設(shè)備而用；
? ? ?可以通過如下命令查看當前集群系統(tǒng)所支持的類型：
? ? 如果想要查看某種類別下的所有資源代理的列表，可以使用類似如下命令實現(xiàn)：
[root@node1?~]#?crm?ra?list?ocf? ? 如果想要查看某個資源代理支持那些參數(shù)，可以使用如下命令?
[root@node1?~]#?crm?ra?info?ocf:heartbeat:IPaddr? ? 接下來要創(chuàng)建集群的一個IP地址資源，以在通過集群提供服務(wù)時使用；這可以通過如下方式實現(xiàn)：
添加VIP：
? ? 不要單個資源提交，等所有資源及約束一起建立之后提交。
crm(live)configure#?primitive?VIP?ocf:heartbeat:IPaddr?params?ip=192.168.0.18?op?monitor?interval="20"?timeout="20"?on-fail="restart" crm(live)configure#?verify????#驗證一下參數(shù)是否正確添加mysql服務(wù)：
crm(live)configure#?primitive?myserver?lsb:mysqld?op?monitor?interval="20"?timeout="20"?on-fail="restart" crm(live)configure#?verify添加drdb服務(wù)：
文件系統(tǒng)掛載服務(wù)：
把drbd設(shè)為主從資源：
定義排列約束：
定義資源啟動順序：
? ? 檢驗沒有錯誤之后我們就可以提交配置了。
? ? 從狀態(tài)里面可以看出所有服務(wù)都在Node1節(jié)點起來了。
六、結(jié)果檢驗
1、檢查VIP
2、檢查掛載
3、檢查mysql服務(wù)
4、創(chuàng)建數(shù)據(jù)庫
?? ?可以看出一切正常，那我們直接連入數(shù)據(jù)庫創(chuàng)建一個數(shù)據(jù)庫abc。
5、把node1切換為備節(jié)點，然后去node2數(shù)據(jù)庫登錄查看
? ?記得，切換為備節(jié)點之后節(jié)點就下線了，數(shù)據(jù)就不會再同步了，可以立刻在設(shè)置其為在線狀態(tài)。
6、node2登錄數(shù)據(jù)庫查看
從結(jié)果可以看到mysql的高可用服務(wù)搭建成功了。
問題：
DRBD 狀態(tài)始終是 Secondary/Unknown？
Ans:
1、可能是某個節(jié)點的drbd服務(wù)沒有啟動著，只有兩個節(jié)點服務(wù)都正常的時候才會數(shù)據(jù)同步，所以務(wù)必要兩節(jié)點都是online，可以使用crm status查看。
2、可能發(fā)生了腦裂行為，一般出現(xiàn)在ha切換時，解決方法：
? ? ? ? ? 在一節(jié)點執(zhí)行:
? ? ? ? ? ? ? ? ? ? ?drbdadm secondary mydata
? ? ? ? ? ? ? ? ? ? ?drbdadm connect --discard-my-data mydata
? ? ? ? ? 另一節(jié)點執(zhí)行：
? ? ? ? ? ? ? ? ? ? ?drbdadm connect mydata
總結(jié)
以上是生活随笔為你收集整理的Corosync+Pacemaker+DRBD实现Mysql服务的高可用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： (原创)INTERVAL分区表与RANG
- 下一篇： mysql fabric安装使用测试