Mysql+Heartbeat+Drbd生產環境高可用部署若干問題解惑：
############################################################
#
# Purpose: Mysql+Heartbeat+drbd高可用部署中學生的幾個疑惑解答
#
# USER????????? YYYY-MM-DD – ACTION?
# Oldboy??????? 2011-3-14 – Created
# QQ:31333741?? 老男孩?????? mail:31333741@qq.com
# 網站運維QQ群：37081784 （進群務必先看公告，更改群名片）
############################################################
??? 平時發現大家在使用Mysql+Heartbeat+Drbd高可用應用時 或多或少的遇到了一些麻煩，這里老男孩針對大家
的問題挑有意義的一一解答如下。本人的水平有限，解答難免有錯誤或偏頗的地方，請大家及時批評指正。讓我們共同
進步，一起提高技能水平。

===========================================================
學生問題1.貌似虛擬機重啟，必須手動執行modprobe drbd 才能正常加載，不知道實體機是不是也會這樣？
老男孩解答：
?這個是可以設置的，如在rc.local里加入modprobe drbd，但我不推薦這樣做。
?主庫故障后，恢復后，DRBD應該保留人工介入啟動，而不應該自動modprobe drbd && drbdadm up all.
?涉及到數據的操作還是謹慎為好。第一次 能正確切到備用機就算完成了高可用的任務了。
?此時修復故障機是正常應該人工做的。
===========================================================
學生問題2：mcast eth1 225.0.0.1 694 1 0 -----當同一IDC有多個這樣的情況，應該使用單播.
老男孩解答：
即使是多個HEARTBEAT服務同時開，多播也沒有問題，多播地址不同即可（可選多播地址段224.0.0.0 - 239.255.255.255），一般路由器、交換機等等應該都是多播的形式。
===========================================================
學生問題3：
master故障，slave自動切換沒有問題，此時所有的數據都通過slave寫入，當master恢復的時候，此時，還能按照之前的操作來進行嗎？ 數據會自動同步過去嗎？？做了試驗，按照以上的操作恢復主從關系時候，數據被master上的數據覆蓋，slave上新增的數據丟失。
此時是不是我還有哪些地方沒有考慮到？？？希望師傅能指點一下，當slave寫入數據，在master回來時候，怎么保證數據的完整性。
老男孩解答：
A、大前提， 配置了auto_failback on參數。
方法：
1.原主庫故障恢復后，先不要起HEARTBEAT
2.先加載DRBD到內核并起動drbd資源, 確保當前提供服務的庫和故障恢復的庫數據一致,可以cat /proc/drbd 看drbd狀態。
3.如果兩邊不一致，需要把數據推回故障恢復的庫,確保兩邊保持同步。
4.然后在起HEARTBEAT完成自動切換。

B、大前提，auto_failback off或者未配置此參數。
方法：
1.原主庫故障恢復后，將drbd加載到內核，此時可以起HEARTBEAT,此時正常情況下DRBD狀態應該是同步狀態或正在同步狀態.
2.如果確實未同步，可先起drbd 資源, 確保當前提供服務的庫和故障恢復的庫數據一致,可以cat /proc/drbd 看drbd狀態。
3..然后在當前提供服務的庫 執行/usr/lib64/heartbeat/hb_standby 完成db的切換。
另外：
有關heartbeat工作具體思路流程，請大家仔細研究haresource里的如下腳本：
抽空我給大家逐句的詳細解讀heartbeat啟動時執行的腳本：
/etc/ha.d/resource.d/IPaddr 10.0.0.149/24/eth0 start
/etc/ha.d/resource.d/drbddisk data start
/etc/ha.d/resource.d/Filesystem /dev/drbd0 /data ext3 start
===========================================================
學生問題4：drbd腦裂問題的解決總結（準備上生產環境的實際部署）
老男孩說明：以下為經過老男孩的指導，某學生的一次故障恢復解決過程。

系統環境
db-1-1主master
[root@db-1-1 ~]# uname -a
Linux db-1-1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:14 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@db-1-1 ~]# cat /etc/redhat-release?
CentOS release 5.5 (Final)

db-1-2從slave
Linux db-1-2 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:14 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@db-1-2 ~]# cat /etc/redhat-release?
CentOS release 5.5 (Final)

故障重現
機房電源電壓不夠用,需要對服務器進行停機,調整電源.
所以把兩臺數據庫服務器都關機;

注意:不要把drbd設置成自啟動;<這次造成裂腦原因可能是自己忘記了把drbd自啟動關了>
[root@db-1-1 ~]# chkconfig --list|grep 3:on
[root@db-1-1 ~]# chkconfig drbd off

[root@db-1-2 ~]# chkconfig --list|grep 3:on
[root@db-1-2 ~]# chkconfig drbd off
###############################################################################
[root@db-1-1 ~]# /etc/rc.d/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by?mockbuild@builder10.centos.org, 2010-06-04 08:04:09
m:res?? cs????????? ro???????????????? ds???????????????? p????? mounted? fstype
0:data? StandAlone? Secondary/Unknown? UpToDate/DUnknown? r----
[root@db-1-1 ~]# cat /proc/drbd?
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by?mockbuild@builder10.centos.org, 2010-06-04 08:04:09
?0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown?? r----
??? ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:164
[root@db-1-1 ~]# netstat -ltuanp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address?????????????? Foreign Address???????????? State?????? PID/Program name???
tcp??????? 0????? 0 :::22?????????????????????? :::*??????????????????????? LISTEN????? 2885/sshd???????????
tcp??????? 0??? 148 ::ffff:10.1.71.2:22???????? ::ffff:10.1.71.50:49282???? ESTABLISHED 2988/0??????????????
[root@db-1-1 ~]#?
###############################################################################
###############################################################################
[root@db-1-2 ~]# /etc/rc.d/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by?mockbuild@builder10.centos.org, 2010-06-04 08:04:09
m:res?? cs????????? ro???????????????? ds???????????????? p????? mounted? fstype
0:data? StandAlone? Secondary/Unknown? UpToDate/DUnknown? r----
[root@db-1-2 ~]# cat /proc/drbd??????????????
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by?mockbuild@builder10.centos.org, 2010-06-04 08:04:09
?0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown?? r----
??? ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1836
[root@db-1-2 ~]# netstat -ltluanp????????????
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address?????????????? Foreign Address???????????? State?????? PID/Program name???
tcp??????? 0????? 0 :::22?????????????????????? :::*??????????????????????? LISTEN????? 2895/sshd???????????
tcp??????? 0????? 0 ::ffff:10.1.71.3:22???????? ::ffff:10.1.71.50:49283???? ESTABLISHED 2999/0??????????????
###############################################################################

###############################################################################
日志報告
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Starting asender thread (from drbd0_receiver [2958])
Mar 11 18:51:55 db-1-2 kernel: block drbd0: data-integrity-alg: <not-used>
Mar 11 18:51:55 db-1-2 kernel: block drbd0: drbd_sync_handshake:
Mar 11 18:51:55 db-1-2 kernel: block drbd0: self 8750305FE84E8C5E:588570FE8E41445A:5849B8D4E0A36374:0000000000000004 bits:459 flags
:0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: peer ECD9B1A40CC33F6A:588570FE8E41445B:5849B8D4E0A36374:0000000000000004 bits:41 flags:
0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: uuid_compare()=100 by rule 90
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm initial-split-brain minor-0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm initial-split-brain minor-0 exit code 0 (0x0)
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Split-Brain detected but unresolved, dropping connection!
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0
Mar 11 18:51:55 db-1-2 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0 exit code 0 (0x0)
Mar 11 18:51:55 db-1-2 kernel: block drbd0: conn( WFReportParams -> Disconnecting )
Mar 11 18:51:55 db-1-2 kernel: block drbd0: error receiving ReportState, l: 4!
Mar 11 18:51:55 db-1-2 kernel: block drbd0: asender terminated
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Terminating asender thread
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Connection closed
Mar 11 18:51:55 db-1-2 kernel: block drbd0: conn( Disconnecting -> StandAlone )
Mar 11 18:51:55 db-1-2 kernel: block drbd0: receiver terminated
Mar 11 18:51:55 db-1-2 kernel: block drbd0: Terminating receiver thread
###############################################################################
解決方法：
db-1-2操作
首先，在從節點如下操作：
drbdadm secondary data
drbdadm -- --discard-my-data connect data
如果你做的是單主從模式可以
drbdadm secondary all
drbdadm -- --discard-my-data connect all

db-1-1操作
在主節點master上，執行cat /proc/drbd查看狀態，如不是WFConnection狀態，需執行下面命令手動連接：
drbdadm connect data
如你你做的是單主從模式可以
drbdadm connect all
cat /proc/drbd ?查看兩端狀態
netstat -ltuanp?查看端口狀態
drbdadm -- --overwrite-data-of-peer primary data?設置drbd主<由于啟動的時候兩邊的狀態都是Secondary/Secondary>

與老男孩對話記錄^,^!?
###############################################################################
解決辦法
老男孩 23:30:47?
首先，在從節點(slave)如下操作：
drbdadm secondary data
drbdadm -- --discard-my-data connect data
?
老男孩 23:31:35?
b.在主節點(master)上，通過cat /proc/drbd查看狀態，狀態不正常，可執行如下命令手動動連接：
drbdadm connect data

老男孩 23:45:04?
/etc/message中的錯誤/sbin/drbdadm initial-split-brain minor-0 提示的很清楚了。
###############################################################################
最后，很感謝感謝老男孩師傅的幫助，讓我的郁悶的心情煙消云散啊,呵呵。
===========================================================
(本文完)

本文出自 “老男孩linux運維” 博客，請務必保留此出處http://oldboy.blog.51cto.com/2561410/515345

轉載于:https://blog.51cto.com/ghostxyj/1702208

總結

以上是生活随笔為你收集整理的Mysql+Heartbeat+Drbd生产环境高可用部署若干问题解惑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。