一、什么是DRBD

1、簡介?

? ?Distributed Replicated Block Device(DRBD)是一個用軟件實現的、無共享的、服務器之間鏡像塊設備內容的存儲復制解決方案。

數據鏡像：實時、透明、同步（所有服務器都成功后返回）、異步（本地服務器成功后返回）?DRBD的核心功能通過Linux的內核實現，最接近系統的IO棧，但它不能神奇地添加上層的功能比如檢測到EXT3文件系統的崩潰。?DRBD的位置處于文件系統以下，比文件系統更加靠近操作系統內核及IO棧。

? ?在DRBD中，資源是特指某復制的存儲設備的所有方面。包括資源名稱、DRBD設備（/dev/drbdm，這里m是設備最小號，最大號可到147）、磁盤配置（使本地數據可以為DRBD所用）、網絡配置（與對方通信）?每個資源有個角色，是Primary或Secondary，下面簡稱“主”和“備” 。

• 主角色的DRBD設備可以不受限制的讀和寫，比如創建和映射文件系統、對于塊設備的raw或直接IO訪問。?

• 備角色的DRBD設備接受來自對方的所有修改，但是不能被應用程序讀寫，甚至只讀也不行。?角色也可以改變。

2、使用DRBD工具

• drbdadm：高級管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta發送指令，?

• drbdsetup：配置裝載進kernel的DRBD模塊，平時很少直接用?

• drbdmeta：管理META數據結構，平時很少直接用。

3、復制模式

• 協議A：異步復制協議。本地寫成功后立即返回，數據放在發送buffer中，可能丟失。

• 協議B：內存同步（半同步）復制協議。本地寫成功并將數據發送到對方后立即返回，如果雙機掉電，數據可能丟失。

• 協議C：同步復制協議。本地和對方寫成功確認后返回。如果雙機掉電或磁盤同時損壞，則數據可能丟失。一般用協議C。選擇協議將影響流量，從而影響網絡時延。

4、DRBD結構圖

5、工作原理

? ?每個設備（drbd 提供了不止一個設備）都有一個狀態，可能是‘主’狀態或‘從’狀態。在主節點上，應用程序應能運行和訪問drbd設備（/dev/drbd*）。每次寫入都會發往本地磁盤設備和從節點設備中。從節點只能簡單地把數據寫入它的磁盤設備上。 讀取數據通常在本地進行。 如果主節點發生故障，心跳（heartbeat或corosync）將會把從節點轉換到主狀態，并啟動其上的應用程序。如果發生故障的節點恢復工作，它就會成為新的從節點，而且必須使自己的內容與主節點的內容保持同步。當然，這些操作不會干擾到后臺的服務。

6、DRBD與HA 集群

? ?大部分現行高可用性集群（如：惠普、IBM、Dell）使用的是共享存儲器，因此存儲器連接多個節點（用共享的SCSI 總線或光纖通道就可以做到）。DRBD 也可以作為一個共享的設備，但是它并不需要任何不常見的硬件。它在IP 網絡中運行，而且在價格上IP 網絡要比專用的存儲網絡經濟的多。目前，DRBD 每次只允許對一個節點進行讀寫訪問，這對于通常的故障切換高可用性集群來講已經足夠用了。現在的版本將支持兩個節點同時進行讀寫存取。這很有用，比如對GFS 來講就是如此。兼容性DRBD可以在IDE、SCSI 分區和整個驅動器之上運行，但不能在回路模塊設備上運行。（如果您硬要這樣做，它就會發生死鎖）。DRBD 也不能在回送網絡設備中運行。（因為它同樣會發生死鎖：所有請求都會被發送設備占用，發送流程也會阻塞在sock_sendmsg（）中。）有時，接收線程正從網絡中提取數據塊，并試圖把它放在高速緩存器中；但系統卻要把一些數據塊從高速緩存器中取到磁盤中。這種情況往往會在接收器的環境下發生，因為所有的請求都已經被接收器塊占用了。

7、DRBD 配置文件

? ?DRBD的主配置文件為/etc/drbd.conf；為了管理的便捷性，目前通常會將些配置文件分成多個部分，且都保存至/etc/drbd.d目錄中，主配置文件中僅使用"include"指令將這些配置文件片斷整合起來。通常，/etc/drbd.d目錄中的配置文件為global_common.conf和所有以.res結尾的文件。其中global_common.conf中主要定義global段和common段，而每一個.res的文件用于定義一個資源。

? ?在配置文件中，global段僅能出現一次，且如果所有的配置信息都保存至同一個配置文件中而不分開為多個文件的話，global段必須位于配置文件的最開始處。目前global段中可以定義的參數僅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

? ?common段則用于定義被每一個資源默認繼承的參數，可以在資源定義中使用的參數都可以在common段中定義。實際應用中，common段并非必須，但建議將多個資源共享的參數定義為common段中的參數以降低配置文件的復雜度。?

? ?resource段則用于定義drbd資源，每個資源通常定義在一個單獨的位于/etc/drbd.d目錄中的以.res結尾的文件中。資源在定義時必須為其命名，名字可以由非空白的ASCII字符組成。每一個資源段的定義中至少要包含兩個host子段，以定義此資源關聯至的節點，其它參數均可以從common段或drbd的默認中進行繼承而無須定義。

8、DRBD 資源 舉例

• Resource name：可以是除了空白字符的任意的ACSII碼字符?

• DRBD device：在雙方節點上，此DRBD設備的設備文件；一般為/dev/drbdN，其主設備號147?

• Disk configuration：在雙方節點上，各自提供的存儲設備?

• Nerwork configuration：雙方數據同步時所使用的網絡屬性?

案例：

1234567891011121314

resource?web?{?#資源名為“web”on?node1.example.com?{?#設置節點cluster1??device????/dev/drbd0;???#指出drbd的標示名??disk??????/dev/sda6;??????#指出作為drbd的設備address???192.168.1.9:7789;?#指定ip和端口號meta-disk?internal;???#網絡通信屬性，指定drbd的元數據在本機??}??on?node2.example.com?{??device????/dev/drbd0;??disk??????/dev/sda6;??address???192.168.1.10:7789;??meta-disk?internal;??}??}

9、DRBD 配置步驟

• 安裝drbd?

• 配置資源文件（定義資料名稱，磁盤，節點信息，同步限制等）?

• 將drbd加入到系統服務chkconfig --add drbd ??

• 初始化資源組drbdadm create-md resource_name?

• 啟動服務 service drbd start?

• 設置primary主機，并同步數據?

• 分區、格式化/dev/drbd*?

• 一個節點進行掛載?

• 查看狀態

二、DRBD簡單安裝使用

說明：演示中我是學著使用ansible來安裝drbd的，下面就是我的ansible關于Host Inventory文件中的定義：

12345678

#?vim?/etc/ansible/hosts[drbd]node1node2[node1]node1[node2]node2

1、實驗環境

2、安裝epel源

123456

[root@Director?~]#?ansible?drbd?-m?shell?-a?"wget?http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm?-P?/tmp"[root@Director?~]#?ansible?drbd?-m?shell?-a?"rpm?-ivh?/tmp/epel-release-6-8.noarch.rpm"[root@Director?~]#?ansible?drbd?-m?shell?-a?"rpm?-ivh?/tmp/epel-release-6-8.noarch.rpm"[root@Director?~]#?ansible?drbd?-m?shell?-a?"rpm?--import?/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6"[root@Director?~]#?ansible?drbd?-m?shell?-a?"rpm?-ivh?http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm"[root@Director?~]#?ansible?drbd?-m?shell?-a?"yum?list?"

3、安裝DRBD

1	[root@Director?~]#?ansible?drbd?-m?shell?-a?"yum?-y?install?drbd84?kmod-drbd84"

查看一下配置文件：

12345678910111213

[root@Director?~]#?ansible?drbd?-m?shell?-a?"ls?-l?/etc/drbd.conf"node2?|?success?|?rc=0?>>-rw-r--r--?1?root?root?133?Apr?10?04:19?/etc/drbd.confnode1?|?success?|?rc=0?>>-rw-r--r--?1?root?root?133?Apr?10?04:19?/etc/drbd.conf[root@Director?~]#?ansible?drbd?-m?shell?-a?"ls?-l?/etc/drbd.d/*"node2?|?success?|?rc=0?>>-rw-r--r--?1?root?root?2062?Apr?10?04:19?/etc/drbd.d/global_common.confnode1?|?success?|?rc=0?>>-rw-r--r--?1?root?root?2062?Apr?10?04:19?/etc/drbd.d/global_common.conf

4、配置DRBD

1234567891011121314151617181920212223242526272829303132333435363738394041424344

[root@Director?~]#?scp?-p?root@node1:/etc/drbd.d/global_common.conf?./[root@Director?~]#?vim?global_common.conf?global?{??usage-count?no;?#讓linbit公司收集目前drbd的使用情況，yes為參加，我們這里不參加設置為no??#?minor-count?dialog-refresh?disable-ip-verification??}common?{handlers?{??pri-on-incon-degr?"/usr/lib/drbd/notify-pri-on-incon-degr.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";??pri-lost-after-sb?"/usr/lib/drbd/notify-pri-lost-after-sb.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";??local-io-error?"/usr/lib/drbd/notify-io-error.sh;?/usr/lib/drbd/notify-emergency-shutdown.sh;?echo?o?>?/proc/sysrq-trigger?;?halt?-f";??#?fence-peer?"/usr/lib/drbd/crm-fence-peer.sh";??#?split-brain?"/usr/lib/drbd/notify-split-brain.sh?root";??#?out-of-sync?"/usr/lib/drbd/notify-out-of-sync.sh?root";??#?before-resync-target?"/usr/lib/drbd/snapshot-resync-target-lvm.sh?-p?15?--?-c?16k";??#?after-resync-target?/usr/lib/drbd/unsnapshot-resync-target-lvm.sh;??}startup?{#?wfc-timeout?degr-wfc-timeout?outdated-wfc-timeout?wait-after-sb??}options?{#?cpu-mask?on-no-data-accessible??}disk?{#?size?max-bio-bvecs?on-io-error?fencing?disk-barrier?disk-flushes??#?disk-drain?md-flushes?resync-rate?resync-after?al-extents??#?c-plan-ahead?c-delay-target?c-fill-target?c-max-rate??#?c-min-rate?disk-timeout??on-io-error?detach;?#同步錯誤的做法是分離??}net?{#?protocol?timeout?max-epoch-size?max-buffers?unplug-watermark??#?connect-int?ping-int?sndbuf-size?rcvbuf-size?ko-count??#?allow-two-primaries?cram-hmac-alg?shared-secret?after-sb-0pri??#?after-sb-1pri?after-sb-2pri?always-asbp?rr-conflict??#?ping-timeout?data-integrity-alg?tcp-cork?on-congestion??#?congestion-fill?congestion-extents?csums-alg?verify-alg??#?use-rle??cram-hmac-alg?"sha1";?#設置加密算法sha1??shared-secret?"mydrbdlab";?#設置加密key??}??}[root@Director?~]#?scp?-p?global_common.conf?root@node1:/etc/drbd.d/global_common.conf[root@Director?~]#?scp?-p?global_common.conf?root@node2:/etc/drbd.d/global_common.conf

增加資源：

123456789101112131415

[root@Director?~]#?vim?web.resresource?web?{on?node1{??device????/dev/drbd0;??disk??????/dev/sdb3;address???192.168.1.9:7789;????meta-disk?internal;??}??on?node2?{??????????device????/dev/drbd0;??disk??????/dev/sdb3;address???192.168.1.10:7789;meta-disk?internal;??}??}

? ?注意：還需要在node1和node2手動創建磁盤分區，建議要是做實驗就將磁盤空間弄小點。 若不識別磁盤試試用此命令partx -a /dev/sdb。

將資源文件復制到node1和node2上：

1234567

[root@Director?~]#?ansible?drbd?-m?copy?-a?"src=/root/web.res?dest=/etc/drbd.d/"[root@Director?~]#?ansible?drbd?-m?shell?-a?"ls?-l?/etc/drbd.d/web.res"node1?|?success?|?rc=0?>>-rw-r--r--?1?root?root?291?Sep??7?20:28?/etc/drbd.d/web.resnode2?|?success?|?rc=0?>>-rw-r--r--?1?root?root?291?Sep??7?20:28?/etc/drbd.d/web.res

node1與node2上初始化資源：

123456789

[root@Director?~]#?ansible?drbd?-m?shell?-a?"drbdadm?create-md?web"node2?|?success?|?rc=0?>>initializing?activity?logWriting?meta?data...New?drbd?meta?data?block?successfully?created.NOT?initializing?bitmapnode1?|?success?|?rc=0?>>initializing?activity?logWriting?meta?data...New?drbd?meta?data?block?successfully?created.NOT?initializing?bitmap

node1與node2上啟動DRBD服務：

123456789101112131415

[root@Director?~]#?ansible?drbd?-m?shell?-a?"/etc/init.d/drbd?start"node1?|?success?|?rc=0?>>Starting?DRBD?resources:?[create?res:?webprepare?disk:?webadjust?disk:?webadjust?net:?web]node2?|?success?|?rc=0?>>Starting?DRBD?resources:?[create?res:?webprepare?disk:?webadjust?disk:?webadjust?net:?web]

查看一下啟動狀態：

123456

[root@Director?~]#?ansible?drbd?-m?shell?-a?"drbd-overview"node2?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Secondary?Inconsistent/Inconsistent?node1?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Secondary?Inconsistent/Inconsistent

從上面的信息中可以看出此時兩個節點均處于Secondary狀態。于是，我們接下來將其中一個節點設置為Primary。

設置node1為Primary：

123456789

[root@Director?~]#?ansible?node1?-m?shell?-a?"drbdadm?primary?--force?web"[root@Director?~]#?watch?-n1?'ansible?drbd?-m?shell?-a?"drbd-overview"'Every?1.0s:?ansible?drbd?-m?shell?-a?"drbd-overview"?????????Mon?Sep??7?20:28:37?2015node1?|?success?|?rc=0?>>0:web/0??SyncSource?Primary/Secondary?UpToDate/Inconsistent[===>................]?sync'ed:?21.5%?(1656176/2104408)Knode2?|?success?|?rc=0?>>0:web/0??SyncTarget?Secondary/Primary?Inconsistent/UpToDate[===>................]?sync'ed:?21.5%?(1656176/2104408)K

兩者需要一段時間的初始化，初始化時間根據磁盤大小和硬件配置相關：

123456

[root@Director?~]#?ansible?drbd?-m?shell?-a?"drbd-overview"node2?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Primary?UpToDate/UpToDate?node1?|?success?|?rc=0?>>0:web/0??Connected?Primary/Secondary?UpToDate/UpToDate

node1格式化并掛載 ：

12345678

[root@Director?~]#?ansible?node1?-m?shell?-a?"mke2fs?-j?/dev/drbd0"node1?|?success?|?rc=0?>>mke2fs?1.41.12?(17-May-2010)[root@Director?~]#?ansible?node1?-m?shell?-a?"mkdir?/drbd"node1?|?success?|?rc=0?>>[root@Director?~]#?ansible?node1?-m?shell?-a?"mount?/dev/drbd0?/drbd"node1?|?success?|?rc=0?>>

將drbd目錄中寫入文件，下面好做測試：

12345

[root@Director?~]#?ansible?node1?-m?copy?-a?"src=/etc/issue?dest=/drbd"[root@Director?~]#?ansible?node1?-m?shell?-a?"cat?/drbd/issue"node1?|?success?|?rc=0?>>CentOS?release?6.6?(Final)Kernel?\r?on?an?\m

切換Primary和Secondary節點：

說明：對主Primary/Secondary模型的drbd服務來講，在某個時刻只能有一個節點為Primary，因此，要切換兩個節點的角色，只能在先將原有的Primary節點設置為Secondary后，才能原來的Secondary節點設置為Primary。

123456789101112131415161718192021222324252627282930313233

[root@Director?~]#?ansible?node1?-m?shell?-a?"umount?/drbd"node1?|?success?|?rc=0?>>[root@Director?~]#?ansible?node1?-m?shell?-a?"drbdadm?secondary?web"node1?|?success?|?rc=0?>>[root@Director?~]#?ansible?drbd?-m?shell?-a?"drbd-overview"node1?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Secondary?UpToDate/UpToDate?node2?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Secondary?UpToDate/UpToDate?[root@Director?~]#?ansible?node2?-m?shell?-a?"drbdadm?primary?web"node2?|?success?|?rc=0?>>[root@Director?~]#?ansible?drbd?-m?shell?-a?"drbd-overview"node1?|?success?|?rc=0?>>0:web/0??Connected?Secondary/Primary?UpToDate/UpToDate?node2?|?success?|?rc=0?>>0:web/0??Connected?Primary/Secondary?UpToDate/UpToDate?[root@Director?~]#?ansible?node2?-m?shell?-a?"mkdir?/drbd"node2?|?success?|?rc=0?>>[root@Director?~]#?ansible?node2?-m?shell?-a?"mount?/dev/drbd0?/drbd"node2?|?success?|?rc=0?>>[root@Director?~]#?ansible?node2?-m?shell?-a?"cat?/drbd/issue"node2?|?success?|?rc=0?>>CentOS?release?6.6?(Final)Kernel?\r?on?an?\m

三、DRBD 雙主模式配置示例

drbd 8.4中第一次設置某節點成為主節點的命令 ?

1	[root@node?~]#?drbdadm?primary?--force?resource

配置資源雙主模型的示例：

1234567891011121314151617181920212223242526272829

resource?mydrbd?{net?{protocol?C;??allow-two-primaries?yes;??}startup?{become-primary-on?both;??}disk?{fencing?resource-and-stonith;??}handlers?{#?Make?sure?the?other?node?is?confirmed??#?dead?after?this!??outdate-peer?"/sbin/kill-other-node.sh";??}on?node1.magedu.com?{device??/dev/drbd0;??disk????/dev/vg0/mydrbd;??address?192.168.1.9:7789;??meta-disk???????internal;??}on?node2.magedu.com?{device??/dev/drbd0;??disk????/dev/vg0/mydrbd;??address?192.168.1.10:7789;??meta-disk???????internal;??}??}

本文出自 “粗茶淡飯” 博客，請務必保留此出處http://cuchadanfan.blog.51cto.com/9940284/1695852

轉載于:https://blog.51cto.com/lucifer119/1734624

總結

以上是生活随笔為你收集整理的Linux下DRBD配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。