文/耿加申

建設分布式雙活數據中心是需要網絡系統、存儲系統、計算資源甚至包括應用系統等多個IT系統之間緊密合作才能實現的。用戶所有的業務系統同時在兩個數據中心運行，包括前端的全局負載均衡、服務器前端的負載均衡、服務器集群HA技術，后端的數據庫系統和存儲系統技術，同時為用戶提供服務。當某個數據中心的應用系統出現問題時，由另一個數據中心的應用來持續的提供服務。本文主要介紹在網絡雙活已經Ready情況下，數據庫和存儲雙活部署的最佳實踐方案。

一、數據庫分布式雙活技術

雙活數據庫備份技術的主、備數據庫能夠同時承擔生產業務并且實現備份功能，即主-主方式的數據庫雙活技術，極大提高數據庫的利用效率。用戶要實現數據庫的雙活，需要在主備數據中心同時安裝兩套數據庫系統，并且實現數據庫的同步功能。常見的雙活技術通常使用集群方式提供，以下以業界比較成熟的Oracle RAC為例作以介紹。

(如圖1所示)Oracle RAC(Real Application Clusters，實時應用集群)不僅僅是個組件，它不是單單由某項特性組成，而是一堆特性應用(Oracle Clusterware、RAC、ASM等)的集合，因此應該被稱之為一種體系。該體系實現了多個實例同時訪問和管理同一數據庫，多個實例可以存在于不同節點，也可以在相同的節點上(從提升性能的角度來看，并不推薦這樣)，彼此通過內網連接交換數據，并且能夠實現自動負載均衡，如果其中某個節點發生故障，RAC能夠通過后臺的監控進程將連接自動切換到另外一個或多個節點上，從而實現應用的無縫切換，對實例的高可用提供保護，使Oracle RAC 同時具備HA和LB的特性。

遠距離集群中的 Oracle RAC 提供了一種橫向擴展性能以及利用多個站點的存儲和服務器資源的方法，而且與單站點 Oracle RAC 安裝相比，還提高了整個站點的可用性和數據中心維護操作的恢復能力。

圖1 RAC多實例

l 網絡部署方式

(如圖2所示)在整個RAC環境中，需要在兩個數據中心部署RAC節點，共存在四個網絡環境(如圖2所示)：

? Public網絡對應公有IP，用于對外提供數據查詢服務，服務器維護，數據庫維護等；

? Virtual網絡對應虛擬IP，用于提供應用連接，一般應用程序使用的是該IP；

? Private網絡對應私有IP，用于傳輸RAC節點之間心跳報文cache fusion數據塊傳遞，對速度要求很高；

? 存儲網絡由存儲設備、HBA卡、光纖交換機等組成。

圖2 RAC雙節點網絡

l 業務訪問流程

(如圖3所示)在一個典型的多節點RAC系統集群環境中，數據是放在共享存儲上的，客戶端通過指定的虛擬IP連接。集群收到應用程序訪問數據庫的請求后，利用DLM機制進行多個節點間并發訪問的控制，把請求發送到其中一個節點，節點收到請求后，通過Cache Fusion機制獲取讀寫權限，如果節點有權限訪問共享存儲，節點會對共享存儲進行讀寫，讀寫數據完成后返回給客戶端。當應用訪問數據庫RAC集群時，由下面兩種機制來保證訪問數據的可用性：

? 并發控制。由于每個節點對數據有相同的訪問權利，這就要求集群對這種有對等權限的并發訪問有控制機制，在Oracle RAC中，利用DLM (Distribute Lock Management，分布式鎖管理器)機制進行多個節點間并發訪問的控制，協調節點間資源的競爭，保證并發的有效性，保護共享數據的安全。

? 分布式緩存。使用Cache Fusion模型，是實現RAC的根本的技術，它使各實例可以將它們的數據緩存合并為一個共享的全局緩存，保證緩存的一致性，減少共享磁盤IO的消耗。當上層應用訪問RAC節點是，RAC使用 Cache Fusion，優先從緩存中讀寫數據，僅當該數據塊不在全局共享的緩存中，才會執行磁盤讀寫操作。

圖3 RAC多節點訪問

l 主備數據中心故障切換

當其中一個數據中心的數據庫RAC節點出現故障時，另外一個數據中心的RAC節點還可以提供服務。Oracle RAC 同時具備HA和LB，而其高可用性的基礎是Failover(故障轉移)，通過TAF(Transparent Application Failover)技術，集群中任何一個節點的故障，連接其用戶會被自動轉移到健康節點，用戶感覺不到這種切換。對于應用程序而言，這個遷移過程是透明的，不需要用戶的介入。遷移過程如下：

(如圖4所示)假設有一個兩個節點的RAC，正常運行時每個節點上都有一個VIP：VIP1和VIP2。當節點2發生故障，RAC 會做如下操作：

? RAC的Failover 機制會把節點2的VIP2轉移到節點1上，這時節點1的PUBLIC 網卡上就有3個IP 地址，即VIP1、VIP2、Public IP1；

? 用戶對VIP2的連接請求會被IP層路由轉到節點1；

? 節點1上只監聽VIP1和Public IP1的兩個IP地址,并沒有監聽VIP2，故應用層沒有對應的程序接收這個數據包；

? 客戶端能夠立即接收到這個錯誤，然后客戶段會重新發起向VIP1的連接請求，完成故障切換。

圖4 RAC故障轉移

在集群環境中，節點間需要某種心跳了解彼此的健康狀況。這個心跳是通過兩個數據中心的網絡來傳輸的，如果心跳出了問題，每個節點都會認為其他節點都不存在了，自己是唯一的幸存者，從而控制整個集群，由于數據是共享的，勢必會破壞共享數據的完整性和一致性。這時候Voting Disk表決盤被引入，所有節點都可以訪問表決盤，通過投票機制，獲得最高票數或者最早到達的獲得投票的幸存，其他節點被踢出。在Oracle RAC中Voting Disk用來記錄節點間成員的狀態，出現腦裂時，仲裁哪個分區獲得控制權，其他的分區被剔除。

二、存儲分布式雙活技術

分布式雙活數據庫部署需要共享存儲的支撐，理想的方案是EMC VPLEX，可以實現不同存儲異構的雙活。VPLEX 體系結構將橫向擴展集群與分布式緩存一致性相結合，實現了數據中心內、跨數據中心的 EMC 和非 EMC 平臺之間的數據移動性。其具有以下特點：

? 分布式存儲雙活集群技術，對應用提供統一的訪問入口；

? VPLEX后端連接存儲類型可以兼容不同廠家；

? EMC VPLEX Metro在多個數據中心實現同步數據復制技術；

? VPLEX AccessAnywhere集群技術可用于對分布式卷進行遠程讀/寫訪問，可以在同步距離內的位置之間訪問和共享數據；

? 給遠距離的兩個數據中心提供一個共享的存儲，兩邊能同時讀寫同一份數據，簡化擴展 Oracle RAC跨數據中心的部署；

VPLEX 產品線包括 VPLEX Local(單站點 SAN 聯合)、VPLEX Metro(支持往返延遲高達 5 ms 的同步分布式卷，約相距不超過 100 公里)以及 VPLEX Geo(支持往返時間高達 50 ms 的異步分布式卷)。將 VPLEX Metro 與遠距離集群中的 Oracle RAC(擴展 Oracle RAC)結合使用，可以簡化 SAN 基礎架構，同時減少與擴展 RAC 部署模式關聯的部分存儲管理復雜性。

l 網絡部署方式

(如圖5所示)在VPLEX環境中，分別需要在兩個數據中心部署VPLEX，同時在第3個站點部署Witness，共存在兩個網絡環境(如圖5所示)。

? IP網絡：三方站點互連使用的IP網絡，使用Witness提供網絡管理和防止腦裂發生。

? 存儲網絡：由存儲設備，HBA卡，光纖交換機等組成，需要專用光纖線路連接。

圖5 VPLEX雙中心組網

l 業務訪問流程

存儲對讀數據的處理過程如下：

? 當主機發出一個讀請求，VPLEX搜索其本地緩存；

? 如果數據被找到，返回到主機；

? 如果數據在本地緩存中沒有找到，VPLEX搜索全局緩存；

? 無論從本地緩存或全局緩存，它如果不能找到讀數據，則直接讀取后端存儲。在這些情況下，無論是全局還是本地緩存都進行更新。

存儲對寫數據的處理過程如下：

? 對于VPLEX Local和Metro，所有寫操作都是通過后端存儲的緩存，只有數據寫入到后端陣列，主機的寫操作才算完成；

? 對于VPLEX metro，每次寫都是在集群中進行復制。其中一個副本，寫入到本地后端陣列，而另外一個被寫入到遠程VPLEX，再把它寫入到遠程的后端磁盤。主機只有在這兩個寫入都完成后才會得到確認。

l 主備數據中心故障切換

(如圖6所示)當一個數據中心的存儲不能對外提供訪問時，VPLEX會實時把IO的請求定向到另外一個數據中心，不會影響到上層應用的訪問。當后端存儲失敗,VPLEX集群繼續服務所有的IO，因此Oracle RAC不會知道存儲不可用了。

圖6 VPLEX存儲故障切換

(如圖7所示)當后端存儲和VPLEX集群其中之一出現故障，VPLEX Witness會繼續讓另外一個站點的VPLEX提供服務，Oracle 使用Transparent Application Failover 功能，允許客戶端自動的重新連接到健康的VPLEX 集群上。

圖7 VPLEX存儲和集群故障切換

如果兩個 VPLEX 集群中間的網絡出現故障，可以通過預先配置分離規則，優先級高的VPLEX站點如果無法檢測到對方節點，則該節點繼續服務，另外一個停止服務。或者通過在第三站點部署VPLEX Witness，當出現網絡故障時，由Witness判斷哪個節點可以提供服務。VPLEX Witness 通過管理 IP 網絡連接至兩個 VPLEX 集群。為了讓 VPLEX Witness 能夠正確區分各種故障情況，需要在在第三個數據中心部署 VPLEX Witness。

三、Oracle RAC和 VPLEX Metro 聯合部署方式

Oracle RAC系統與EMC VPLEX技術相結合，是部署雙活數據中心的理想選擇。EMC VPLEX 的功能包括異構存儲系統以及分布式雙活的共享存儲，可與 Oracle RAC 的固有功能共同提供高可用性和可擴展的數據庫訪問。(如圖8所示)Oracle RAC 與 EMC VPLEX結合部署，簡化了數據庫體系結構，提高基礎架構效率。

圖8 Oracle RAC 與 EMC VPLEX綜合組網

通常，擴展 Oracle RAC 的部署重點是為其中一個 Oracle集群表決磁盤部署第三個站點。(如圖9所示)借助 VPLEX，集群表決磁盤本身駐留在 VPLEX 虛擬卷上，僅VPLEX Witness部署在獨立故障域中，由于 VPLEX Witness 控制表決磁盤的訪問， VPLEX Witness 可提供腦裂檢測保護并保證 VPLEX Metro 和 Oracle 集群的行為一致。

由于所有 Oracle集群節點都需要訪問所有 Oracle集群配置文件和數據庫設備，因此 Oracle 集群配置文件和Oracle 數據庫都使用 VPLEX 分布式卷。

圖9 VPLEX腦裂檢測

l 網絡部署方式

? RAC集群互連：用于RAC心跳和Cache Fusion，對速度要求很高。

? IP網絡：三方站點互連使用的IP網絡，用于提供網絡管理和防止腦裂發生。

? 存儲網絡：由存儲設備、HBA卡、光纖交換機等組成，需要專用光纖線路連接。

l 故障切換

? 后端存儲失敗。當站點A的存儲發生致命故障后，分布式鏡像卷只是少了鏡像的一半，容災站點的存儲承擔起讀寫IO的工作，站點A的主機通過VPLEX的通訊鏈路從站點B的存儲上讀寫數據，使得整個系統沒有發生出錯崩潰，也沒有業務切換到容災站點，保證了業務高可用性。由于每個站點都有專門的LOG卷，所以在存儲恢復正常后不需要進行全同步，而只需要傳輸改變量，同步時間大大縮小。

? VPLEX失敗。當站點A的VPLEX故障后，另外一個站點B的VPLEX繼續工作，數據不會丟失，業務可以連接到另外一個站點B的RAC節點正常進行工作。當站點A的VPLEX恢復后，按保護機制的設定，可自動或者手工確認原主站點是否可以工作。

? RAC主機失敗。當站點A的RAC1主機發生故障后，VPLEX和存儲都沒故障發生。因此只發生應用切換事件。

? 站點間的網絡失敗。VPLEX可以設置優先級別，當兩臺VPLEX通訊發生故障時，根據定義的優先級別的策略決定其中一臺VPLEX保持服務，而另一臺就要停止工作，或者由Witness來決定哪臺VPLEX繼續工作，保證了數據的一致性和安全性。

? 站點失敗。站點A的RAC、VPLEX、存儲都出現故障，連接站點A的RAC1的業務全斷，而連接站點B的RAC2的應用還是可以保持正常工作無中斷，站點A的RAC1上的業務重新連接到RAC2后可以繼續正常工作。

l 該方案帶來的好處

聯合部署方式使得網絡、存儲和站點故障期間保證連續的數據庫可用性，橫向擴展體系結構以及兩個站點對同一數據庫的完全讀寫訪問權限，并且簡化遠程 Oracle RAC 部署，主要體現在：

? 集群節點只需連接至本地 VPLEX 集群，不需要跨站點連接；

? 通過使用分布式卷和 VPLEX Witness 部署 Oracle 表決磁盤，無需在第三站點部署 Oracle voting disk 表決磁盤和集群配置文件，簡化了基礎架構要求；

? 減少對 Oracle 集群節點 CPU 周期的占用以及與基于主機的鏡像關聯的占用，由 VPLEX 提供的硬件 RAID 和底層物理陣列提供這項功能；

? 能夠創建可將多個數據庫或應用程序文件作為一個單元進行保護的一致性組；

? 在存儲硬件更新和遷移期間，VPLEX 卷不要求暫停應用程序或進行 LUN ID 更改。

四、結束語

分布式數據中心要想實現對用戶提供真正的雙活服務，需要部署應用、存儲、網絡的綜合雙活方案。企業通過部署ORACLE RAC數據庫的雙活技術和EMC VPLEX存儲的雙活技術，以及使用H3C的雙活數據中心網絡方案，完美的給用戶提供了一整套的雙活解決方案，避免了以前備份數據中心只能備用不能使用的資源浪費，有力的保證了企業的業務系統高可靠運行。

總結

以上是生活随笔為你收集整理的oracle asm 分布式存储,分布式数据中心数据库和存储部署解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。