VCS的安装信息
目 錄
1 VCS簡介 7
2 概念/原理 8
2.1 集群 8
2.2 資源和資源類型 9
2.3 資源組 9
2.4 資源依賴關系 9
2.5 代理 10
3 VCS資源/代理介紹 10
3.1 普通資源 10
3.2 Oracle資源 14
3.3 DB2資源 15
4 VCS安裝/補丁 16
4.1 安裝準備 16
4.2 VCS安裝 16
4.3 補丁安裝 18
4.4 檢查狀態 18
5 VCS規劃/配置 19
5.1 規劃 19
5.2 配置 20
5.2.1 添加資源組 20
5.2.2 添加資源 20
5.2.3 設定資源依賴關系 22
5.2.4 調整資源類型與屬性 22
5.3 配置檢驗 23
5.3.1 雙機啟動 23
5.3.2 雙機切換 24
5.3.3 系統退出 24
5.3.4 應用停止 24
5.3.5 單個心跳網絡故障 24
6 VCS管理/維護 25
6.1 啟動VCS雙機 25
6.2 停止VCS雙機 25
6.3 狀態查詢 25
6.4 基本管理操作 27
7 VCS方案比較 27
7.1 SMS GW 27
7.2 PortalOne 28
7.2.1 DB2 29
7.2.2 PortalOne 29
7.3 MDSP 30
7.3.1 ORACLE 30
7.3.2 DB2 30
7.4 TopEng SLTS 31
7.5 GFEP 32
7.6 PISA 32
7.6.1 Service Server 32
7.6.2 MC Server 33
7.6.3 DBMS Server 34
7.6.4 Media Server 35
8 附錄 36
8.1 集群分裂 36
8.2 業務流程 36
8.2.1 集群啟動 36
8.2.2 資源上線 37
8.2.3 資源下線 37
8.2.4 資源組上線 37
8.2.5 資源組下線 38
8.2.6 資源故障 38
8.2.7 節點故障 39
8.2.8 網絡連接故障 39
8.2.9 資源組手工切換 39
8.2.10 資源組故障切換 39
8.3 配置文件 40
8.3.1 main.cf 40
8.3.2 types.cf 40
8.4 VCS日志 41
8.5 故障處理 42
8.5.1 VCS啟動 42
8.5.2 資源組 42
8.5.3 資源 43
8.6 VCS故障實例 44
8.6.1 切換后故障不自動恢復 44
8.6.2 集群進入ADMIN_WAIT狀態 45
8.6.3 集群進入STALE_ADMIN_WAIT狀態 45
Veritas VCS雙機方案白皮書
關鍵詞：VCS、雙機、故障切換
摘 要： 本文介紹了VCS集群軟件的雙機安裝、設計、配置、典型故障等內容，并比較業軟不同產品的方案。
術語清單
術語 中文名稱 解釋
Cluster 群集 高可用性的計算機系統
System 節點 服務器
Resource 資源 監控對象
Service Group 資源組 切換的最小單位
1 VCS簡介
VCS（VERITAS Cluster Server）是由VERITAS公司提供的集群管理軟件。VCS提供了一個集群系統解決方案，應用于部署業務雙機系統，可監控系統和應用服務，并方便的實現主備機快速切換，從而解決單點故障問題。當發生故障時，VCS在主機上停止應用、卸載磁盤、釋放浮動IP，在備機上綁定浮動IP、掛載磁盤、啟動應用。每臺服務器最少要配置三塊網卡，其中一塊網卡加載浮動IP對外提供業務，另外兩塊是VCS的心跳網卡。
VCS使用集群通信查詢資源組和資源的狀態，以及集群狀態變化的事件，如節點加入、節點退出、節點故障。下圖是VCS集群通訊的總體架構，其中心跳線之間的通信由模塊LLT和GAB實現。HAD進程是VCS的核心進程，hashadow監控HAD進程的運行，如果HAD進程異常中止，hashadow會將HAD進程進行重啟動。而對應用的監控在Agents中實現。在集群中Agents監控資源的狀態并和HAD交互資源狀態，然后本地HAD通過GAB和LLT與集群中的其它節點交互信息。
? HAD (High-Availability Daemon)
HAD是運行于每個系統的高可用進程，HAD被看作是“VCS的發動機”。它從本機接收各種Agents的信息，然后把這些信息轉發到其它系統。它也能從其它系統接受消息來跟新本地系統狀態。HAD被同樣運行在每個系統的hashadow所監控。
? GAB (Group Membership Services/Atomic Broadcast)
GAB用于監控集群成員的數量、探測集群狀態和分發信息到集群中各系統（節點）。VCS的集群成員是指通過心跳線連接在一起的擁有相同的群組ID的系統。當一個系統加入群組以后，GAB就會發出一條“加入群組”的消息。群組成員關系則是通過周期性心跳來維護，當一個系統在心跳超時時間內沒有接收到心跳，就認為對端已經故障或從群組中脫離。
? LLT (Low Latency Transport)
LLT用來實現集群中系統之間的通信，它用來發送、接收心跳消息，從而監測群中的節點是否“健康”。LLT提供了一個快速、內核到內核的通信并且監測網絡的連接狀態，其相當于其它系統中的IP協議棧。
2 概念/原理
2.1 集群
VCS集群是由許多（一般為兩個）連接在一起的節點（即服務器/小型機）組成。集群中的節點擁有相同的集群ID，它們通過冗余的私有網絡連接在一起，周期性傳遞心跳、信號。
2.2 資源和資源類型
資源（Resource）是提供業務的硬件或軟件實體，如：網卡、IP、數據庫等。VCS通過唯一的名字來識別每一個資源。同一資源類型的資源擁有相似的特征，例如兩個IP資源都是通過IP類型定義的。VCS資源啟動、停止、檢測的方法依資源類型的不同而不同，如IP資源的啟動就是把IP地址分配給網卡，IP資源的監測就是檢測IP地址是否綁定在網卡上。
2.3 資源組
VCS的資源組（Service Group）是運行在集群上的一組相關資源的集合，其中包含了一些相互關聯的資源。例如，一個Web應用的資源組可能包含下面的資源：
◆ 卷組
◆ 卷
◆ 文件系統
◆ 數據庫
◆ 網卡
◆ 浮動IP
◆ 應用程序
資源組是業務切換的基本單位，VCS資源的啟動、停止、監測、重啟等操作都以資源組為單位。例如，當資源組被拉起來以后，資源組中的所有資源都會被拉起來。在一個集群中可以定義多個資源組。
2.4 資源依賴關系
單個資源在運行時可能要依賴其它類型的資源，如IP地址資源依賴于網卡資源，因此在資源上線時要保證一定的先后順序。VCS中設計了資源的依賴關系，即資源間的父/子關系，子資源在父資源之前上線，在父資源之后下線。這樣當一個資源組上、下線時，資源組中的所有的資源就會根據資源之間的依賴關系依次上、下線。下面是資源組依賴關系的示例：
在上圖中，上層的（父）資源要依賴于下層的（子）資源，例如Volume資源依賴Disk Group資源，而Mount資源依賴Volume資源。
2.5 代理
代理（Agent）是控制一種特定類型資源的程序，VCS通過代理來管理各類資源，每一類資源對應一種代理。代理在資源和VCS之間扮演了一種“媒介”的作用，即在資源和VCS之間傳遞信息。例如，VCS要拉起Oracle資源，但VCS不需要認識Oracle資源，它只要把上線命令傳遞給Oracle的代理，Oracle的代理就會執行Oracle的啟動命令。
VCS對資源的管理非常靈活，如果在資源組中沒有添加某資源，則說明VCS不會通過代理該資源進行直接的控制和監控。此時VCS仍可在其它資源的代理中調用腳本來間接的控制該資源，并通過監控整個應用的狀態來間接的監控該資源。
3 VCS資源/代理介紹
本章介紹一些常見的VCS代理，更詳細的描述請參考《VCS Agents Reference Guide》。
3.1 普通資源
1、 DiskReservation
為節點保留（reserve）并監控SCSI磁盤，磁盤被某節點保留后其它節點無法訪問或更改，從而避免數據損壞。DiskRerservation支持指定多個裸磁盤設備，支持保留整個磁盤或保留一定比例的磁盤空間。
功能 備注
Online 保留指定的磁盤
Offline 釋放保留的磁盤
Monitor 監控保留磁盤的狀態
關鍵屬性 備注
Disks 需要保留的裸磁盤設備列表，如{"/dev/sdb","/dev/sdc","/dev/sdd","/dev/sde"}。注意：列表中的設備順序在不同系統中必須相同。
Percentage 保留磁盤空間的百分比，范圍51～100，缺省為100。
2、 DiskGroup
控制并監控VxVM（Veritas Volume Manager）磁盤組，因此該代理使用VxVM命令。DiskGroup資源依賴于DiskReservation資源。為了保證數據的一致性，當有數據寫入磁盤組中的卷時，DiskGroup代理禁止切換。
功能 備注
Online 使用vxdg命令加載（import）磁盤組
Offline 使用vxdg命令卸載（export）磁盤組
Monitor 使用vxdg命令監控磁盤組狀態
關鍵屬性 備注
DiskGroup 通過VxVM配置的磁盤組，如oradg
StartVolumes 設置為1時，加載磁盤組后online腳本啟動所有邏輯卷。缺省為1
StopVolumes 設置為1時，卸載磁盤組前offline腳本停止所有邏輯卷。缺省為1
3、 Volume
控制并監控VxVM卷，Volume資源依賴于DiskGroup資源。
功能 備注
Online 使用vxrecover命令啟動卷
Offline 使用vxvol命令停止卷
Monitor 通過裸設備接口讀塊（block），從而監控卷狀態
關鍵屬性 備注
DiskGroup 卷所在的磁盤組
Volume 通過VxVM配置的卷
4、 LVMVolumeGroup
控制并監控LVM2（Logical Volume Manager）卷組，因此該代理使用LVM2命令。LVMVolumeGroup資源依賴于DiskReservation資源。
功能 備注
Online 使用vgimport命令加載卷組
Offline 使用vxexport命令卸載卷組
Monitor 使用vxdisplay命令監控卷組狀態
關鍵屬性 備注
VolumeGroup 通過LVM2配置的卷組，如datavg1
StartVolumes 設置為1時，加載卷組后online腳本啟動所有邏輯卷。缺省為0
5、 Mount
控制并監控文件系統或NFS的客戶掛接點。
功能 備注
Online 將塊設備掛載到目錄上
Offline 卸載（unmount）塊設備
Monitor 監控文件系統是否已掛載
Clean 強制卸載塊設備
關鍵屬性 備注
BlockDevice 需要掛載的塊設備，如/dev/vx/dsk/db2dg/lv_db2
如果設備是LVM2卷，則格式為：/dev/mapper/volume-group-logical-volume，如/dev/mapper/datavg1-lvinfox
如果文件系統類型是NFS，則格式為：server:/path/to/share，如vcslnx1.veritas.com:/usr/share1
FsckOpt fsck命令參數，如-y %-n。當非NFS掛載處理失敗時，代理使用此參數運行fsck命令并嘗試重新掛載
MountPoint 掛接點目錄，如/infoxshare
FSType 文件系統類型，支持的類型有vxfs, bind, ext2, ext3, nfs等
6、 IP
控制在接口上配置虛擬（浮動）IP及其子網掩碼。IP資源依賴于NIC資源。
功能 備注
Online 在NIC上配置IP地址，并檢查是否有其它系統也在使用該IP地址
Offline 卸載Address屬性指定的IP地址
Monitor 監控接口并測試其上IP地址的狀態
Clean 卸載指定接口上的IP地址
關鍵屬性 備注
Address 浮動IP地址，如10.0.0.1
Device 浮動IP所在的網卡，如eth1，bond0
NetMask 浮動IP的子網掩碼，如255.255.255.128
Options ifconfig命令參數，如broadcast 10.10.10.255。代理使用ifconfig命令將IP地址配置到接口上，Options是執行命令時的參數
7、 NIC
監控配置的網卡。當網絡連接中斷或網卡故障時，網卡被標識為FAULTED。
功能 備注
Monitor 監控配置的網卡（Network Interface Card）。如果NIC自行維護連接狀態，代理使用MII確定資源狀態；否則，代理向NetworkHosts屬性列表中的所有主機發送ping包，并在ping測試成功時標識NIC資源狀態online；當NetworkHosts屬性列表為空或ping測試失敗時，代理通過判斷NIC收到的報文數有增長是標識NIC資源狀態online
關鍵屬性 備注
Device 要監控的網卡
8、 NFS
控制并監控NFS文件系統所需的nfsd、mountd、statd、lockd守護進程（daemon）。
功能 備注
Online 啟動守護進程
Offline 終止守護進程
Monitor 監控守護進程
Clean 終止守護進程
9、 Share
為遠端系統掛接的NFS文件系統設置、取消本地資源的共享，并監控本地資源。Share資源依賴于NFS資源。
功能 備注
Online 為指定的客戶端導出/共享（Export/Share）一個目錄
Offline 取消導出目錄的共享
Monitor 監控導出目錄的共享
關鍵屬性 備注
PathName 共享目錄的路徑
Client 指定的客戶端地址，“*”表示不限制
10、 Application
Application是最常用的代理，其作用是啟動并監控應用資源。Application資源的依賴關于隨系統上下文而不同，一般包括IP、Mount等資源。
功能 備注
Online 在特定的用戶上下文環境中使用指定的參數運行StartProgram
Offline 在特定的用戶上下文環境中使用指定的參數運行StopProgram
Monitor 在指定MonitorProgram的情況下，代理在特定的用戶上下文環境中運行MonitorProgram。從而監控應用
100表示offline
101-110表示online（可信度不同）
110表示100%可信的online狀態
Clean 終止PidFiles或MonitorProcesses中指定的進程。如果定義了CleanProgram，代理執行CleanProgram
關鍵屬性 備注
StartProgram 啟動應用資源的可執行文件（包括腳本）
StopProgram 終止應用資源的可執行文件
CleanProgram 強行終止應用資源的可執行文件
MonitorProgram 監控應用資源的可執行文件（MonitorProgram、PidFiles、MonitorProcesses中至少選擇一個）
MonitorProcesses 需監控和強行終止（Clean）的應用資源的進程名列表
PidFiles 需監控和強行終止的應用資源的進程ID列表
User 執行StartProgram、StopProgram、MonitorProgram、CleanProgram的用戶
3.2 Oracle資源
1、 Oracle
啟動并監控Oracle進程。
功能 備注
Online 調用svrmgrl或sqlplus命令啟動Oralce數據庫：startup pfile=$PFile force
Offline 使用指定參數調用svrmgrl或sqlplus命令終止Oralce數據庫：shutdown immediate
Monitor 監控Oracle狀態。Oracle代理提供了兩級監控模式：
1、基礎監控時，代理通過檢測關鍵進程判斷Oracle是否在運行（具體方法在操作系統進程表中查找ora_dbw、ora_smon、ora_pmon、ora_lgwr進程）；
2、詳細監控時，代理在測試表中執行事務以確定Oracle功能正常
Clean 調用svrmgrl或sqlplus命令強制終止Oralce數據庫：shutdown abort。
如果shutdown命令不起作用，代理從進程表中獲取和配置實例關聯的進程并將其kill掉
關鍵屬性 備注
Sid 代表數據庫實例的$ORACLE_SID變量
Owner /etc/passwd中定義的數據庫表和文件的所有者
Home Oracle二進制文件和配置文件的路徑，即$ORACLE_HOME
DetailMonitor 詳細監控的檢測周期。缺省為0，即不激活詳細監控
MonScript 詳細監控的腳本及其路徑
User 連接數據庫進行詳細監控的數據庫用戶
Pword 上述數據庫用戶經加密后的密碼
Table 使用User/Pword進行更新（update）操作的表名
2、 Netlsnr
控制并監控Oracle監聽器進程（Listener Process），監聽器進程負責監聽客戶端的連接請求并將其轉交給數據庫服務器進程。
功能 備注
Online 使用lsnrctl start $LISTENER命令啟動監聽器進程
Offline 使用lsnrctl stop $LISTENER命令終止監聽器進程
Monitor 監控監聽器進程狀態。Netlsnr代理提供了兩級監控模式：
1、基礎監控時，代理通過檢測tnslsnr進程判斷監聽器進程是否在運行；
2、詳細監控時，代理使用lsnrctl status $LISTENER命令檢測監聽器狀態
Clean 從進程表中查找tnslsnr $Listener進程并將其kill掉
關鍵屬性 備注
Owner /etc/passwd中定義的數據庫表和文件的所有者
Home Oracle二進制文件和配置文件的路徑，即$ORACLE_HOME（環境變量）
TnsAdmin 監聽器配置文件(listener.ora)的路徑，即$TNS_ADMIN，缺省值為/var/opt/oracle
Listener 監聽器名稱，缺省值為LISTENER
MonScript 詳細監控的腳本及其路徑。當本屬性為空或非法時，不激活詳細監控
3、 Sqlnet
VCS3.5版本使用Sqlnet代理監控Oracle監聽器資源，其功能和配置與Netlsnr基本相同。
3.3 DB2資源
1、 Db2udb
啟動并監控DB2 UDB進程。
功能 備注
Online 使用db2start或db2gcf命令啟動DB2實例
Offline 使用db2stop或db2gcf命令終止DB2實例
Monitor 監控DB2實例狀態。Db2udb代理提供了兩級監控模式：
1、淺層監控時，代理通過執行db2nps或db2gcf命令監控DB2 UDB實例；
2、深度監控時，代理執行查詢語句檢測DB2實例的狀態
Clean 使用db2nkill或db2gcf命令終止DB2實例
關鍵屬性 備注
DB2InstOwner 啟動DB2 UDB實例（instance）的實例所有者（Owner）的用戶ID，如db2inst1
DB2InstHome 保存DB2實例配置文件的DB2 UDB主目錄，如/home/db2inst1
IndepthMonitor 設置為1表示激活深度監控，缺省值為0
DatabaseName 進行深度監控的DB2數據庫名稱，如mdpdb
4 VCS安裝/補丁
4.1 安裝準備
1、 配置網卡IP，并測試IP是否可用；
2、 配置主機名，并將對方主機的IP和名字加入到/etc/hosts；
3、 設置SSH，建立雙機信任關系。
# ssh-keygen -t dsa
# cd /root/.ssh
# cp id_dsa.pub authorized_keys
# scp -r /root/.ssh root@host2: /root/.ssh
4.2 VCS安裝
下面VCS的關鍵安裝步驟，部分接受默認選項的步驟沒有羅列出來。另外，不同版本的VCS，其安裝流程可能有少部分不同。
1． 以root用戶登錄，插入安裝光盤并mount
#mount /media/cdrom
2． 進入安裝目錄，執行安裝命令
#cd /media/cdrom/sles9_i586/cluster_server
#./installvcs
3． 確定安裝VCS的系統（節點）
Enter the system names separated by spaces on which to install VCS: DB1 DB2
VCS可以自動在多臺服務器上安裝，在這里輸入所有要安裝VCS的系統（主機）名，并確認系統名已被設置在/etc/hosts中了。
4． 輸入并驗證License
VCS Licensing Verification:
Checking VCS license key on DB1 .................................... not licensed
Enter a VCS license key for DB1: [?] XXX-XXXX-XXXX-XXXX-XXXX-XX
Registering XXX-XXXX-XXXX-XXXX-XXXX-XX on DB1 ........ Done
Do you want to enter another license key for DB 1? [y,n,q,?] (n)
Registering XXX-XXXX-XXXX-XXXX-XXXX-XX on DB2
Checking VCS license key on DB2 .................................... Cluster Server
Do you want to enter another license key for DB 2? [y,n,q,?] (n)
5． 選擇安裝全部組件
installvcs can install the following optional VCS rpms:
VRTSvxfen VERITAS I/O Fencing
VRTSvcsmn VERITAS Cluster Server Man Pages
VRTSvcsApache VERITAS Cluster Server Apache Agent
VRTSvcsdc VERITAS Cluster Server Documentation
VRTScscm VERITAS Cluster Server Cluster Manager
VRTScssim VERITAS Cluster Server Simulator
1) Install all of the optional rpms
2) Install none of the optional rpms
3) View rpm descriptions and select optional rpms
Select the optional rpms to be installed on all systems? [1-3,q,?] (1)
6． 選擇配置VCS
It is optional to configure VCS now. If you choose to configure VCS later, you can either do so manually or run the installvcs -configure command.
Are you ready to configure VCS? [y,n,q] (y)
7． 配置集群的名稱和ID
To configure VCS the following is required:
A unique Cluster name
A unique Cluster ID number between 0-255
Two or more NIC cards per system used for heartbeat links
One or more heartbeat links are configured as private links
One heartbeat link may be configured as a low priority link
All systems are being configured to create one cluster
Enter the unique cluster name: [?] DB_cluster
Enter the unique Cluster ID number between 0-255: [b,?] 1
8． 設置心跳網卡
Discovering NICs on DB1 ...discovered eth0 eth1 eth2 eth3
Enter the NIC for the first private heartbeat NIC on north: [b,?] eth2
Would you like to configure a second private heartbeat link? [y,n,q,b,?] (y)
Enter the NIC for the second private heartbeat NIC on north: [b,?] eth3
Would you like to configure a third private heartbeat link?[y,n,q,b,?] (n)
Do you want to configure an additional low priority heartbeat link? [y,n,q,b,?] (n)
Are you using the same NICs for private heartbeat links on all systems? [y,n,q,b,?] (y)
9． 增加VCS用戶
The following information is required to add VCS users:
A user name
A password for the user
User privileges (Administrator, Operator, or Guest)
Do you want to set the username and/or password for the Admin user (default username = 'admin', password='password')? [y,n,q] (n)
Do you want to add another user to the cluster? [y,n,q] (n)
10． 配置集群管理器
The following information is required to configure Cluster Manager:
A public NIC used by each system in the cluster
A Virtual IP address and netmask for Cluster Manager
Do you want to configure Cluster Manager (Web Console) [y,n,q] (y)
Active NIC devices discovered on DB1: eth0 eth1 eth2 eth3
Enter the NIC for Cluster Manager (Web Console) to use on DB1: [b, ?] (eth0)
Is eth0 to be the public NIC used by all systems [y,n,q,b,?] (y)
Enter the Virtual IP address for Cluster Manager: [b, ?] (10.71.104.144)
Enter the netmask for IP 10.71.104.144: [b, ?] (255.255.255.128)
11． 不配置SMTP及SNMP
The following information is required to configure SMTP notification:
The domain-based hostname of the SMTP server
The email address of each SMTP recipient
A minimum severity level of messages to send to each recipient
Do you want to configure SMTP notification? [y,n,q] (y) n
The following information is required to configure SNMP notification:
System names of SNMP consoles to receive VCS trap messages
SNMP trap daemon port numbers for each console
A minimum severity level of messages to send to each console
Do you want to configure SNMP notification? [y,n,q] (n)
12． 設置全局集群信息
The following is required to configure the Global Cluster Option:
A public NIC used by each system in the cluster
A Virtual IP address and netmask
The Virtual IP address and NIC may be the same as those configured for Cluster Manager (Web Console)
Do you want to configure the Global Cluster Option? [y,n,q] (y)
Enter the Virtual IP address for the Global Cluster Option: [b,?] (10.71.104.144)
13． 選擇非同步安裝模式安裝
VCS can be installed on systems consecutively or simultaneously. Installing rpms on systems consecutively takes more time but allows for better error handling.
Would you like to install Cluster Server on all systems simultaneously? [y,n,q] (y) n
設置上述選項后開始安裝，安裝完后系統自動啟動VCS。
4.3 補丁安裝
安裝完VCS標準版本后，通常還需要安裝VCS補丁，其過程見下。
1． 準備補丁
到Veritas的網站上下載http://seer.support.veritas.com/docs/277561.htm需要安裝的補丁或到yf-ftp上進行下載，并將補丁程序上傳到安裝了VCS服務器上，然后分別執行下述操作。
2． 解壓補丁
#tar xzvf sf_ha.cd.4.1.00.11.RP1_sles9.tar_277561.gz
選擇相應CPU的補丁文件再解壓
#tar xzvf sf_ha.cd1.4.1.00.11.RP1_sles9_i586.tar.gz
3． 安裝補丁
進入sles9_i586/cluster_server/rpms目錄
#cd ./ sles9_i586/cluster_server/rpms
順次執行以下安裝操作
#rpm -Uv VRTSvxfen-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSgab-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSllt-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSvcsdr-4.1.00.11-RP1_SLES9.i586.rpm
進入/etc/rc.d/rc5.d目錄，啟動gab、llt、vcs
#/etc/rc.d/rc5.d/S06llt start
#/etc/rc.d/rc5.d/S07gab start
#/etc/rc.d/rc5.d/S08vcs start
4.4 檢查狀態
待兩臺服務器都打完補丁，等待1分鐘左右，運行lltconfig和gabconfig檢查VCS的狀態。
DB2:/etc/rc.d/rc5.d # lltconfig
LLT is running
DB2:/etc/rc.d/rc5.d # gabconfig -a
GAB Port Memberships
=========================================================
Port a gen eef703 membership 01
Port h gen eef706 membership 01
5 VCS規劃/配置
配置VCS可以通過基于WEB的集群管理控制臺、集群管理器(JAVA控制臺)、命令行、直接修改配置文件(VCS未啟動時)，其配置效果完全一致。下面的介紹以命令行為例。
5.1 規劃
規劃VCS雙機包括設定集群名、主機名、網絡及IP地址、資源組及資源等。業軟主要采用基于磁盤陣列的雙機方案，即應用程序和配置文件安裝在服務器上，數據文件放在共享磁盤陣列中。當發生切換時主機應用先停下來，然后切換，磁盤陣列對于新主機變成可訪問，最后在新主機上啟動應用。
在上述雙機方案中，需要通過浮動IP對外提供服務。雖然原理上加載浮動IP對外提供服務的網卡可以在任何一塊網卡上，但并不推薦采用心跳網卡對外提供服務，而是專門使用一塊網卡對外提供服務。因此VCS雙機中的每臺主機至少需要三塊網卡：其中兩塊做心跳線，一塊對外提供服務。
下述雙機方案中兩臺服務器組成的集群為cluster1，兩個節點分別為srv1和srv2：
srv1
服務類型 網卡編號 Adapter IP Address Mask
心跳網卡 Eth3 192.168.1.5 255.255.255.0
Eth4 192.168.2.5 255.255.255.0
服務網卡 Eth6 10.70.100.197 255.255.255.128
srv2
服務類型 網卡編號 Adapter IP Address Mask
心跳網卡 Eth3 192.168.1.7 255.255.255.0
Eth4 192.168.2.7 255.255.255.0
服務網卡 Eth6 10.70.100.195 255.255.255.128
按照上面的規劃，雙機系統邏輯結構如下圖所示。
5.2 配置
請在集群中的一個節點上以root用戶執行以下操作。
5.2.1 添加資源組
首先將配置設為R/W模式，然后創建資源組，指定資源組的系統列表（資源組僅在系統列表中的系統上線，相當于將系統加入集群，只不過是以資源組為單位的），并指定資源組的自動啟動列表（資源組僅自動啟動列表中的系統啟動，相當于確定業務資源組的系統），最后將資源組配置寫入磁盤。
#haconf -makerw
#hagrp -add infoxgrp
#hagrp -modify infoxgrp SystemList linux5 0 linux7 1
#hagrp -modify infoxgrp AutoStartList linux5 linux7
#haconf -dump
5.2.2 添加資源
資源包括：Application×2，Mount×3，LVMVolumeGroup，IP。
在資源組infoxgrp中增加Application類型的資源infoxapp，設置其為關鍵資源（故障時重啟或切換），同時設置腳本的運行環境（用戶名），指定資源的啟動/停止/清除/監控腳本（其中，清除腳本用于強行關閉應用，是可選項），然后清空Pid文件列表和監控進程列表（不使用這兩種監控方法），最后設置VCS不監控該資源（暫時）。
#hares -add infoxapp Application infoxgrp
#hares -modify infoxapp Critical 1
#hares -modify infoxapp User root
#hares -modify infoxapp StartProgram /home/infox/shell/app/start.sh
#hares -modify infoxapp StopProgram /home/infox/shell/app/stop.sh
#hares -modify infoxapp CleanProgram /home/infox/shell/app/stop.sh
#hares -modify infoxapp MonitorProgram /home/infox/shell/app/monitor.sh
#hares -modify infoxapp PidFiles -delete -keys
#hares -modify infoxapp MonitorProcesses -delete -keys
#hares -modify infoxapp Enabled 0
在資源組infoxgrp中增加Application類型的資源infoxdb2，其屬性設置類似infoxapp。
#hares -add infoxdb2 Application infoxgrp
#hares -modify infoxdb2 Critical 1
#hares -modify infoxdb2 User root
#hares -modify infoxdb2 StartProgram /home/infox/shell/db2/db2start.sh
#hares -modify infoxdb2 StopProgram /home/infox/shell/db2/db2stop.sh
#hares -modify infoxdb2 CleanProgram /home/infox/shell/db2/db2stop.sh
#hares -modify infoxdb2 MonitorProgram /home/infox/shell/db2/db2monitor.sh
#hares -modify infoxdb2 PidFiles -delete -keys
#hares -modify infoxdb2 MonitorProcesses -delete -keys
#hares -modify infoxdb2 Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxsharemt，設置其為關鍵資源，配置VxFS屬性（SnapUmount/CkptUmount缺省值），設置掛接點（路徑）及對應的塊設備，文件系統類型，當掛接過程失敗時執行fsck命令的參數，最后設置VCS不監控該資源。
#hares -add infoxsharemt Mount infoxgrp
#hares -modify infoxsharemt Critical 1
#hares -modify infoxsharemt SnapUmount 0
#hares -modify infoxsharemt CkptUmount 1
#hares -modify infoxsharemt MountPoint /infoxshare
#hares -modify infoxsharemt BlockDevice /dev/mapper/datavg1-lvinfox
#hares -modify infoxsharemt FSType ext2
#hares -modify infoxsharemt FsckOpt %-n
#hares -modify infoxsharemt Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxbackkmt，其屬性設置類似infoxsharemt。
#hares -add infoxbackkmt Mount infoxgrp
#hares -modify infoxbackkmt Critical 1
#hares -modify infoxbackkmt SnapUmount 0
#hares -modify infoxbackkmt CkptUmount 1
#hares -modify infoxbackkmt MountPoint /back
#hares -modify infoxbackkmt BlockDevice /dev/mapper/datavg1-lvback
#hares -modify infoxbackkmt FSType ext2
#hares -modify infoxbackkmt FsckOpt %-n
#hares -modify infoxbackkmt Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxdbmt，其屬性設置類似infoxsharemt。
#hares -add infoxdbmt Mount infoxgrp
#hares -modify infoxdbmt Critical 1
#hares -modify infoxdbmt SnapUmount 0
#hares -modify infoxdbmt CkptUmount 1
#hares -modify infoxdbmt MountPoint /home/db2data
#hares -modify infoxdbmt BlockDevice /dev/mapper/dbvg1-db2lv1
#hares -modify infoxdbmt FSType ext2
#hares -modify infoxdbmt FsckOpt %-n
#hares -modify infoxdbmt Enabled 0
在資源組infoxgrp中增加LVMVolumeGroup類型的資源infoxvg，設置其為關鍵資源，設置卷組上線腳本在卷組import后啟動其中所有的卷，確定卷組名，最后設置VCS不監控該資源。
#hares -add infoxvg LVMVolumeGroup infoxgrp
#hares -modify infoxvg Critical 1
#hares -modify infoxvg StartVolumes 1
#hares -modify infoxvg VolumeGroup datavg1
#hares -modify infoxvg Enabled 0
在資源組infoxgrp中增加IP類型的資源infoxserviceip，設置其為關鍵資源，確定其所屬網卡、IP地址、掩碼，最后設置VCS不監控該資源。
#hares -add infoxserviceip IP infoxgrp
#hares -modify infoxserviceip Critical 1
#hares -modify infoxserviceip Device eth6
#hares -modify infoxserviceip Address 10.70.100.196
#hares -modify infoxserviceip NetMask 255.255.255.0
#hares -modify infoxserviceip Enabled 0
將配置寫入磁盤。
#haconf -dump
5.2.3 設定資源依賴關系
設置資源間的依賴關系，從而確定啟動/終止是資源上/下線的順序。具體的講，父資源在子資源上線后上線，在子資源下線前下線。
#hares -link infoxapp infoxserviceip
#hares -link infoxapp infoxvg
#hares -link infoxapp infoxsharemt
#hares -link infoxapp infoxbackkmt
#hares -link infoxapp infoxdb2
#hares -link infoxdb2 infoxserviceip
#hares -link infoxdb2 infoxvg
#hares -link infoxdb2 infoxdbmt
#hares -link infoxsharemt infoxserviceip
#hares -link infoxsharemt infoxvg
#hares -link infoxbackkmt infoxserviceip
#hares -link infoxbackkmt infoxvg
#hares -link infoxdbmt infoxserviceip
#hares -link infoxdbmt infoxvg
#hares -link infoxvg infoxserviceip
將資源組中的資源設置為被監控狀態。然后將配置寫入磁盤。
#hagrp -enableresources infoxgrp
#haconf -dump
5.2.4 調整資源類型與屬性
（根據資源類型）設置資源的監控時間間隔（單位：秒）。缺省值60。
#hatype -modify Application MonitorInterval 60
#hatype -modify LVMVolumeGroup MonitorInterval 20
設置下線資源的監控時間間隔（單位：秒）。缺省值300；設置為0時表示不監控。
#hatype -modify Application OfflineMonitorInterval 0
#hatype -modify IP OfflineMonitorInterval 0
#hatype -modify LVMVolumeGroup OfflineMonitorInterval 0
#hatype -modify Mount OfflineMonitorInterval 0
設置LVM VolumeGroup類型資源上線的超時時間間隔（單位：秒）。缺省值60。
#hatype -modify LVMVolumeGroup OnlineTimeout 60
設置資源上線等待間隔最大值（單位：個）。即上線過程執行完后，VCS等待資源“真正”上線的“監控時間間隔”最大值。缺省值2。
#hatype -modify Application OnlineWaitLimit 30
#hatype -modify IP OnlineWaitLimit 30
#haconf -dump
5.3 配置檢驗
配置雙機系統后，要進行以下檢驗。
5.3.1 雙機啟動
檢驗雙機啟動的步驟如下：
步驟1 初始化雙機環境，以root 用戶登錄linux5，執行以下命令。
#hastart
#hagrp -offline infoxgrp -sys linux5
#hagrp -offline infoxgrp -sys linux7
步驟2 啟動雙機，執行以下命令。
#hagrp -online infoxgrp -sys linux5
步驟3 查詢雙機狀態，執行下面命令。
#hastatus
步驟4 查看心跳線狀態，執行下面命令。
#lltstat -n
#gabconfig -a
#hastatus -summary
正常情況如下，主機linux5和備機linux7均為RUNNING狀態，資源組infoxgrp在一個節點上ONLINE，在另一節點上OFFLINE。
-- SYSTEM STATE
-- System State Frozen
A linux5 RUNNING 0
A linux7 RUNNING 0
-- GROUP STATE
-- Group System Probed AutoDisabled State
B infoxgrp linux5 Y N ONLINE
B infoxgrp linux7 Y N OFFLINE
5.3.2 雙機切換
檢驗雙機切換是否正常，執行以下命令。
#hagrp -switch infoXGRP -to linux7
#hastatus -summary
正常情況下，資源組切換到另一節點ONLINE。
-- SYSTEM STATE
-- System State Frozen
A linux5 RUNNING 0
A linux7 RUNNING 0
-- GROUP STATE
-- Group System Probed AutoDisabled State
B infoXGRP linux5 Y N OFFLINE
B infoXGRP linux7 Y N ONLINE
1 VCS簡介 7
2 概念/原理 8
2.1 集群 8
2.2 資源和資源類型 9
2.3 資源組 9
2.4 資源依賴關系 9
2.5 代理 10
3 VCS資源/代理介紹 10
3.1 普通資源 10
3.2 Oracle資源 14
3.3 DB2資源 15
4 VCS安裝/補丁 16
4.1 安裝準備 16
4.2 VCS安裝 16
4.3 補丁安裝 18
4.4 檢查狀態 18
5 VCS規劃/配置 19
5.1 規劃 19
5.2 配置 20
5.2.1 添加資源組 20
5.2.2 添加資源 20
5.2.3 設定資源依賴關系 22
5.2.4 調整資源類型與屬性 22
5.3 配置檢驗 23
5.3.1 雙機啟動 23
5.3.2 雙機切換 24
5.3.3 系統退出 24
5.3.4 應用停止 24
5.3.5 單個心跳網絡故障 24
6 VCS管理/維護 25
6.1 啟動VCS雙機 25
6.2 停止VCS雙機 25
6.3 狀態查詢 25
6.4 基本管理操作 27
7 VCS方案比較 27
7.1 SMS GW 27
7.2 PortalOne 28
7.2.1 DB2 29
7.2.2 PortalOne 29
7.3 MDSP 30
7.3.1 ORACLE 30
7.3.2 DB2 30
7.4 TopEng SLTS 31
7.5 GFEP 32
7.6 PISA 32
7.6.1 Service Server 32
7.6.2 MC Server 33
7.6.3 DBMS Server 34
7.6.4 Media Server 35
8 附錄 36
8.1 集群分裂 36
8.2 業務流程 36
8.2.1 集群啟動 36
8.2.2 資源上線 37
8.2.3 資源下線 37
8.2.4 資源組上線 37
8.2.5 資源組下線 38
8.2.6 資源故障 38
8.2.7 節點故障 39
8.2.8 網絡連接故障 39
8.2.9 資源組手工切換 39
8.2.10 資源組故障切換 39
8.3 配置文件 40
8.3.1 main.cf 40
8.3.2 types.cf 40
8.4 VCS日志 41
8.5 故障處理 42
8.5.1 VCS啟動 42
8.5.2 資源組 42
8.5.3 資源 43
8.6 VCS故障實例 44
8.6.1 切換后故障不自動恢復 44
8.6.2 集群進入ADMIN_WAIT狀態 45
8.6.3 集群進入STALE_ADMIN_WAIT狀態 45
Veritas VCS雙機方案白皮書
關鍵詞：VCS、雙機、故障切換
摘 要： 本文介紹了VCS集群軟件的雙機安裝、設計、配置、典型故障等內容，并比較業軟不同產品的方案。
術語清單
術語 中文名稱 解釋
Cluster 群集 高可用性的計算機系統
System 節點 服務器
Resource 資源 監控對象
Service Group 資源組 切換的最小單位
1 VCS簡介
VCS（VERITAS Cluster Server）是由VERITAS公司提供的集群管理軟件。VCS提供了一個集群系統解決方案，應用于部署業務雙機系統，可監控系統和應用服務，并方便的實現主備機快速切換，從而解決單點故障問題。當發生故障時，VCS在主機上停止應用、卸載磁盤、釋放浮動IP，在備機上綁定浮動IP、掛載磁盤、啟動應用。每臺服務器最少要配置三塊網卡，其中一塊網卡加載浮動IP對外提供業務，另外兩塊是VCS的心跳網卡。
VCS使用集群通信查詢資源組和資源的狀態，以及集群狀態變化的事件，如節點加入、節點退出、節點故障。下圖是VCS集群通訊的總體架構，其中心跳線之間的通信由模塊LLT和GAB實現。HAD進程是VCS的核心進程，hashadow監控HAD進程的運行，如果HAD進程異常中止，hashadow會將HAD進程進行重啟動。而對應用的監控在Agents中實現。在集群中Agents監控資源的狀態并和HAD交互資源狀態，然后本地HAD通過GAB和LLT與集群中的其它節點交互信息。
? HAD (High-Availability Daemon)
HAD是運行于每個系統的高可用進程，HAD被看作是“VCS的發動機”。它從本機接收各種Agents的信息，然后把這些信息轉發到其它系統。它也能從其它系統接受消息來跟新本地系統狀態。HAD被同樣運行在每個系統的hashadow所監控。
? GAB (Group Membership Services/Atomic Broadcast)
GAB用于監控集群成員的數量、探測集群狀態和分發信息到集群中各系統（節點）。VCS的集群成員是指通過心跳線連接在一起的擁有相同的群組ID的系統。當一個系統加入群組以后，GAB就會發出一條“加入群組”的消息。群組成員關系則是通過周期性心跳來維護，當一個系統在心跳超時時間內沒有接收到心跳，就認為對端已經故障或從群組中脫離。
? LLT (Low Latency Transport)
LLT用來實現集群中系統之間的通信，它用來發送、接收心跳消息，從而監測群中的節點是否“健康”。LLT提供了一個快速、內核到內核的通信并且監測網絡的連接狀態，其相當于其它系統中的IP協議棧。
2 概念/原理
2.1 集群
VCS集群是由許多（一般為兩個）連接在一起的節點（即服務器/小型機）組成。集群中的節點擁有相同的集群ID，它們通過冗余的私有網絡連接在一起，周期性傳遞心跳、信號。
2.2 資源和資源類型
資源（Resource）是提供業務的硬件或軟件實體，如：網卡、IP、數據庫等。VCS通過唯一的名字來識別每一個資源。同一資源類型的資源擁有相似的特征，例如兩個IP資源都是通過IP類型定義的。VCS資源啟動、停止、檢測的方法依資源類型的不同而不同，如IP資源的啟動就是把IP地址分配給網卡，IP資源的監測就是檢測IP地址是否綁定在網卡上。
2.3 資源組
VCS的資源組（Service Group）是運行在集群上的一組相關資源的集合，其中包含了一些相互關聯的資源。例如，一個Web應用的資源組可能包含下面的資源：
◆ 卷組
◆ 卷
◆ 文件系統
◆ 數據庫
◆ 網卡
◆ 浮動IP
◆ 應用程序
資源組是業務切換的基本單位，VCS資源的啟動、停止、監測、重啟等操作都以資源組為單位。例如，當資源組被拉起來以后，資源組中的所有資源都會被拉起來。在一個集群中可以定義多個資源組。
2.4 資源依賴關系
單個資源在運行時可能要依賴其它類型的資源，如IP地址資源依賴于網卡資源，因此在資源上線時要保證一定的先后順序。VCS中設計了資源的依賴關系，即資源間的父/子關系，子資源在父資源之前上線，在父資源之后下線。這樣當一個資源組上、下線時，資源組中的所有的資源就會根據資源之間的依賴關系依次上、下線。下面是資源組依賴關系的示例：
在上圖中，上層的（父）資源要依賴于下層的（子）資源，例如Volume資源依賴Disk Group資源，而Mount資源依賴Volume資源。
2.5 代理
代理（Agent）是控制一種特定類型資源的程序，VCS通過代理來管理各類資源，每一類資源對應一種代理。代理在資源和VCS之間扮演了一種“媒介”的作用，即在資源和VCS之間傳遞信息。例如，VCS要拉起Oracle資源，但VCS不需要認識Oracle資源，它只要把上線命令傳遞給Oracle的代理，Oracle的代理就會執行Oracle的啟動命令。
VCS對資源的管理非常靈活，如果在資源組中沒有添加某資源，則說明VCS不會通過代理該資源進行直接的控制和監控。此時VCS仍可在其它資源的代理中調用腳本來間接的控制該資源，并通過監控整個應用的狀態來間接的監控該資源。
3 VCS資源/代理介紹
本章介紹一些常見的VCS代理，更詳細的描述請參考《VCS Agents Reference Guide》。
3.1 普通資源
1、 DiskReservation
為節點保留（reserve）并監控SCSI磁盤，磁盤被某節點保留后其它節點無法訪問或更改，從而避免數據損壞。DiskRerservation支持指定多個裸磁盤設備，支持保留整個磁盤或保留一定比例的磁盤空間。
功能 備注
Online 保留指定的磁盤
Offline 釋放保留的磁盤
Monitor 監控保留磁盤的狀態
關鍵屬性 備注
Disks 需要保留的裸磁盤設備列表，如{"/dev/sdb","/dev/sdc","/dev/sdd","/dev/sde"}。注意：列表中的設備順序在不同系統中必須相同。
Percentage 保留磁盤空間的百分比，范圍51～100，缺省為100。
2、 DiskGroup
控制并監控VxVM（Veritas Volume Manager）磁盤組，因此該代理使用VxVM命令。DiskGroup資源依賴于DiskReservation資源。為了保證數據的一致性，當有數據寫入磁盤組中的卷時，DiskGroup代理禁止切換。
功能 備注
Online 使用vxdg命令加載（import）磁盤組
Offline 使用vxdg命令卸載（export）磁盤組
Monitor 使用vxdg命令監控磁盤組狀態
關鍵屬性 備注
DiskGroup 通過VxVM配置的磁盤組，如oradg
StartVolumes 設置為1時，加載磁盤組后online腳本啟動所有邏輯卷。缺省為1
StopVolumes 設置為1時，卸載磁盤組前offline腳本停止所有邏輯卷。缺省為1
3、 Volume
控制并監控VxVM卷，Volume資源依賴于DiskGroup資源。
功能 備注
Online 使用vxrecover命令啟動卷
Offline 使用vxvol命令停止卷
Monitor 通過裸設備接口讀塊（block），從而監控卷狀態
關鍵屬性 備注
DiskGroup 卷所在的磁盤組
Volume 通過VxVM配置的卷
4、 LVMVolumeGroup
控制并監控LVM2（Logical Volume Manager）卷組，因此該代理使用LVM2命令。LVMVolumeGroup資源依賴于DiskReservation資源。
功能 備注
Online 使用vgimport命令加載卷組
Offline 使用vxexport命令卸載卷組
Monitor 使用vxdisplay命令監控卷組狀態
關鍵屬性 備注
VolumeGroup 通過LVM2配置的卷組，如datavg1
StartVolumes 設置為1時，加載卷組后online腳本啟動所有邏輯卷。缺省為0
5、 Mount
控制并監控文件系統或NFS的客戶掛接點。
功能 備注
Online 將塊設備掛載到目錄上
Offline 卸載（unmount）塊設備
Monitor 監控文件系統是否已掛載
Clean 強制卸載塊設備
關鍵屬性 備注
BlockDevice 需要掛載的塊設備，如/dev/vx/dsk/db2dg/lv_db2
如果設備是LVM2卷，則格式為：/dev/mapper/volume-group-logical-volume，如/dev/mapper/datavg1-lvinfox
如果文件系統類型是NFS，則格式為：server:/path/to/share，如vcslnx1.veritas.com:/usr/share1
FsckOpt fsck命令參數，如-y %-n。當非NFS掛載處理失敗時，代理使用此參數運行fsck命令并嘗試重新掛載
MountPoint 掛接點目錄，如/infoxshare
FSType 文件系統類型，支持的類型有vxfs, bind, ext2, ext3, nfs等
6、 IP
控制在接口上配置虛擬（浮動）IP及其子網掩碼。IP資源依賴于NIC資源。
功能 備注
Online 在NIC上配置IP地址，并檢查是否有其它系統也在使用該IP地址
Offline 卸載Address屬性指定的IP地址
Monitor 監控接口并測試其上IP地址的狀態
Clean 卸載指定接口上的IP地址
關鍵屬性 備注
Address 浮動IP地址，如10.0.0.1
Device 浮動IP所在的網卡，如eth1，bond0
NetMask 浮動IP的子網掩碼，如255.255.255.128
Options ifconfig命令參數，如broadcast 10.10.10.255。代理使用ifconfig命令將IP地址配置到接口上，Options是執行命令時的參數
7、 NIC
監控配置的網卡。當網絡連接中斷或網卡故障時，網卡被標識為FAULTED。
功能 備注
Monitor 監控配置的網卡（Network Interface Card）。如果NIC自行維護連接狀態，代理使用MII確定資源狀態；否則，代理向NetworkHosts屬性列表中的所有主機發送ping包，并在ping測試成功時標識NIC資源狀態online；當NetworkHosts屬性列表為空或ping測試失敗時，代理通過判斷NIC收到的報文數有增長是標識NIC資源狀態online
關鍵屬性 備注
Device 要監控的網卡
8、 NFS
控制并監控NFS文件系統所需的nfsd、mountd、statd、lockd守護進程（daemon）。
功能 備注
Online 啟動守護進程
Offline 終止守護進程
Monitor 監控守護進程
Clean 終止守護進程
9、 Share
為遠端系統掛接的NFS文件系統設置、取消本地資源的共享，并監控本地資源。Share資源依賴于NFS資源。
功能 備注
Online 為指定的客戶端導出/共享（Export/Share）一個目錄
Offline 取消導出目錄的共享
Monitor 監控導出目錄的共享
關鍵屬性 備注
PathName 共享目錄的路徑
Client 指定的客戶端地址，“*”表示不限制
10、 Application
Application是最常用的代理，其作用是啟動并監控應用資源。Application資源的依賴關于隨系統上下文而不同，一般包括IP、Mount等資源。
功能 備注
Online 在特定的用戶上下文環境中使用指定的參數運行StartProgram
Offline 在特定的用戶上下文環境中使用指定的參數運行StopProgram
Monitor 在指定MonitorProgram的情況下，代理在特定的用戶上下文環境中運行MonitorProgram。從而監控應用
100表示offline
101-110表示online（可信度不同）
110表示100%可信的online狀態
Clean 終止PidFiles或MonitorProcesses中指定的進程。如果定義了CleanProgram，代理執行CleanProgram
關鍵屬性 備注
StartProgram 啟動應用資源的可執行文件（包括腳本）
StopProgram 終止應用資源的可執行文件
CleanProgram 強行終止應用資源的可執行文件
MonitorProgram 監控應用資源的可執行文件（MonitorProgram、PidFiles、MonitorProcesses中至少選擇一個）
MonitorProcesses 需監控和強行終止（Clean）的應用資源的進程名列表
PidFiles 需監控和強行終止的應用資源的進程ID列表
User 執行StartProgram、StopProgram、MonitorProgram、CleanProgram的用戶
3.2 Oracle資源
1、 Oracle
啟動并監控Oracle進程。
功能 備注
Online 調用svrmgrl或sqlplus命令啟動Oralce數據庫：startup pfile=$PFile force
Offline 使用指定參數調用svrmgrl或sqlplus命令終止Oralce數據庫：shutdown immediate
Monitor 監控Oracle狀態。Oracle代理提供了兩級監控模式：
1、基礎監控時，代理通過檢測關鍵進程判斷Oracle是否在運行（具體方法在操作系統進程表中查找ora_dbw、ora_smon、ora_pmon、ora_lgwr進程）；
2、詳細監控時，代理在測試表中執行事務以確定Oracle功能正常
Clean 調用svrmgrl或sqlplus命令強制終止Oralce數據庫：shutdown abort。
如果shutdown命令不起作用，代理從進程表中獲取和配置實例關聯的進程并將其kill掉
關鍵屬性 備注
Sid 代表數據庫實例的$ORACLE_SID變量
Owner /etc/passwd中定義的數據庫表和文件的所有者
Home Oracle二進制文件和配置文件的路徑，即$ORACLE_HOME
DetailMonitor 詳細監控的檢測周期。缺省為0，即不激活詳細監控
MonScript 詳細監控的腳本及其路徑
User 連接數據庫進行詳細監控的數據庫用戶
Pword 上述數據庫用戶經加密后的密碼
Table 使用User/Pword進行更新（update）操作的表名
2、 Netlsnr
控制并監控Oracle監聽器進程（Listener Process），監聽器進程負責監聽客戶端的連接請求并將其轉交給數據庫服務器進程。
功能 備注
Online 使用lsnrctl start $LISTENER命令啟動監聽器進程
Offline 使用lsnrctl stop $LISTENER命令終止監聽器進程
Monitor 監控監聽器進程狀態。Netlsnr代理提供了兩級監控模式：
1、基礎監控時，代理通過檢測tnslsnr進程判斷監聽器進程是否在運行；
2、詳細監控時，代理使用lsnrctl status $LISTENER命令檢測監聽器狀態
Clean 從進程表中查找tnslsnr $Listener進程并將其kill掉
關鍵屬性 備注
Owner /etc/passwd中定義的數據庫表和文件的所有者
Home Oracle二進制文件和配置文件的路徑，即$ORACLE_HOME（環境變量）
TnsAdmin 監聽器配置文件(listener.ora)的路徑，即$TNS_ADMIN，缺省值為/var/opt/oracle
Listener 監聽器名稱，缺省值為LISTENER
MonScript 詳細監控的腳本及其路徑。當本屬性為空或非法時，不激活詳細監控
3、 Sqlnet
VCS3.5版本使用Sqlnet代理監控Oracle監聽器資源，其功能和配置與Netlsnr基本相同。
3.3 DB2資源
1、 Db2udb
啟動并監控DB2 UDB進程。
功能 備注
Online 使用db2start或db2gcf命令啟動DB2實例
Offline 使用db2stop或db2gcf命令終止DB2實例
Monitor 監控DB2實例狀態。Db2udb代理提供了兩級監控模式：
1、淺層監控時，代理通過執行db2nps或db2gcf命令監控DB2 UDB實例；
2、深度監控時，代理執行查詢語句檢測DB2實例的狀態
Clean 使用db2nkill或db2gcf命令終止DB2實例
關鍵屬性 備注
DB2InstOwner 啟動DB2 UDB實例（instance）的實例所有者（Owner）的用戶ID，如db2inst1
DB2InstHome 保存DB2實例配置文件的DB2 UDB主目錄，如/home/db2inst1
IndepthMonitor 設置為1表示激活深度監控，缺省值為0
DatabaseName 進行深度監控的DB2數據庫名稱，如mdpdb
4 VCS安裝/補丁
4.1 安裝準備
1、 配置網卡IP，并測試IP是否可用；
2、 配置主機名，并將對方主機的IP和名字加入到/etc/hosts；
3、 設置SSH，建立雙機信任關系。
# ssh-keygen -t dsa
# cd /root/.ssh
# cp id_dsa.pub authorized_keys
# scp -r /root/.ssh root@host2: /root/.ssh
4.2 VCS安裝
下面VCS的關鍵安裝步驟，部分接受默認選項的步驟沒有羅列出來。另外，不同版本的VCS，其安裝流程可能有少部分不同。
1． 以root用戶登錄，插入安裝光盤并mount
#mount /media/cdrom
2． 進入安裝目錄，執行安裝命令
#cd /media/cdrom/sles9_i586/cluster_server
#./installvcs
3． 確定安裝VCS的系統（節點）
Enter the system names separated by spaces on which to install VCS: DB1 DB2
VCS可以自動在多臺服務器上安裝，在這里輸入所有要安裝VCS的系統（主機）名，并確認系統名已被設置在/etc/hosts中了。
4． 輸入并驗證License
VCS Licensing Verification:
Checking VCS license key on DB1 .................................... not licensed
Enter a VCS license key for DB1: [?] XXX-XXXX-XXXX-XXXX-XXXX-XX
Registering XXX-XXXX-XXXX-XXXX-XXXX-XX on DB1 ........ Done
Do you want to enter another license key for DB 1? [y,n,q,?] (n)
Registering XXX-XXXX-XXXX-XXXX-XXXX-XX on DB2
Checking VCS license key on DB2 .................................... Cluster Server
Do you want to enter another license key for DB 2? [y,n,q,?] (n)
5． 選擇安裝全部組件
installvcs can install the following optional VCS rpms:
VRTSvxfen VERITAS I/O Fencing
VRTSvcsmn VERITAS Cluster Server Man Pages
VRTSvcsApache VERITAS Cluster Server Apache Agent
VRTSvcsdc VERITAS Cluster Server Documentation
VRTScscm VERITAS Cluster Server Cluster Manager
VRTScssim VERITAS Cluster Server Simulator
1) Install all of the optional rpms
2) Install none of the optional rpms
3) View rpm descriptions and select optional rpms
Select the optional rpms to be installed on all systems? [1-3,q,?] (1)
6． 選擇配置VCS
It is optional to configure VCS now. If you choose to configure VCS later, you can either do so manually or run the installvcs -configure command.
Are you ready to configure VCS? [y,n,q] (y)
7． 配置集群的名稱和ID
To configure VCS the following is required:
A unique Cluster name
A unique Cluster ID number between 0-255
Two or more NIC cards per system used for heartbeat links
One or more heartbeat links are configured as private links
One heartbeat link may be configured as a low priority link
All systems are being configured to create one cluster
Enter the unique cluster name: [?] DB_cluster
Enter the unique Cluster ID number between 0-255: [b,?] 1
8． 設置心跳網卡
Discovering NICs on DB1 ...discovered eth0 eth1 eth2 eth3
Enter the NIC for the first private heartbeat NIC on north: [b,?] eth2
Would you like to configure a second private heartbeat link? [y,n,q,b,?] (y)
Enter the NIC for the second private heartbeat NIC on north: [b,?] eth3
Would you like to configure a third private heartbeat link?[y,n,q,b,?] (n)
Do you want to configure an additional low priority heartbeat link? [y,n,q,b,?] (n)
Are you using the same NICs for private heartbeat links on all systems? [y,n,q,b,?] (y)
9． 增加VCS用戶
The following information is required to add VCS users:
A user name
A password for the user
User privileges (Administrator, Operator, or Guest)
Do you want to set the username and/or password for the Admin user (default username = 'admin', password='password')? [y,n,q] (n)
Do you want to add another user to the cluster? [y,n,q] (n)
10． 配置集群管理器
The following information is required to configure Cluster Manager:
A public NIC used by each system in the cluster
A Virtual IP address and netmask for Cluster Manager
Do you want to configure Cluster Manager (Web Console) [y,n,q] (y)
Active NIC devices discovered on DB1: eth0 eth1 eth2 eth3
Enter the NIC for Cluster Manager (Web Console) to use on DB1: [b, ?] (eth0)
Is eth0 to be the public NIC used by all systems [y,n,q,b,?] (y)
Enter the Virtual IP address for Cluster Manager: [b, ?] (10.71.104.144)
Enter the netmask for IP 10.71.104.144: [b, ?] (255.255.255.128)
11． 不配置SMTP及SNMP
The following information is required to configure SMTP notification:
The domain-based hostname of the SMTP server
The email address of each SMTP recipient
A minimum severity level of messages to send to each recipient
Do you want to configure SMTP notification? [y,n,q] (y) n
The following information is required to configure SNMP notification:
System names of SNMP consoles to receive VCS trap messages
SNMP trap daemon port numbers for each console
A minimum severity level of messages to send to each console
Do you want to configure SNMP notification? [y,n,q] (n)
12． 設置全局集群信息
The following is required to configure the Global Cluster Option:
A public NIC used by each system in the cluster
A Virtual IP address and netmask
The Virtual IP address and NIC may be the same as those configured for Cluster Manager (Web Console)
Do you want to configure the Global Cluster Option? [y,n,q] (y)
Enter the Virtual IP address for the Global Cluster Option: [b,?] (10.71.104.144)
13． 選擇非同步安裝模式安裝
VCS can be installed on systems consecutively or simultaneously. Installing rpms on systems consecutively takes more time but allows for better error handling.
Would you like to install Cluster Server on all systems simultaneously? [y,n,q] (y) n
設置上述選項后開始安裝，安裝完后系統自動啟動VCS。
4.3 補丁安裝
安裝完VCS標準版本后，通常還需要安裝VCS補丁，其過程見下。
1． 準備補丁
到Veritas的網站上下載http://seer.support.veritas.com/docs/277561.htm需要安裝的補丁或到yf-ftp上進行下載，并將補丁程序上傳到安裝了VCS服務器上，然后分別執行下述操作。
2． 解壓補丁
#tar xzvf sf_ha.cd.4.1.00.11.RP1_sles9.tar_277561.gz
選擇相應CPU的補丁文件再解壓
#tar xzvf sf_ha.cd1.4.1.00.11.RP1_sles9_i586.tar.gz
3． 安裝補丁
進入sles9_i586/cluster_server/rpms目錄
#cd ./ sles9_i586/cluster_server/rpms
順次執行以下安裝操作
#rpm -Uv VRTSvxfen-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSgab-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSllt-4.1.00.11-RP1_SLES9.i586.rpm
#rpm -Uv VRTSvcsdr-4.1.00.11-RP1_SLES9.i586.rpm
進入/etc/rc.d/rc5.d目錄，啟動gab、llt、vcs
#/etc/rc.d/rc5.d/S06llt start
#/etc/rc.d/rc5.d/S07gab start
#/etc/rc.d/rc5.d/S08vcs start
4.4 檢查狀態
待兩臺服務器都打完補丁，等待1分鐘左右，運行lltconfig和gabconfig檢查VCS的狀態。
DB2:/etc/rc.d/rc5.d # lltconfig
LLT is running
DB2:/etc/rc.d/rc5.d # gabconfig -a
GAB Port Memberships
=========================================================
Port a gen eef703 membership 01
Port h gen eef706 membership 01
5 VCS規劃/配置
配置VCS可以通過基于WEB的集群管理控制臺、集群管理器(JAVA控制臺)、命令行、直接修改配置文件(VCS未啟動時)，其配置效果完全一致。下面的介紹以命令行為例。
5.1 規劃
規劃VCS雙機包括設定集群名、主機名、網絡及IP地址、資源組及資源等。業軟主要采用基于磁盤陣列的雙機方案，即應用程序和配置文件安裝在服務器上，數據文件放在共享磁盤陣列中。當發生切換時主機應用先停下來，然后切換，磁盤陣列對于新主機變成可訪問，最后在新主機上啟動應用。
在上述雙機方案中，需要通過浮動IP對外提供服務。雖然原理上加載浮動IP對外提供服務的網卡可以在任何一塊網卡上，但并不推薦采用心跳網卡對外提供服務，而是專門使用一塊網卡對外提供服務。因此VCS雙機中的每臺主機至少需要三塊網卡：其中兩塊做心跳線，一塊對外提供服務。
下述雙機方案中兩臺服務器組成的集群為cluster1，兩個節點分別為srv1和srv2：
srv1
服務類型 網卡編號 Adapter IP Address Mask
心跳網卡 Eth3 192.168.1.5 255.255.255.0
Eth4 192.168.2.5 255.255.255.0
服務網卡 Eth6 10.70.100.197 255.255.255.128
srv2
服務類型 網卡編號 Adapter IP Address Mask
心跳網卡 Eth3 192.168.1.7 255.255.255.0
Eth4 192.168.2.7 255.255.255.0
服務網卡 Eth6 10.70.100.195 255.255.255.128
按照上面的規劃，雙機系統邏輯結構如下圖所示。
5.2 配置
請在集群中的一個節點上以root用戶執行以下操作。
5.2.1 添加資源組
首先將配置設為R/W模式，然后創建資源組，指定資源組的系統列表（資源組僅在系統列表中的系統上線，相當于將系統加入集群，只不過是以資源組為單位的），并指定資源組的自動啟動列表（資源組僅自動啟動列表中的系統啟動，相當于確定業務資源組的系統），最后將資源組配置寫入磁盤。
#haconf -makerw
#hagrp -add infoxgrp
#hagrp -modify infoxgrp SystemList linux5 0 linux7 1
#hagrp -modify infoxgrp AutoStartList linux5 linux7
#haconf -dump
5.2.2 添加資源
資源包括：Application×2，Mount×3，LVMVolumeGroup，IP。
在資源組infoxgrp中增加Application類型的資源infoxapp，設置其為關鍵資源（故障時重啟或切換），同時設置腳本的運行環境（用戶名），指定資源的啟動/停止/清除/監控腳本（其中，清除腳本用于強行關閉應用，是可選項），然后清空Pid文件列表和監控進程列表（不使用這兩種監控方法），最后設置VCS不監控該資源（暫時）。
#hares -add infoxapp Application infoxgrp
#hares -modify infoxapp Critical 1
#hares -modify infoxapp User root
#hares -modify infoxapp StartProgram /home/infox/shell/app/start.sh
#hares -modify infoxapp StopProgram /home/infox/shell/app/stop.sh
#hares -modify infoxapp CleanProgram /home/infox/shell/app/stop.sh
#hares -modify infoxapp MonitorProgram /home/infox/shell/app/monitor.sh
#hares -modify infoxapp PidFiles -delete -keys
#hares -modify infoxapp MonitorProcesses -delete -keys
#hares -modify infoxapp Enabled 0
在資源組infoxgrp中增加Application類型的資源infoxdb2，其屬性設置類似infoxapp。
#hares -add infoxdb2 Application infoxgrp
#hares -modify infoxdb2 Critical 1
#hares -modify infoxdb2 User root
#hares -modify infoxdb2 StartProgram /home/infox/shell/db2/db2start.sh
#hares -modify infoxdb2 StopProgram /home/infox/shell/db2/db2stop.sh
#hares -modify infoxdb2 CleanProgram /home/infox/shell/db2/db2stop.sh
#hares -modify infoxdb2 MonitorProgram /home/infox/shell/db2/db2monitor.sh
#hares -modify infoxdb2 PidFiles -delete -keys
#hares -modify infoxdb2 MonitorProcesses -delete -keys
#hares -modify infoxdb2 Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxsharemt，設置其為關鍵資源，配置VxFS屬性（SnapUmount/CkptUmount缺省值），設置掛接點（路徑）及對應的塊設備，文件系統類型，當掛接過程失敗時執行fsck命令的參數，最后設置VCS不監控該資源。
#hares -add infoxsharemt Mount infoxgrp
#hares -modify infoxsharemt Critical 1
#hares -modify infoxsharemt SnapUmount 0
#hares -modify infoxsharemt CkptUmount 1
#hares -modify infoxsharemt MountPoint /infoxshare
#hares -modify infoxsharemt BlockDevice /dev/mapper/datavg1-lvinfox
#hares -modify infoxsharemt FSType ext2
#hares -modify infoxsharemt FsckOpt %-n
#hares -modify infoxsharemt Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxbackkmt，其屬性設置類似infoxsharemt。
#hares -add infoxbackkmt Mount infoxgrp
#hares -modify infoxbackkmt Critical 1
#hares -modify infoxbackkmt SnapUmount 0
#hares -modify infoxbackkmt CkptUmount 1
#hares -modify infoxbackkmt MountPoint /back
#hares -modify infoxbackkmt BlockDevice /dev/mapper/datavg1-lvback
#hares -modify infoxbackkmt FSType ext2
#hares -modify infoxbackkmt FsckOpt %-n
#hares -modify infoxbackkmt Enabled 0
在資源組infoxgrp中增加Mount類型的資源infoxdbmt，其屬性設置類似infoxsharemt。
#hares -add infoxdbmt Mount infoxgrp
#hares -modify infoxdbmt Critical 1
#hares -modify infoxdbmt SnapUmount 0
#hares -modify infoxdbmt CkptUmount 1
#hares -modify infoxdbmt MountPoint /home/db2data
#hares -modify infoxdbmt BlockDevice /dev/mapper/dbvg1-db2lv1
#hares -modify infoxdbmt FSType ext2
#hares -modify infoxdbmt FsckOpt %-n
#hares -modify infoxdbmt Enabled 0
在資源組infoxgrp中增加LVMVolumeGroup類型的資源infoxvg，設置其為關鍵資源，設置卷組上線腳本在卷組import后啟動其中所有的卷，確定卷組名，最后設置VCS不監控該資源。
#hares -add infoxvg LVMVolumeGroup infoxgrp
#hares -modify infoxvg Critical 1
#hares -modify infoxvg StartVolumes 1
#hares -modify infoxvg VolumeGroup datavg1
#hares -modify infoxvg Enabled 0
在資源組infoxgrp中增加IP類型的資源infoxserviceip，設置其為關鍵資源，確定其所屬網卡、IP地址、掩碼，最后設置VCS不監控該資源。
#hares -add infoxserviceip IP infoxgrp
#hares -modify infoxserviceip Critical 1
#hares -modify infoxserviceip Device eth6
#hares -modify infoxserviceip Address 10.70.100.196
#hares -modify infoxserviceip NetMask 255.255.255.0
#hares -modify infoxserviceip Enabled 0
將配置寫入磁盤。
#haconf -dump
5.2.3 設定資源依賴關系
設置資源間的依賴關系，從而確定啟動/終止是資源上/下線的順序。具體的講，父資源在子資源上線后上線，在子資源下線前下線。
#hares -link infoxapp infoxserviceip
#hares -link infoxapp infoxvg
#hares -link infoxapp infoxsharemt
#hares -link infoxapp infoxbackkmt
#hares -link infoxapp infoxdb2
#hares -link infoxdb2 infoxserviceip
#hares -link infoxdb2 infoxvg
#hares -link infoxdb2 infoxdbmt
#hares -link infoxsharemt infoxserviceip
#hares -link infoxsharemt infoxvg
#hares -link infoxbackkmt infoxserviceip
#hares -link infoxbackkmt infoxvg
#hares -link infoxdbmt infoxserviceip
#hares -link infoxdbmt infoxvg
#hares -link infoxvg infoxserviceip
將資源組中的資源設置為被監控狀態。然后將配置寫入磁盤。
#hagrp -enableresources infoxgrp
#haconf -dump
5.2.4 調整資源類型與屬性
（根據資源類型）設置資源的監控時間間隔（單位：秒）。缺省值60。
#hatype -modify Application MonitorInterval 60
#hatype -modify LVMVolumeGroup MonitorInterval 20
設置下線資源的監控時間間隔（單位：秒）。缺省值300；設置為0時表示不監控。
#hatype -modify Application OfflineMonitorInterval 0
#hatype -modify IP OfflineMonitorInterval 0
#hatype -modify LVMVolumeGroup OfflineMonitorInterval 0
#hatype -modify Mount OfflineMonitorInterval 0
設置LVM VolumeGroup類型資源上線的超時時間間隔（單位：秒）。缺省值60。
#hatype -modify LVMVolumeGroup OnlineTimeout 60
設置資源上線等待間隔最大值（單位：個）。即上線過程執行完后，VCS等待資源“真正”上線的“監控時間間隔”最大值。缺省值2。
#hatype -modify Application OnlineWaitLimit 30
#hatype -modify IP OnlineWaitLimit 30
#haconf -dump
5.3 配置檢驗
配置雙機系統后，要進行以下檢驗。
5.3.1 雙機啟動
檢驗雙機啟動的步驟如下：
步驟1 初始化雙機環境，以root 用戶登錄linux5，執行以下命令。
#hastart
#hagrp -offline infoxgrp -sys linux5
#hagrp -offline infoxgrp -sys linux7
步驟2 啟動雙機，執行以下命令。
#hagrp -online infoxgrp -sys linux5
步驟3 查詢雙機狀態，執行下面命令。
#hastatus
步驟4 查看心跳線狀態，執行下面命令。
#lltstat -n
#gabconfig -a
#hastatus -summary
正常情況如下，主機linux5和備機linux7均為RUNNING狀態，資源組infoxgrp在一個節點上ONLINE，在另一節點上OFFLINE。
-- SYSTEM STATE
-- System State Frozen
A linux5 RUNNING 0
A linux7 RUNNING 0
-- GROUP STATE
-- Group System Probed AutoDisabled State
B infoxgrp linux5 Y N ONLINE
B infoxgrp linux7 Y N OFFLINE
5.3.2 雙機切換
檢驗雙機切換是否正常，執行以下命令。
#hagrp -switch infoXGRP -to linux7
#hastatus -summary
正常情況下，資源組切換到另一節點ONLINE。
-- SYSTEM STATE
-- System State Frozen
A linux5 RUNNING 0
A linux7 RUNNING 0
-- GROUP STATE
-- Group System Probed AutoDisabled State
B infoXGRP linux5 Y N OFFLINE
B infoXGRP linux7 Y N ONLINE
總結
- 上一篇： 特殊功能寄存器
- 下一篇： s3c2440移植MQTT