環境：3臺虛擬機 RHEL 7.3 + Oracle RAC 11.2.0.4
問題現象：RAC運行正常，ASM磁盤組Normal冗余，有failgroup整體故障，有failgroup配置錯誤。
溫馨提示：本文并不是市場上任何一款商業的一體機產品，只是我為了學習這類分布式存儲架構自己模擬的實驗環境，為了區分我暫時稱之為xData吧^_^。

• 1.問題現象確認
• 2.重新加入CELL01的盤
• 3.修改failgroup的配置

1.問題現象確認

SQL> select group_number, name, total_mb, free_mb, USABLE_FILE_MB, offline_disks, state, type from v$asm_diskgroup;GROUP_NUMBER NAME TOTAL_MB FREE_MB USABLE_FILE_MB OFFLINE_DISKS STATE TYPE ------------ ------------------------------ ---------- ---------- -------------- ------------- ---------------------- ----------1 CRS 2000 1170 585 0 MOUNTED NORMAL2 DATA 40960 35652 7586 0 MOUNTED NORMALSQL> select group_number, disk_number, name, path, failgroup, mode_status, voting_file from v$asm_disk order by 1, 2;GROUP_NUMBER DISK_NUMBER NAME PATH FAILGROUP MODE_STATUS VO ------------ ----------- ------------------------------ ----------------------- -------------------- -------------- --0 0 /dev/CELL01-data2 ONLINE N0 1 /dev/CELL01-data1 ONLINE N0 2 /dev/CELL01-crs1 ONLINE Y1 1 CRS_0001 /dev/CELL02-crs2 CRS_0001 ONLINE Y1 2 CRS_0002 /dev/CELL03-crs3 CRS_0002 ONLINE Y2 0 DATA_0000 /dev/CELL03-data1 DATA_0000 ONLINE N2 1 DATA_0001 /dev/CELL03-data2 DATA_0001 ONLINE N2 2 DATA_0002 /dev/CELL02-data1 CELL02 ONLINE N2 3 DATA_0003 /dev/CELL02-data2 CELL02 ONLINE N9 rows selected.

可以看到不但CELL01節點的所有盤被刪除，而且CELL03節點的數據盤，failgroup目前也配置不正確！

2.重新加入CELL01的盤

由于時間超過默認的3.6h，offline的盤已經被刪除，只有重新加入CELL01的盤才可以。

alter diskgroup CRS add disk '/dev/CELL01-crs1'; alter diskgroup DATA ADD FAILGROUP CELL01 disk '/dev/CELL01-data1', '/dev/CELL01-data2' rebalance power 5;

直接這樣加盤很可能會遇到下面這類錯誤，因為這些盤之前是被使用過的：

SQL> alter diskgroup CRS add disk '/dev/CELL01-crs1'; alter diskgroup CRS add disk '/dev/CELL01-crs1' * ERROR at line 1: ORA-15032: not all alterations performed ORA-15033: disk '/dev/CELL01-crs1' belongs to diskgroup "CRS"

這個問題可以通過dd盤頭，也可以加盤嘗試加force參數來解決，我這里選擇dd盤頭的方式：

[root@db01 ~]# dd if=/dev/zero of=/dev/CELL01-crs1 bs=8k count=1000 1000+0 records in 1000+0 records out 8192000 bytes (8.2 MB) copied, 0.0691801 s, 118 MB/s

dd盤頭之后再次嘗試添加就可以順利完成：

SQL> alter diskgroup CRS add disk '/dev/CELL01-crs1';Diskgroup altered.

同樣的，將CELL01的數據盤也重新加入到DATA磁盤組中，failgroup名稱為CELL01:

SQL> alter diskgroup DATA ADD FAILGROUP CELL01 disk '/dev/CELL01-data1', '/dev/CELL01-data2' rebalance power 5;Diskgroup altered.

通過v$asm_operation視圖可以查看磁盤重新平衡的進度，直到下面的查詢不再返回結果說明重平衡完成：

SQL> select * from v$asm_operation;GROUP_NUMBER OPERATION STATE POWER ACTUAL SOFAR EST_WORK EST_RATE EST_MINUTES ERROR_CODE ------------ ---------- -------- ---------- ---------- ---------- ---------- ---------- ----------- --------------------2 REBAL RUN 5 5 366 529 348 0 SQL> select * from v$asm_operation;no rows selected

3.修改failgroup的配置

CELL03的數據盤，failgroup目前配置還不正確。

SQL> alter diskgroup DATA drop disk DATA_0000, DATA_0001;Diskgroup altered.

查詢v$asm_operation視圖可以查看磁盤重新平衡的進度，完成后再重新加回磁盤組，指定確切的failgroup(CELL03)：

SQL> alter diskgroup DATA ADD FAILGROUP CELL03 disk '/dev/CELL03-data1', '/dev/CELL03-data2' rebalance power 5;Diskgroup altered.

再次關注重平衡進度，最后查詢一切正常，結果如下：

SQL> col path for a50 SQL> select group_number, disk_number, name, path, failgroup, mode_status, voting_file from v$asm_disk order by 1, 2;GROUP_NUMBER DISK_NUMBER NAME PATH FAILGROUP MODE_STATUS VO ------------ ----------- ------------------------------ ----------------------- -------------------- -------------- --1 0 CRS_0000 /dev/CELL01-crs1 CRS_0000 ONLINE Y1 1 CRS_0001 /dev/CELL02-crs2 CRS_0001 ONLINE Y1 2 CRS_0002 /dev/CELL03-crs3 CRS_0002 ONLINE Y2 0 DATA_0000 /dev/CELL03-data1 CELL03 ONLINE N2 1 DATA_0001 /dev/CELL03-data2 CELL03 ONLINE N2 2 DATA_0002 /dev/CELL02-data1 CELL02 ONLINE N2 3 DATA_0003 /dev/CELL02-data2 CELL02 ONLINE N2 4 DATA_0004 /dev/CELL01-data1 CELL01 ONLINE N2 5 DATA_0005 /dev/CELL01-data2 CELL01 ONLINE N9 rows selected.SQL> select group_number, name, total_mb, free_mb, USABLE_FILE_MB, offline_disks, state, type from v$asm_diskgroup;GROUP_NUMBER NAME TOTAL_MB FREE_MB USABLE_FILE_MB OFFLINE_DISKS STATE TYPE ------------ ------------------------------ ---------- ---------- -------------- ------------- ---------------------- ----------1 CRS 3000 2033 516 0 MOUNTED NORMAL2 DATA 61440 56012 17766 0 MOUNTED NORMAL

說明：一般我會將磁盤組的兼容性參數設置為11.2，如有特殊需求，還可以設置disk_repair_time（默認3.6h）。

SQL> col COMPATIBILITY for a30 SQL> col DATABASE_COMPATIBILITY for a30 SQL> select NAME, COMPATIBILITY, DATABASE_COMPATIBILITY from v$asm_diskgroup;NAME COMPATIBILITY DATABASE_COMPATIBILITY ------------------------------ ------------------------------ ------------------------------ CRS 11.2.0.0.0 11.2.0.0.0 DATA 11.2.0.0.0 11.2.0.0.0--設置DATA磁盤組disk_repair_time(可理解為磁盤離線刪除的時間)屬性為4.5h SQL> ALTER DISKGROUP data SET ATTRIBUTE 'disk_repair_time' = '4.5h'; Diskgroup altered. 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的测试一体机ASM failgroup的相关问题处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。