日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Oracle 10g RAC 维护工具完全详解

發布時間:2024/1/8 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Oracle 10g RAC 维护工具完全详解 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
節點層:olsnodes
網絡層:oifcfg
集群層:crsctl、ocrcheck、ocrdump、ocrconfig
應用層:srvctl、onsctl、crs_stat


一、olsnodes 的使用
[root@rac22 ~]# olsnodes -h
Usage: olsnodes [-n] [-p] [-i] [<node> | -l] [-g] [-v]
? ? ? ? where
? ? ? ? ? ? ? ? -n print node number with the node name
? ? ? ? ? ? ? ? -p print private interconnect name with the node name
? ? ? ? ? ? ? ? -i print virtual IP name with the node name
? ? ? ? ? ? ? ? <node> print information for the specified node
? ? ? ? ? ? ? ? -l print information for the local node?
? ? ? ? ? ? ? ? -g turn on logging?
? ? ? ? ? ? ? ? -v run in verbose mode?
-----------顯示每個節點的node id
[root@rac22 ~]# olsnodes -n?
rac11 ? 1
rac22 ? 2
[root@rac22 ~]# olsnodes -n rac22
rac22 ? 2


------------顯示節點用于 private interconnect 的網卡名稱及節點信息
[root@rac22 ~]# olsnodes -p
rac11 ? priv11
rac22 ? priv22
[root@rac22 ~]# olsnodes -p -n rac22
rac22 ? 2 ? ? ? priv22


------------顯示節點的 VIP
[root@rac22 ~]# olsnodes -n -p -i
rac11 ? 1 ? ? ? priv11 ?vip11
rac22 ? 2 ? ? ? priv22 ?vip22
[root@rac22 ~]# olsnodes -p -i -n rac22
rac22 ? 2 ? ? ? priv22 ?vip22


------------顯示詳細的node信息
[root@rac22 ~]# olsnodes -v
prlslms: Initializing LXL global
prlsndmain: Initializing CLSS context
prlsmemberlist: No of cluster members configured = 256
prlsmemberlist: Getting information for nodenum = 1
prlsmemberlist: node_name = rac11
prlsmemberlist: ctx->lsdata->node_num = 1
prls_printdata: Printing the node data
rac11
prlsmemberlist: Getting information for nodenum = 2
prlsmemberlist: node_name = rac22
prlsmemberlist: ctx->lsdata->node_num = 2
prls_printdata: Printing the node data
rac22
prlsndmain: olsnodes executed successfully
prlsndterm: Terminating LSF


二、oifcfg 命令的使用
[root@rac22 ~]# oifcfg


Name:
? ? ? ? oifcfg - Oracle Interface Configuration Tool.


Usage: ?oifcfg iflist [-p [-n]]
? ? ? ? oifcfg setif {-node <nodename> | -global} {<if_name>/<subnet>:<if_type>}...
? ? ? ? oifcfg getif [-node <nodename> | -global] [ -if <if_name>[/<subnet>] [-type <if_type>] ]
? ? ? ? oifcfg delif [-node <nodename> | -global] [<if_name>[/<subnet>]]
? ? ? ? oifcfg [-help]


? ? ? ? <nodename> - name of the host, as known to a communications network
? ? ? ? <if_name> ?- name by which the interface is configured in the system
? ? ? ? <subnet> ? - subnet address of the interface
? ? ? ? <if_type> ?- type of the interface { cluster_interconnect | public | storage }
--------iflist 顯示網口列表
[root@rac22 ~]# oifcfg iflist
eth0 ?192.168.10.0
eth1 ?10.10.10.0


[root@rac22 ~]# oifcfg iflist -p -n
eth0 ?192.168.10.0 ?PRIVATE ?255.255.255.0
eth1 ?10.10.10.0 ?PRIVATE ?255.255.255.0


--------gettif 可以獲得單個網口的信息
[root@rac22 ~]# oifcfg getif
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
------ -node 查詢節點特定的信息,僅當節點有區別于global的配置時才會有結果顯示
[root@rac22 ~]# oifcfg getif -node rac11
[root@rac22 ~]# oifcfg getif -node rac22
------ -global 查詢節點的 global 類型設置
[root@rac22 ~]# oifcfg getif -global rac22
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
[root@rac22 ~]# oifcfg getif -global rac11
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
[root@rac22 ~]# oifcfg getif -global
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
------ -type ?查看public 類型的網卡配置
[root@rac22 ~]# oifcfg getif -type public
eth0 ?192.168.10.0 ?global ?public
------ -type ?查看public 類型的網卡配置
[root@rac22 ~]# oifcfg getif -type cluster_interconnect
eth1 ?10.10.10.0 ?global ?cluster_interconnect


--------setif 配置單個網口
------ 通過 setif 添加向集群新的網卡
usage:oifcfg setif {-node <nodename> | -global} {<if_name>/<subnet>:<if_type>}...
其中 -global/node 必須指定
[root@rac22 ~]# oifcfg setif -global eth2/10.10.11.11:public
[root@rac22 ~]# oifcfg setif -node rac22 eth3/10.10.11.12:public
[root@rac22 ~]# oifcfg getif -global?
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
eth2 ?10.10.11.11 ?global ?public
[root@rac22 ~]# oifcfg getif -node rac22
eth3 ?10.10.11.12 ?rac22 ?public


注意這里的添加網卡命令并不會校驗網卡是否真的存在,即使是沒有這兩個網卡,也是可以添加成功的,但是setif命令已經修改了相應的配置文件
并生效。


--------delif 刪除網口
------ 使用delif 刪除剛剛添加的不存在網卡
[root@rac22 ~]# oifcfg delif -global
[root@rac22 ~]# oifcfg delif -node rac22
上面的兩個命令會刪除所有的網卡設置不推薦使用,通常我們會特指相應的網卡進行刪除
[root@rac22 ~]# oifcfg delif -global eth2/10.10.11.11
[root@rac22 ~]# oifcfg delif -node rac22 /eth3/10.10.11.12




網絡故障及解決辦法:RAC 環境無法識別心跳網絡的故障
新裝 RAC 環境,數據庫啟動日志中發現:No cluster interconnect
首先查看初始化參數 cluster_interconnects 是否設置
SQL> show parameter cluster


NAME ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? TYPE ? ? ? ?VALUE
------------------------------------ ----------- ------------------------------
cluster_database ? ? ? ? ? ? ? ? ? ? boolean ? ? TRUE
cluster_database_instances ? ? ? ? ? integer ? ? 2
cluster_interconnects ? ? ? ? ? ? ? ?string


然后查看如下視圖:
SQL> col host_name for a20
SQL> select INSTANCE_NUMBER,INSTANCE_NAME,HOST_NAME,NAME_KSXPIA network_interface,IP_KSXPIA private_ip from x$ksxpia cross join v$instance where PUB_KSXPIA= 'N';


INSTANCE_NUMBER INSTANCE_NAME ? ?HOST_NAME ? ? ? ? ? ?NETWORK_INTERFA PRIVATE_IP
--------------- ---------------- -------------------- --------------- ----------------
? ? ? ? ? ? ? 2 PROD2 ? ? ? ? ? ?rac22 ? ? ? ? ? ? ? ?eth1 ? ? ? ? ? ?10.10.10.22
注意,這里是正常情況下查詢結果,如果是故障情況下,此查詢將無結果。


在用 oifcfg iflist -p -v
[oracle@rac22 ~]$ oifcfg ?iflist -p -n
eth0 ?192.168.10.0 ?PRIVATE ?255.255.255.0
eth1 ?10.10.10.0 ?PRIVATE ?255.255.255.0


如果上面的命令和連接查詢均查不到結果,則表示,cluster在安裝配置過程中,未將 cluster_interconnect 信息注冊到 OCR 中,要解決此問題
我們并不需要重新安裝和配置集群環境,只需使用 oifcfg 命令稍作配置即可
我們需要先停止數據庫
[root@rac11 ~]# srvctl stop database -d prod
然后使用 oifcfg setif 命令添加一個 cluster_interconnect 網卡(必須存在)即可
[root@rac11 ~]# oifcfg setif -global eth1/10.10.10.11:cluster_interconnect
然后查看添加結果:
[root@rac11 ~]# oifcfg getif -global
eth0 ?192.168.10.0 ?global ?public
eth1 ?10.10.10.0 ?global ?cluster_interconnect
最后重啟節點上的所有 CRS 資源(或服務),然后再重啟數據庫。
[root@rac11 ~]# crsctl stop crs


---------------- crsctl 命令的用法
集群層的命令包括 crsctl\ocrcheck\ocrdump\ocrconfig ,其中后三個都是針對 OCR 磁盤操作的命令
crsctl 可以用來查看 CRS 進程棧,每個CRS進程的狀態,管理 voting disk,跟蹤 CRS 進程等功能。
可以不帶任何參數查詢其用法:
[root@rac11 ~]# crsctl
Usage: crsctl check ?crs ? ? ? ? ?- checks the viability of the CRS stack
? ? ? ?crsctl check ?cssd ? ? ? ? - checks the viability of CSS
? ? ? ?crsctl check ?crsd ? ? ? ? - checks the viability of CRS
? ? ? ?crsctl check ?evmd ? ? ? ? - checks the viability of EVM
? ? ? ?crsctl set ? ?css <parameter> <value> - sets a parameter override
? ? ? ?crsctl get ? ?css <parameter> - gets the value of a CSS parameter
? ? ? ?crsctl unset ?css <parameter> - sets CSS parameter to its default
? ? ? ?crsctl query ?css votedisk ? ?- lists the voting disks used by CSS
? ? ? ?crsctl add ? ?css votedisk <path> - adds a new voting disk
? ? ? ?crsctl delete css votedisk <path> - removes a voting disk
? ? ? ?crsctl enable ?crs ? ?- enables startup for all CRS daemons
? ? ? ?crsctl disable crs ? ?- disables startup for all CRS daemons
? ? ? ?crsctl start crs ?- starts all CRS daemons.
? ? ? ?crsctl stop ?crs ?- stops all CRS daemons. Stops CRS resources in case of cluster.
? ? ? ?crsctl start resources ?- starts CRS resources.?
? ? ? ?crsctl stop resources ?- stops ?CRS resources.?
? ? ? ?crsctl debug statedump evm ?- dumps state info for evm objects
? ? ? ?crsctl debug statedump crs ?- dumps state info for crs objects
? ? ? ?crsctl debug statedump css ?- dumps state info for css objects
? ? ? ?crsctl debug log css [module:level]{,module:level} ...?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?- Turns on debugging for CSS?
? ? ? ?crsctl debug trace css - dumps CSS in-memory tracing cache
? ? ? ?crsctl debug log crs [module:level]{,module:level} ...?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?- Turns on debugging for CRS?
? ? ? ?crsctl debug trace crs - dumps CRS in-memory tracing cache
? ? ? ?crsctl debug log evm [module:level]{,module:level} ...?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?- Turns on debugging for EVM
? ? ? ?crsctl debug trace evm - dumps EVM in-memory tracing cache
? ? ? ?crsctl debug log res <resname:level> turns on debugging for resources
? ? ? ?crsctl query crs softwareversion [<nodename>] - lists the version of CRS software installed
? ? ? ?crsctl query crs activeversion - lists the CRS software operating version
? ? ? ?crsctl lsmodules css - lists the CSS modules that can be used for debugging
? ? ? ?crsctl lsmodules crs - lists the CRS modules that can be used for debugging
? ? ? ?crsctl lsmodules evm - lists the EVM modules that can be used for debugging


?If necesary any of these commands can be run with additional tracing by
?adding a "trace" argument at the very front.
?Example: crsctl trace check css
?
------ 查看整個 CRS 棧狀態
?[root@rac11 ~]# crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy


------ 查看 CRS 棧中各個組件(cssd\crsd\evmd)的狀態
[root@rac11 ~]# crsctl check cssd
CSS appears healthy
[root@rac11 ~]# crsctl check crsd
CRS appears healthy
[root@rac11 ~]# crsctl check evmd
EVM appears healthy


------ 設置 CRS 棧是否自動啟動
? ? ? ?crsctl enable ?crs ? ?- enables startup for all CRS daemons
? ? ? ?crsctl disable crs ? ?- disables startup for all CRS daemons
? ? ? ?有時出于維護需要,可能要關閉 CRS 棧自動啟動
[root@rac11 ~]# crsctl disable crs
[root@rac11 ~]# crsctl enable crs


------ 啟動和停止 CRS 棧
在 Oracle 10.1 中必須重啟 clusterware,在 Oracle 10.2 以后的版本中可以通過如下命令進行啟動和關閉 CRS 棧的操作:
[root@rac11 ~]# crsctl stop crs
Stopping resources.
Successfully stopped CRS resources?
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued
------ 執行上述命令后的結果
[oracle@rac22 ~]$ crs_stat -t -v
Name ? ? ? ? ? Type ? ? ? ? ? R/RA ? F/FT ? Target ? ?State ? ? Host ? ? ? ?
----------------------------------------------------------------------
ora....D1.inst application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora....D2.inst application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora.PROD.db ? ?application ? ?0/1 ? ?0/1 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora....SM1.asm application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora....11.lsnr application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora.rac11.gsd ?application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora.rac11.ons ?application ? ?0/3 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora.rac11.vip ?application ? ?0/0 ? ?0/0 ? ?ONLINE ? ?OFFLINE ? ? ? ? ? ? ??
ora....SM2.asm application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora....22.lsnr application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora.rac22.gsd ?application ? ?0/5 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora.rac22.ons ?application ? ?0/3 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22 ? ? ??
ora.rac22.vip ?application ? ?0/0 ? ?0/0 ? ?ONLINE ? ?ONLINE ? ?rac22
注意在一個node上執行,只會停止該節點上的 CRS?
[root@rac11 ~]# crsctl start crs
Attempting to start CRS stack?
The CRS stack will be started shortly
------經crs_stat -t -v 觀察啟動過程會很慢,暫不清楚其具體過程


------ 查看 votedisk 磁盤的位置
[oracle@rac22 ~]$ crsctl query css votedisk
?0. ? ? 0 ? ?/dev/raw/raw2


located 1 votedisk(s).


------ 查看和修改 CRS 參數
使用 get 命令查看參數
[oracle@rac22 ~]$ crsctl get css misscount
60
使用 set 命令修改參數(慎用,必須以 root 用戶執行)
[root@rac11 ~]# crsctl set css misscount 100
Configuration parameter misscount is now set to 100.
[root@rac11 ~]# crsctl set css misscount 60
Configuration parameter misscount is now set to 60.


CRS 由 CRS\CSS\EVM 3 個服務組成,每個服務又由一系列的 module 組成, 可以使用 crsctl對每個module進行跟蹤,并把跟蹤內容記錄到日志中。
[root@rac11 ~]# crsctl lsmodules css
The following are the CSS modules ::?
? ? CSSD
? ? COMMCRS
? ? COMMNS
[root@rac11 ~]# crsctl lsmodules evm
The following are the EVM modules ::?
? ?EVMD
? ?EVMDMAIN
? ?EVMCOMM
? ?EVMEVT
? ?EVMAPP
? ?EVMAGENT
? ?CRSOCR
? ?CLUCLS
? ?CSSCLNT
? ?COMMCRS
? ?COMMNS
[root@rac11 ~]# crsctl lsmodules crs
The following are the CRS modules ::?
? ? CRSUI
? ? CRSCOMM
? ? CRSRTI
? ? CRSMAIN
? ? CRSPLACE
? ? CRSAPP
? ? CRSRES
? ? CRSCOMM
? ? CRSOCR
? ? CRSTIMER
? ? CRSEVT
? ? CRSD
? ? CLUCLS
? ? CSSCLNT
? ? COMMCRS
? ? COMMNS


以下以跟蹤 CSSD 模塊為例講述如何操作(必須以root用戶執行):
[root@rac11 ~]# crsctl debug log css "CSSD:1"
Configuration parameter trace is now set to 1.
Set CRSD Debug Module: CSSD ?Level: 1
查看跟蹤產生的日志信息:
[root@rac11 ~]# tail -f /u01/crs10.2.0/log/rac11/cssd/ocssd.log?
[ ? ?CSSD]2012-07-16 10:45:06.480 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb6728e50) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:45:57.613 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb67269c0) proc(0xb6727af8) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:46:58.567 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb67087c0) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:47:59.701 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb6708848) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:49:01.148 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb6708848) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:50:02.570 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb6708848) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:51:03.946 [100371360] >TRACE: ? clssgmClientConnectMsg: Connect from con(0xb6707fb8) proc(0xb6708848) pid() proto(10:2:1:1)
[ ? ?CSSD]2012-07-16 10:51:19.703 [40508320] >TRACE: ? clssscSetDebugLevel: The logging level is set to 1 ,the cache level is set to


------- 維護 votedisk
圖形化界面安裝 clusterware 過程中,配置 votedisk 時,如果選擇 external redundancy 策略,則只能選一個 votedisk
其實,即使選擇了該選項也可以使用crsctl 命令添加多塊 votedisk 盤,這些 votedisk 盤可以互為鏡像。
votedisk 采用多數可用算法,如果存在多個 votedisk ,則必須有一半以上的 votedisk 可用時集群才能正常工作。
例如,如果一個cluster配置了4個 votedisk ,當其中有一個votedisk 損壞時,集群能夠正常工作,但是當其中有兩個 votedisk 損壞時,
集群就無法工作了,會立即宕機。
votedisk 的添加原則:奇數個,操作前必須先停止數據庫、ASM、CRS Stack ,操作時必須加上 -force 參數。


------- 添加 votedisk 示例:
1、創建共享磁盤:
在Windows主機上進入Oracle Virtual Box 的安裝路徑:
VBoxManage createhd --filename G:\share2\share2.vdi --size 4000 --format VDI --variant Fixed
在G:\Shared2目錄下創建共享磁盤,大小為4g
將剛剛創建的共享磁盤添加到node1和node2虛擬主機
? ? ? 首先,關閉兩個節點主機node1和node2,然后執行以下兩條語句
? ? VBoxManage storageattach rac11 --storagectl "IDE 控制器" --port 1 --device 1 --type hdd --medium G:\share2\share3.vdi --mtype shareable
? ? VBoxManage storageattach rac22 --storagectl "IDE 控制器" --port 0 --device 1 --type hdd --medium G:\share2\share3.vdi --mtype shareable
? ? ? --storagectl "IDE 控制器" :在虛擬機看到的名稱,如果是英文版的,可能名稱不一樣
? ? ? ? ?--port 0 ?:第一個IDE接口
? ? ? ? ?--device 1 ?:IDE接口的輔盤,主盤為 0
啟用共享磁盤
? ? ? ?VBoxManage modifyhd G:\share2\share2.vdi --type shareable


2、當前 votedisk 的位置:
[root@rac22 ~]# crsctl query css votedisk
?0. ? ? 0 ? ?/dev/raw/raw2


located 1 votedisk(s).
3、停止所有節點上的 CRS
[root@rac11 ~]# crsctl stop crs
Stopping resources.
Successfully stopped CRS resources?
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.
[root@rac11 ~]# crsctl check crs
Failure 1 contacting CSS daemon
Cannot communicate with CRS
Cannot communicate with EVM?


4、添加 votedisk (添加兩個使votedisk 個數為奇數)
[root@rac11 ~]# crsctl add css votedisk /dev/raw/raw5
Cluster is not in a ready state for online disk addition
即使是在 CRS 關閉后,也必須指定 -force 參數來添加或刪除 votedisk。且 -force 參數只有在 CRS 關閉時使用才安全。
[root@rac11 ~]# crsctl add css votedisk -force /dev/raw/raw5
Now formatting voting disk: /dev/raw/raw5
successful addition of votedisk /dev/raw/raw5.
[root@rac11 ~]# crsctl add css votedisk -force /dev/raw/raw6
Now formatting voting disk: /dev/raw/raw6
successful addition of votedisk /dev/raw/raw6.


5、查詢添加結果
[root@rac22 ~]# crsctl query css votedisk
?0. ? ? 0 ? ?/dev/raw/raw2
?1. ? ? 0 ? ?/dev/raw/raw5
?2. ? ? 0 ? ?/dev/raw/raw6


located 3 votedisk(s).


6、啟動 CRS
[root@rac22 ~]# crsctl start crs
Attempting to start CRS stack?
The CRS stack will be started shortly
[root@rac11 ~]# crsctl start crs
Attempting to start CRS stack?
The CRS stack will be started shortly


-------- 刪除 votedisk 示例:
1、查看 votedisk 路徑
[root@rac11 ~]# crsctl query css votedisk
?0. ? ? 0 ? ?/dev/raw/raw2
?1. ? ? 0 ? ?/dev/raw/raw5
?2. ? ? 0 ? ?/dev/raw/raw6
2、停止所有節點上的 crs
[root@rac11 ~]# crsctl stop crs
Stopping resources.
Successfully stopped CRS resources?
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.
[root@rac22 ~]# crsctl stop crs
Stopping resources.
Successfully stopped CRS resources?
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.
3、刪除 votedisk
[root@rac11 ~]# crsctl | grep votedisk
? ? ? ?crsctl query ?css votedisk ? ?- lists the voting disks used by CSS
? ? ? ?crsctl add ? ?css votedisk <path> - adds a new voting disk
? ? ? ?crsctl delete css votedisk <path> - removes a voting disk
[root@rac11 ~]# crsctl delete css votedisk /dev/raw/raw6 -force
successful deletion of votedisk /dev/raw/raw6.
4、查看是否刪除成功
[root@rac11 ~]# crsctl query css votedisk
?0. ? ? 0 ? ?/dev/raw/raw2
?1. ? ? 0 ? ?/dev/raw/raw5


located 2 votedisk(s).


---------- OCR 命令
OCR disk 是用于存放整個集群的配置信息共享存儲。在整個集群中只能有一個節點對 OCR DISK 進行寫操作,叫 Master Node。
所有節點在內存中都會保留一份OCR的副本,同時有一個 OCR process 從這個內存中讀取內容。OCR 內容發生改變時,由Master Node 的 OCR
process 負責同步到其他節點的 OCR process。


OCR 的內容非常重要,Oracle 每 4 個小時會對其做一次備份,并保留最近的3個備份以及前一天、前一周的最后一個備份,備份工作有 Master Node 的 CRSD
進程來完成。默認備份路徑為:$CRS_HOME/crs/cdata/cluster_name


OCR 維護相關的命令
--------ocrdump 的用法
ocrdump 可以按 ASCII 的方式打印輸出 OCR 的內容,但這個命令不能用作 OCR 的備份恢復,僅供閱讀 OCR 不供恢復 OCR。
[root@rac22 ~]# ocrdump -h
Name:
? ? ? ? ocrdump - Dump contents of Oracle Cluster Registry to a file.


Synopsis:
? ? ? ? ocrdump [<filename>|-stdout] [-backupfile <backupfilename>] [-keyname <keyname>] [-xml] [-noheader]


Description:
? ? ? ? Default filename is OCRDUMPFILE. Examples are:


? ? ? ? prompt> ocrdump
? ? ? ? writes cluster registry contents to OCRDUMPFILE in the current directory


? ? ? ? prompt> ocrdump MYFILE
? ? ? ? writes cluster registry contents to MYFILE in the current directory


? ? ? ? prompt> ocrdump -stdout -keyname SYSTEM
? ? ? ? writes the subtree of SYSTEM in the cluster registry to stdout


? ? ? ? prompt> ocrdump -stdout -xml
? ? ? ? writes cluster registry contents to stdout in xml format


Notes:
? ? ? ? The header information will be retrieved based on best effort basis.
? ? ? ? A log file will be created in
? ? ? ? $ORACLE_HOME/log/<hostname>/client/ocrdump_<pid>.log. Make sure
? ? ? ? you have file creation privileges in the above directory before
? ? ? ? running this tool.


-------- 將 SYSTEM.css 鍵的內容以 .xml 格式打印輸出到屏幕
OCR key 主要有三類:SYSTEM、DATABASE、CRS
[oracle@rac11 ~]$ ocrdump -stdout -keyname SYSTEM.css -xml | more
<OCRDUMP>


<TIMESTAMP>07/16/2012 10:12:34</TIMESTAMP>
<COMMAND>ocrdump -stdout -keyname SYSTEM.css -xml </COMMAND>


<KEY>
<NAME>SYSTEM.css</NAME>
<VALUE_TYPE>UNDEF</VALUE_TYPE>
<VALUE><![CDATA[]]></VALUE>
<USER_PERMISSION>PROCR_ALL_ACCESS</USER_PERMISSION>
<GROUP_PERMISSION>PROCR_READ</GROUP_PERMISSION>
<OTHER_PERMISSION>PROCR_READ</OTHER_PERMISSION>
<USER_NAME>root</USER_NAME>
<GROUP_NAME>root</GROUP_NAME>
..................................
..................................


該命令將在 $CRS_HOME/log/node_name/client目錄下產生日志文件,格式為 ocrdump_pid.ora,pid 為進程號
--------- 將 SYSTEM.css key 的內容以文件形式打印輸出
[root@rac11 client]# ocrdump '/home/oracle/ocrdump_test.log' -keyname SYSTEM.css -xml


---------------ocrcheck 命令
ocrcheck 命令用于檢查 OCR 內容的一致性:命令執行過程中會在此目錄下產生日志 $ORACLE_HOME/log/<hostname>/client/ocrcheck_<pid>.log?
ocrcheck 命令不需要參數
[oracle@rac11 ~]$ ocrcheck -h
Name:
? ? ? ? ocrcheck - Displays health of Oracle Cluster Registry.


Synopsis:
? ? ? ? ocrcheck?


Description:
? ? ? ? prompt> ocrcheck
? ? ? ? Displays current usage, location and health of the cluster registry


Notes:
? ? ? ? A log file will be created in
? ? ? ? $ORACLE_HOME/log/<hostname>/client/ocrcheck_<pid>.log. Please ensure
? ? ? ? you have file creation privileges in the above directory before
? ? ? ? running this tool.

如果 OCR 內容一致,則產生的輸出如下:
[root@rac22 ~]# ocrcheck
Status of Oracle Cluster Registry is as follows :
? ? ? ? ?Version ? ? ? ? ? ? ? ? ?: ? ? ? ? ?2
? ? ? ? ?Total space (kbytes) ? ? : ? ? 204712
? ? ? ? ?Used space (kbytes) ? ? ?: ? ? ? 3840
? ? ? ? ?Available space (kbytes) : ? ? 200872
? ? ? ? ?ID ? ? ? ? ? ? ? ? ? ? ? : 1788954814
? ? ? ? ?Device/File Name ? ? ? ? : /dev/raw/raw1
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File integrity check succeeded


? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File not configured


? ? ? ? ?Cluster registry integrity check succeeded
如果不一致則產生如下輸出:
[root@rac22 ~]# ocrcheck
Status of Oracle Cluster Registry is as follows :
? ? ? ? ?Version ? ? ? ? ? ? ? ? ?: ? ? ? ? ?2
? ? ? ? ?Total space (kbytes) ? ? : ? ? 204712
? ? ? ? ?Used space (kbytes) ? ? ?: ? ? ? 3840
? ? ? ? ?Available space (kbytes) : ? ? 200872
? ? ? ? ?ID ? ? ? ? ? ? ? ? ? ? ? : 1788954814
? ? ? ? ?Device/File Name ? ? ? ? : /dev/raw/raw1
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File need to be synchronized with the other device


? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File not configured


? ? ? ? ?Cluster registry integrity check succeeded


------------- ocrconfig 命令
ocrconfig 命令用于維護 OCR 磁盤。
在安裝 clusterware 過程中如果選擇 external redundancy ,則只能指定一個 OCR disk。但是 Oracle 允許且只允許配置兩個 OCR disk 互為
鏡像,以防止 OCR 磁盤發生單點故障。OCR 磁盤和 votedisk 不一樣,最多只能有兩個,一個為 Primary OCR 一個為 Mirror OCR。
[root@rac22 ~]# ocrconfig -h
Name:
? ? ? ? ocrconfig - Configuration tool for Oracle Cluster Registry.


Synopsis:
? ? ? ? ocrconfig [option]
? ? ? ? option:
? ? ? ? ? ? ? ? -export <filename> [-s online]
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? - Export cluster register contents to a file
? ? ? ? ? ? ? ? -import <filename> ? ? ? ? ? ? ? ? ?- Import cluster registry contents from a file
? ? ? ? ? ? ? ? -upgrade [<user> [<group>]]
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? - Upgrade cluster registry from previous version
? ? ? ? ? ? ? ? -downgrade [-version <version string>]
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? - Downgrade cluster registry to the specified version
? ? ? ? ? ? ? ? -backuploc <dirname> ? ? ? ? ? ? ? ?- Configure periodic backup location
? ? ? ? ? ? ? ? -showbackup ? ? ? ? ? ? ? ? ? ? ? ? - Show backup information
? ? ? ? ? ? ? ? -restore <filename> ? ? ? ? ? ? ? ? - Restore from physical backup
? ? ? ? ? ? ? ? -replace ocr|ocrmirror [<filename>] - Add/replace/remove a OCR device/file
? ? ? ? ? ? ? ? -overwrite ? ? ? ? ? ? ? ? ? ? ? ? ?- Overwrite OCR configuration on disk
? ? ? ? ? ? ? ? -repair ocr|ocrmirror <filename> ? ?- Repair local OCR configuration
? ? ? ? ? ? ? ? -help ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? - Print out this help information


Note:
? ? ? ? A log file will be created in
? ? ? ? $ORACLE_HOME/log/<hostname>/client/ocrconfig_<pid>.log. Please ensure
? ? ? ? you have file creation privileges in the above directory before
? ? ? ? running this tool.


---------使用 ocrconfig 查看自動備份
[root@rac22 ~]# ocrconfig -showbackup


---------修改 OCR 自動備份的位置
默認位置為:$OCR_HOME/crs/cdata/cluster_name/
[root@rac22 ~]# ocrconfig -backuploc /home/oracle/backup


---------使用導出、導入進行備份和恢復
Oracle建議在對集群做調整(增加、刪除節點)之前,對OCR進行備份,可以使用 export 備份到指定文件。如果做了 replace 或 restore 操作,Oracle
還建議使用 cluvfy compocr-n all 做一次全面的檢查。
1、首先關閉所有節點的 CRS
[root@rac22 ~]# crsctl stop crs
Stopping resources.
Successfully stopped CRS resources?
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.
2、導出 OCR 的內容(必須以 root 權限)
[root@rac22 ocr_backup]# ocrconfig -export ocrexp.exp ?/home/oracle/ocr_backup/ocrexp.exp
3、重啟 CRS
[root@rac11 ~]# crsctl start crs
Attempting to start CRS stack?
The CRS stack will be started shortly


[root@rac22 ~]# crsctl start crs
Attempting to start CRS stack?
The CRS stack will be started shortly


4、檢查 CRS 狀態
[root@rac11 ~]# crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy
[root@rac22 ~]# crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy


5、破壞 OCR 內容
[root@rac11 ~]# dd if=/dev/zero of=/dev/raw/raw1 bs=1024 count=200
200+0 records in
200+0 records out


6、運行 cluvfy 工具檢查 OCR 一致性(失敗)
[root@rac11 ~]# /soft/clusterware/cluvfy/runcluvfy.sh comp ocr -n all


Verifying OCR integrity?


ERROR:?
User equivalence unavailable on all the nodes.
Verification cannot proceed.




Verification of OCR integrity was unsuccessful on all the nodes.?
7、使用ocrcheck 檢查 OCR 的一致性
[root@rac11 ~]# ocrcheck
PROT-601: Failed to initialize ocrcheck


8、使用 import 恢復 OCR 的內容
[root@rac11 ~]# ocrconfig -import /home/oracle/ocr_backup/ocrexp.exp?
PROT-19: Cannot proceed while clusterware is running. Shutdown clusterware first
先關閉 CRS,然后再執行 import 恢復
在本例中,因為是在打開 CRS 的時候破壞了 OCR,因此是無法成功關閉 CRS 的,關閉時會報錯。只能重啟系統,重啟后CRS將無法啟動這時
執行上述命令即可成功:
[root@rac11 ~]# ocrconfig -import /home/oracle/ocr_backup/ocrexp.exp
9、再次使用 ocrcheck 檢查一致性狀態(通過)
[root@rac11 ~]# ocrcheck
Status of Oracle Cluster Registry is as follows :
? ? ? ? ?Version ? ? ? ? ? ? ? ? ?: ? ? ? ? ?2
? ? ? ? ?Total space (kbytes) ? ? : ? ? 204712
? ? ? ? ?Used space (kbytes) ? ? ?: ? ? ? 3840
? ? ? ? ?Available space (kbytes) : ? ? 200872
? ? ? ? ?ID ? ? ? ? ? ? ? ? ? ? ? : ?825485411
? ? ? ? ?Device/File Name ? ? ? ? : /dev/raw/raw1
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File integrity check succeeded


? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Device/File not configured


? ? ? ? ?Cluster registry integrity check succeeded
10、使用cluvfy工具檢查(通過)。
[root@rac11 ~]# /soft/clusterware/cluvfy/runcluvfy.sh comp ocr -n all
Verifying OCR integrity?


ERROR:?
User equivalence unavailable on all the nodes.
Verification cannot proceed.




Verification of OCR integrity was unsuccessful on all the nodes.?
----------這里檢測的結果不成功,不知何因。


11、啟動 CRS
crsctl start crs

crsctl check crs



如需轉載,請注明出處及原文鏈接

http://blog.csdn.net/xiangsir/article/details/8576849




















總結

以上是生活随笔為你收集整理的Oracle 10g RAC 维护工具完全详解的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

婷婷深爱网 | 91成人天堂久久成人 | 精品国产综合区久久久久久 | 福利区在线观看 | 免费在线观看黄 | 国产精品婷婷 | 欧美国产不卡 | 国产色黄网站 | 免费视频资源 | 亚洲国产视频直播 | 一区二区精品国产 | 一区二区三区在线电影 | 啪啪午夜免费 | 久久激情片 | 天天色天天搞 | 美女免费视频一区二区 | 四虎国产| 国产a视频免费观看 | 日韩高清在线观看 | av中文字幕在线免费观看 | 亚洲91中文字幕无线码三区 | 91中文在线 | 综合色播| 久久久黄色免费网站 | 亚洲在线精品视频 | 免费观看版 | 在线小视频你懂得 | 精品视频免费在线 | 99精彩视频在线观看免费 | 在线看小早川怜子av | 日日日视频 | 在线免费观看黄网站 | 亚洲日韩欧美一区二区在线 | 久久久2o19精品 | 黄av在线 | 波多野结衣电影一区二区三区 | 成人国产精品av | 久久99精品国产99久久6尤 | 日本久久免费视频 | 久久人91精品久久久久久不卡 | 亚洲 欧美 综合 在线 精品 | 人人爽人人看 | 久久久精品亚洲 | 久久免费高清视频 | 亚洲国产精品激情在线观看 | 亚洲国产理论片 | 久草在线手机视频 | 91麻豆精品91久久久久同性 | 久久美女免费视频 | 国产精品一区二区视频 | 韩国av免费在线观看 | 美女精品在线 | www.天天色.com| 人人草网站 | 久久国产免 | 国产欧美久久久精品影院 | 国产精品视频永久免费播放 | 免费日韩 精品中文字幕视频在线 | 在线视频观看亚洲 | 亚洲综合激情五月 | 久久精品99国产精品 | 在线观看免费国产小视频 | 狠狠狠狠干 | 欧洲一区二区在线观看 | 午夜久草 | 国产精品久久久久久久久久久免费看 | 国产不卡网站 | 综合色站 | www国产亚洲精品久久麻豆 | 精品国内自产拍在线观看视频 | 亚洲五月婷婷 | 九九热精品视频在线观看 | 黄色网在线播放 | 亚洲欧美日韩精品久久奇米一区 | 国产精品日韩久久久久 | 国产精品一区二区在线观看免费 | 又黄又刺激 | 胖bbbb搡bbbb擦bbbb | 人人舔人人舔 | 超碰97网站 | 日韩精品视 | 中文字幕在线观看完整版电影 | 色狠狠久久av五月综合 | 国产精品久久久毛片 | 在线观看91久久久久久 | 国产高清av在线播放 | 亚洲伦理一区二区 | 五月婷婷欧美视频 | 国产精品亚洲综合久久 | 亚洲欧美国产精品18p | 免费看片在线观看 | 丁香六月国产 | 久久亚洲在线 | 日本99久久| 日日日视频 | 亚洲最大色 | a视频在线看 | 草久久av| 婷婷视频在线 | 91黄色成人| 色婷婷国产精品一区在线观看 | 91激情 | 亚洲国产精彩中文乱码av | 亚洲经典视频 | 欧美国产日韩一区二区三区 | 国产视频中文字幕 | 亚洲综合在线观看视频 | 一区二区免费不卡在线 | 99在线国产 | 国产乱码精品一区二区三区介绍 | 日本三级在线观看中文字 | av在线短片 | 久久精品免费 | 人人爽人人爽人人片 | 久热电影 | 在线视频观看成人 | 日韩一片| 日韩三级在线观看 | 日韩电影在线观看一区二区三区 | 精品一区二区三区在线播放 | 国产理论一区二区三区 | 久久香蕉一区 | 91中文字幕在线观看 | 亚洲欧美激情插 | 777久久久 | 在线观看国产日韩 | 国产三级在线播放 | 成年人在线观看免费视频 | 99这里都是精品 | 在线观看亚洲国产 | 亚洲网久久 | 久久久免费毛片 | 亚洲视频免费在线看 | 麻豆系列在线观看 | 国产在线 一区二区三区 | 六月婷婷色 | 日韩免费视频播放 | 久色伊人 | 四虎在线免费观看 | 91日韩在线视频 | 国产九色在线播放九色 | www.国产在线视频 | 亚洲欧洲国产视频 | 99在线视频网站 | 日韩一区二区免费视频 | 麻豆91在线看 | 免费的黄色av | 黄色影院在线免费观看 | 久久久免费在线观看 | 久久精品www人人爽人人 | 日韩影视在线观看 | 亚洲黄色高清 | 中文字幕欧美日韩va免费视频 | 国产麻豆精品传媒av国产下载 | 成人午夜毛片 | 免费在线激情电影 | 天天干天天射天天爽 | 亚洲精品视频偷拍 | 色停停五月天 | 日韩电影中文 | 精品欧美小视频在线观看 | 国产精品视频久久 | 精品久久网 | av在线永久免费观看 | 欧美激情综合网 | 久久成人国产精品入口 | 超碰在线最新网址 | 国产中出在线观看 | 香蕉视频啪啪 | 99精品视频在线播放免费 | 久久激情婷婷 | 国产精品毛片久久蜜 | 在线观看播放av | 九九精品视频在线观看 | 色综合久久悠悠 | 久久国产精品久久久 | 精品久久国产精品 | 国产精品久久久久久久久久不蜜月 | 日韩精品在线观看视频 | 国产成人精品综合久久久 | 91麻豆精品国产自产在线 | 夜色成人av | 91网站免费观看 | 国产成人三级一区二区在线观看一 | 91最新地址永久入口 | 免费在线观看中文字幕 | 91免费高清 | 国产一区二区三区四区大秀 | 欧美激情视频一区二区三区 | 日韩精品免费在线观看视频 | 在线亚洲小视频 | av再线观看 | 在线观看一级片 | 免费在线观看av电影 | 日日草视频 | 久久精品综合 | 久久精品网站免费观看 | 99久久夜色精品国产亚洲 | 日韩视频一区二区在线观看 | 最近2019好看的中文字幕免费 | 色丁香久久 | 日日夜夜精品 | 在线视频日韩精品 | 亚洲精品乱码白浆高清久久久久久 | 亚洲欧洲一区二区在线观看 | 国产精品久久久久久久午夜 | 国产精品毛片一区二区在线看 | 精品一区在线看 | 91精品国产福利在线观看 | 婷色| 99视频国产精品免费观看 | 精品国产一区二区三区久久久蜜臀 | 狠狠操综合网 | 欧美另类视频 | 国产精品大片在线观看 | 国内一级片在线观看 | 九月婷婷色 | 97国产在线观看 | 亚洲精品日韩一区二区电影 | 蜜桃视频日本 | 国产中文字幕网 | 亚洲精品视频免费在线 | 午夜性生活片 | 日韩视频在线观看免费 | 亚洲精品视频网址 | 男女视频久久久 | 精品99免费| 狠狠躁夜夜躁人人爽超碰97香蕉 | 国产精品黄色影片导航在线观看 | 成人国产精品免费 | 欧美日韩视频一区二区三区 | av福利超碰网站 | 视频一区二区免费 | 亚洲国产成人在线 | 97精品在线观看 | 国产精品久久久久久久久久直播 | 黄色av网站在线免费观看 | 97视频一区 | 久久人人97超碰国产公开结果 | 在线观看黄网站 | 欧美a级在线播放 | 五月开心婷婷网 | 中文字幕在线视频免费播放 | 国产精品欧美一区二区三区不卡 | 亚洲日韩欧美视频 | 日韩av在线免费看 | 久草影视在线观看 | 在线日韩视频 | 91视频在线观看下载 | 91理论片午午伦夜理片久久 | 国产精品国产三级国产aⅴ9色 | 91看片网址 | 色综合天天狠狠 | 精品中文字幕在线播放 | 久久在线视频精品 | 免费高清在线观看成人 | 成人a在线观看高清电影 | 免费视频成人 | 国产黄色精品在线 | 欧美精品v国产精品v日韩精品 | 国产综合激情 | 久久精品一区二区三 | 99视频在线看 | 免费高清在线视频一区· | 国产精品欧美久久久久无广告 | 亚洲欧美乱综合图片区小说区 | 青青河边草观看完整版高清 | www.成人精品 | 日韩中字在线观看 | 一区二区三区四区精品视频 | 亚洲精品国产精品国自 | 天天综合亚洲 | 亚洲国产精品小视频 | 五月黄色 | 一区二区三区免费看 | 人人爽人人澡人人添人人人人 | 爱爱av在线 | 狠狠狠狠狠狠操 | 日韩久久精品一区二区 | 亚洲国产精品成人综合 | 成人av电影在线观看 | 国产日本在线 | 国产精品手机在线观看 | 国产一级视频 | 超碰人人在线 | 粉嫩高清一区二区三区 | 日本韩国精品一区二区在线观看 | 伊人看片| 18性欧美xxxⅹ性满足 | 国产精品一区在线播放 | 欧美亚洲成人xxx | 国产香蕉久久 | 一区三区在线欧 | 在线蜜桃视频 | 国产小视频网站 | 免费三级在线 | 97色免费视频 | 久久免费看片 | 久久这里精品视频 | 激情网五月 | 高清视频一区二区三区 | 激情五月视频 | 久久久久北条麻妃免费看 | 中文字幕乱码亚洲精品一区 | 久久精视频 | 探花视频免费观看高清视频 | 日韩大片在线看 | 欧美亚洲三级 | 日韩黄色免费 | 综合av在线 | 五月婷婷导航 | 久久99精品一区二区三区三区 | 免费久久99精品国产 | 91禁在线观看 | 日韩激情影院 | 91成品视频| 91视频午夜 | 久久成人一区二区 | 久草免费新视频 | 欧美激情操 | 91福利影院在线观看 | 97网| 日韩在线视频线视频免费网站 | 伊人婷婷网| 久久99久久99精品免观看软件 | 99精品视频在线观看视频 | 久久成人免费 | 天天天天天操 | 在线观看v片 | 激情五月婷婷激情 | 精品99久久| 欧美性爽爽 | 干综合网 | 一级电影免费在线观看 | 81国产精品久久久久久久久久 | 黄色三级视频片 | 在线观看网站你懂的 | 亚洲成人网av | 探花视频免费在线观看 | 日韩一级电影在线 | 91视频在线看 | 国产中文自拍 | 久久久精品国产免费观看同学 | 日韩欧美精品在线视频 | 久久免费视频一区 | 日韩一区二区免费在线观看 | 久久草在线视频国产 | 久草观看 | 人人艹人人 | 青青河边草免费直播 | av不卡免费在线观看 | 成人黄色大片网站 | 日韩欧美大片免费观看 | 91久久偷偷做嫩草影院 | 国产极品尤物在线 | 日韩大陆欧美高清视频区 | 天天久久夜夜 | 月丁香婷婷 | 波多野结衣在线视频免费观看 | 国产一区二区在线免费 | 97精品在线观看 | 久久久久久久久久久福利 | 一级欧美一级日韩 | 国产精品h在线观看 | 久久久久二区 | 日本精品一二区 | 欧美性护士 | 国内精品久久久久影院一蜜桃 | 中文在线亚洲 | 亚洲区另类春色综合小说校园片 | 久久精品激情 | 最新日韩电影 | 一区在线观看 | 国产男女无遮挡猛进猛出在线观看 | 99久久激情视频 | va视频在线 | 欧美精品免费在线观看 | 国产精品自在欧美一区 | 成人av电影在线播放 | 中文字幕日韩电影 | 丁香花中文在线免费观看 | 18做爰免费视频网站 | 国产91成人在在线播放 | 在线国产视频 | 国产黄色精品视频 | 国产精品va最新国产精品视频 | 欧美综合在线视频 | 国产一区高清在线 | 欧美在线视频免费 | 丁香六月色 | 久久天堂网站 | 日韩资源视频 | 99re久久资源最新地址 | 国产美女无遮挡永久免费 | 日本久久精品视频 | 香蕉网在线播放 | 亚洲动漫在线观看 | 久久婷婷色综合 | 久久免费精彩视频 | 亚洲综合在线五月天 | 黄色性av | av黄免费看 | 丁香综合网 | 中文字幕一区二区在线播放 | 亚洲精品福利视频 | 视频在线观看入口黄最新永久免费国产 | 一级片观看 | 在线观看av黄色 | 最新av在线免费观看 | 久久免费电影网 | 欧美日在线观看 | 亚洲天天在线日亚洲洲精 | 国产涩图 | 国产精品精品国产色婷婷 | 国产一区国产二区在线观看 | 伊人狠狠操| 欧美精品中文 | 亚洲 欧美 另类人妖 | 国产精品手机看片 | 四虎成人精品永久免费av | 国内视频| 久久久久久网站 | 久久久www| 在线观看色网 | 最新中文字幕在线资源 | 国产.精品.日韩.另类.中文.在线.播放 | 日韩av电影国产 | 黄色精品久久久 | 久久视频免费在线观看 | 久草免费新视频 | 亚洲第一色 | 午夜精品一二三区 | 免费国产亚洲视频 | 久草视频网 | 婷婷精品国产一区二区三区日韩 | 91久久精品一区二区三区 | 在线观看一区视频 | 91精品一区二区三区久久久久久 | 亚洲一区欧美激情 | 色综合久久网 | 日韩av一区二区在线影视 | 97人人超 | 中文字幕在线视频一区 | 69av网| 日韩精品久久久久久久电影99爱 | 中文字幕精品一区久久久久 | 久久免费视频这里只有精品 | 日韩精品一区二区三区在线视频 | 久久久久久国产精品久久 | 在线91观看 | 成人午夜精品福利免费 | 国产高清在线免费视频 | 亚洲黄色免费 | 9999精品免费视频 | 一区二区精品在线 | 亚洲精品乱码久久久久久蜜桃不爽 | 青青网视频 | 手机在线看片日韩 | 麻豆国产露脸在线观看 | 久久午夜色播影院免费高清 | www.亚洲精品在线 | 成人免费视频免费观看 | 日本护士撒尿xxxx18 | 午夜免费在线观看 | 碰碰影院 | 午夜av免费| 婷婷六月综合亚洲 | 一级黄色在线免费观看 | 9999在线观看 | av免费在线免费观看 | 黄色影院在线播放 | 91最新视频在线观看 | 91精品国产一区二区在线观看 | av激情五月 | 国产在线播放观看 | 一本色道久久综合亚洲二区三区 | 一区二区三区在线观看中文字幕 | 亚洲免费成人av电影 | 久久久久国产免费免费 | 免费在线观看国产黄 | 一区二区精品在线视频 | 亚洲天堂网在线视频观看 | 免费av影视 | 亚洲电影久久 | av福利网址导航 | 成年人电影毛片 | av东方在线 | 中文在线资源 | 欧美精品中文字幕亚洲专区 | 亚洲精品视频一 | 久久久精品小视频 | 国产999视频在线观看 | 狠狠88综合久久久久综合网 | 免费视频久久 | 一本一本久久a久久精品综合 | 久草在线视频在线观看 | 最新av中文字幕 | 国产精品亚洲精品 | 日韩国产欧美在线播放 | 午夜三级理论 | 日韩欧美有码在线 | 成人免费看黄 | 高清不卡免费视频 | 成年人在线免费看视频 | 天堂av一区二区 | 久久久久久国产精品亚洲78 | 91麻豆精品国产91久久久使用方法 | 在线av资源 | 国产香蕉久久精品综合网 | 国产福利一区在线观看 | 久久久穴 | 国产成人三级 | 欧美性久久久 | 国产伦理久久精品久久久久_ | 精品在线播放视频 | 91观看视频 | 精品在线观看一区二区 | 黄色网址中文字幕 | 亚洲精品视频免费在线 | 欧美日韩二区三区 | 婷婷色站 | 亚洲人成免费网站 | 国产成人高清在线 | 日韩色av色资源 | 嫩小bbbb摸bbb摸bbb | 国产永久网站 | 色综久久 | 国产日韩在线视频 | 在线三级中文 | 国产精品永久免费 | 91人人爽人人爽人人精88v | 天天拍天天干 | 精品久久久久久久久中文字幕 | 久艹在线免费观看 | 日韩簧片在线观看 | 激情五月色播五月 | 超碰午夜 | 国产美女精品人人做人人爽 | 精品福利在线视频 | 最新国产中文字幕 | 操操操日日 | 亚洲精品理论片 | 免费99精品国产自在在线 | 国内精品国产三级国产aⅴ久 | 国产精品毛片一区视频播不卡 | 黄污视频网站大全 | 人人澡人摸人人添学生av | 不卡的av在线播放 | 久久久久亚洲精品成人网小说 | 日日草天天干 | 91网站观看 | 三级黄色免费 | 免费网站看v片在线a | 色六月婷婷 | avv天堂| 麻豆av一区二区三区在线观看 | 日韩1级片| 国产亚洲精品bv在线观看 | www免费| 黄色午夜| 久久成电影 | 久久99精品一区二区三区三区 | 国产精品18久久久久久久久久久久 | 国产一区二区三区免费在线观看 | 精品国产资源 | 狠狠躁夜夜a产精品视频 | 最近中文字幕完整视频高清1 | 欧美激情综合色综合啪啪五月 | 麻豆视频在线免费观看 | 日韩精品在线免费播放 | 国产精品正在播放 | 国产成人免费在线观看 | 精品少妇一区二区三区在线 | 97在线精品国自产拍中文 | a v在线视频| 天天色欧美 | 日韩大片在线免费观看 | 蜜桃传媒一区二区 | 国产美女主播精品一区二区三区 | 91成人免费观看视频 | 夜夜躁日日躁狠狠久久88av | 欧美另类亚洲 | 国产精品毛片一区二区在线看 | 欧美久久久久久久久久久久 | 99精品免费久久久久久日本 | 伊人国产女 | av无限看| 高清美女视频 | 天堂av影院 | 久久艹久久 | 摸bbb搡bbb搡bbbb| 色诱亚洲精品久久久久久 | 久久婷婷视频 | 成人高清av在线 | 91成人在线免费观看 | 久久久久国产精品免费 | 国产一级片毛片 | 精品三级av | 永久免费精品视频网站 | 欧美日韩国产精品爽爽 | 99久久精品国产一区二区成人 | 91精品秘密在线观看 | 久草在线中文视频 | 丁香花中文在线免费观看 | 五月天婷亚洲天综合网鲁鲁鲁 | 亚洲成色777777在线观看影院 | 在线激情影院一区 | 久久精选 | 国产成人精品国内自产拍免费看 | 五月天,com| 不卡的av在线播放 | 黄色一集片 | 欧美精品国产综合久久 | 国产精品av免费观看 | 国产成人免费在线 | 中文字幕综合在线 | 久久久久欠精品国产毛片国产毛生 | 91中文在线视频 | av资源中文字幕 | 国产又粗又猛又黄 | 亚洲aⅴ在线观看 | 在线观av | 四虎成人精品永久免费av九九 | 香蕉久草在线 | 精品国产乱码久久久久 | 成人91视频 | 亚洲精品天天 | 国产手机视频精品 | 久久精品一区二区三区国产主播 | 一区二区不卡 | 成年人黄色大片在线 | 日日干日日操 | 成人h在线观看 | 手机成人av | 激情五月婷婷 | 日本激情动作片免费看 | 国产剧情av在线播放 | 日韩免费观看高清 | 国产丝袜美腿在线 | 国产精品久久久久久爽爽爽 | 亚洲v欧美v国产v在线观看 | 成人午夜片av在线看 | 免费看黄在线 | 99久久久久成人国产免费 | 国产一级二级在线观看 | 国产视频亚洲精品 | 99精品毛片 | 久久精品女人毛片国产 | 一级电影免费在线观看 | 日韩av一区二区在线影视 | 免费在线观看av不卡 | 91亚色免费视频 | 99久久精 | 久久久国产影院 | 手机在线看片日韩 | 69视频网站 | www..com毛片| 久久99久久99免费视频 | 亚洲六月丁香色婷婷综合久久 | 久久久亚洲国产精品麻豆综合天堂 | 中文字幕乱码日本亚洲一区二区 | 亚洲免费成人av电影 | 狠狠干成人综合网 | 成人羞羞视频在线观看免费 | 一本色道久久综合亚洲二区三区 | a视频免费| 久久成人视屏 | 久久免费观看视频 | 国产精品一区二区av麻豆 | 日韩在线国产精品 | 国产中文字幕在线看 | 玖玖视频精品 | 久久只有精品 | 日韩精品综合在线 | 五月婷婷综合激情 | 天无日天天操天天干 | 国产真实精品久久二三区 | 国产精品嫩草影视久久久 | 五月综合在线观看 | 午夜精品福利一区二区三区蜜桃 | 岛国精品一区二区 | 国产精品成人免费精品自在线观看 | 成年人黄色免费看 | 亚欧洲精品视频在线观看 | 欧美日韩国产综合网 | 中文在线字幕免 | 中文字幕视频网站 | h视频在线看 | 欧美午夜理伦三级在线观看 | 狠狠做六月爱婷婷综合aⅴ 日本高清免费中文字幕 | 97色在线视频 | 99精品国产福利在线观看免费 | 久久香蕉国产 | 国产精品一区二区你懂的 | av在线成人 | 欧美ⅹxxxxxx| 精品一区二区三区在线播放 | 麻豆国产视频下载 | 99精品国产在热久久 | 亚洲一级免费观看 | 五月天久久狠狠 | 久久综合狠狠综合 | 干干干操操操 | 亚洲精品国产精品国自产在线 | 日韩中文在线观看 | www婷婷| 高清一区二区三区 | 成人免费视频免费观看 | 9色在线视频 | 天天综合人人 | 精品国产伦一区二区三区 | 国产成人av综合色 | 国产精品免费视频观看 | 国产精品白丝av | 国产亚洲欧美在线视频 | 久久综合五月天 | 久久夜色电影 | 丁香婷婷在线 | 成人午夜精品久久久久久久3d | 在线视频观看成人 | 91精品国产麻豆国产自产影视 | 日韩精品一区二区三区在线播放 | 99精品在线视频播放 | 久久免费精品一区二区三区 | 99久久999久久久精玫瑰 | 91九色在线观看 | 97成人在线免费视频 | 激情视频91 | 综合久久网站 | 久久爱www. | 国产精品久久久久久99 | 日韩免费观看av | 超碰免费在线公开 | 国产在线91在线电影 | 欧美少妇xxxxxx | 欧美精品网站 | 国产精品一区二区免费视频 | 国产精品毛片一区二区在线 | 国产精品一区在线播放 | 日韩午夜剧场 | 91亚洲精品视频 | 在线视频日韩 | 最新日韩在线观看 | 丁香花在线观看免费完整版视频 | 国产99自拍 | 午夜av免费在线观看 | 最新av网站在线观看 | www.大网伊人 | 一区二区三区播放 | 在线成人短视频 | 久久精品精品电影网 | 亚洲日韩欧美一区二区在线 | www操操 | 99久久久国产精品免费99 | 色妞久久福利网 | 欧美一级片播放 | 日韩电影中文字幕在线 | 九九精品视频在线 | 国产午夜精品福利视频 | 国产高清视频在线播放一区 | 国内精品中文字幕 | 久久国产亚洲精品 | 一本色道久久综合亚洲二区三区 | 天天天操天天天干 | 国产黄在线免费观看 | av在线com | 91成人精品一区在线播放 | 91精品国产自产老师啪 | 一级黄毛片| 亚洲一级在线观看 | 91黄色在线视频 | 超碰成人网 | a天堂一码二码专区 | 国产毛片久久 | 九九在线高清精品视频 | 91九色精品女同系列 | www.com.日本一级 | 人人爽人人爽人人片av免 | 久久电影日韩 | 在线观看av麻豆 | 日韩欧美一区二区三区视频 | 国产精品99久久久久久大便 | 天天操天天操天天操 | 国产福利av | 色在线观看网站 | 国产日韩欧美在线观看视频 | 美女黄频在线观看 | 婷婷六月色 | 91九色丨porny丨丰满6 | 狠狠色丁香九九婷婷综合五月 | 992tv在线观看网站 | 91亚洲网| 久久久久久久久久久久久久av | 中文字幕亚洲在线观看 | 久久香蕉电影网 | 国产精品手机在线观看 | 成人av资源在线 | 亚洲黄色免费 | 国产一区二区免费在线观看 | 久久神马影院 | 1区2区视频 | 亚洲理论在线观看电影 | 欧美一级片在线免费观看 | 欧美性黄网官网 | 日韩在线观看视频网站 | 四虎影视av | 日韩高清免费在线观看 | 激情av一区二区 | 中文字幕在线观看免费高清电影 | 成人av视屏 | 激情久久久 | 91免费版在线观看 | 久久免费视频2 | 视频在线精品 | 国产成人福利在线观看 | av在线亚洲天堂 | 久久久www成人免费毛片 | 手机成人在线 | 国产精久久久 | 成人av在线网 | 久久在线免费观看视频 | 久久这里有精品 | 欧美视频在线观看免费网址 | 中文字幕av免费 | 欧美疯狂性受xxxxx另类 | 精品国产一二三 | 在线观看亚洲精品 | 国产视频一区在线 | 国产精品免费久久久久 | 5月丁香婷婷综合 | 缴情综合网五月天 | 国产打女人屁股调教97 | 免费看91的网站 | 色综合久久久久久久久五月 | 三级黄色片子 | 一区二区三区四区影院 | 久久人人爽人人爽 | 最新午夜 | 久要激情网| 中文字幕乱在线伦视频中文字幕乱码在线 | 免费观看mv大片高清 | 亚洲成人精品av | 99久久国产免费,99久久国产免费大片 | 国产一区二区三区久久久 | 国产 字幕 制服 中文 在线 | 探花视频在线版播放免费观看 | 亚洲免费激情 | 美女黄濒 | 久久精品99久久久久久2456 | 麻豆一区在线观看 | 99久久精品免费 | 在线免费观看亚洲视频 | 亚洲性少妇性猛交wwww乱大交 | 中文字幕在线播出 | 日韩亚洲国产中文字幕 | 91免费高清视频 | 亚洲三级精品 | 日本精油按摩3 | 免费av免费观看 | 青春草视频在线播放 | 日韩手机视频 | 极品久久久久久久 | 精品国产aⅴ麻豆 | 精品久久久久一区二区国产 | 国产精品av免费 | 一区二区精品视频 | 麻豆国产视频 | 91麻豆精品久久久久久 | 免费在线观看中文字幕 | 999视频网| 国产一级视频在线观看 | 欧美午夜精品久久久久久孕妇 | 久久久99精品免费观看 | 久久婷婷网 | 国产一级精品在线观看 | 探花视频在线观看 | 激情久久久 | 999成人精品 | 91精品电影| 亚洲黄色在线播放 | 久久久久黄 | 69热国产视频 | 日日夜夜天天久久 | wwwwww国产 | 国产精品v a免费视频 | 成人禁用看黄a在线 | 91在线日韩| 在线三级中文 | 韩国精品在线观看 | 精品视频一区在线观看 | 免费色黄 | 在线观看国产亚洲 | 欧美日韩首页 | 久久免费国产电影 | 麻豆系列在线观看 | 久久精品国产亚洲精品2020 | 五月婷在线播放 | 五月婷社区 | 国产在线a免费观看 | 精品久久久久久久久久久久久久久久 | 欧美黄色成人 | 国产成人在线网站 | 久久综合九色欧美综合狠狠 | 综合色狠狠| 狠狠色狠狠色综合日日小说 | 亚洲精品小视频在线观看 | 午夜少妇av| 精品久久久久国产 | 亚洲九九九| 久久精品一二三区白丝高潮 | av在线免费观看黄 | av不卡免费看 | 日韩久久精品一区二区 | 日本中文字幕观看 | 91九色在线视频观看 | 911久久 | 99综合电影在线视频 | 国精产品一二三线999 | 久久久蜜桃一区二区 | 国产精品免费在线观看视频 | 一级黄色免费网站 | 五月婷在线视频 | 精品成人免费 | 国产一区二区免费 | 91传媒在线 | 美女免费视频一区二区 | 丁香久久 | 国产亚洲精品bv在线观看 | 精品国精品自拍自在线 | 免费91在线| 欧美日韩aa | 日本精品视频在线播放 | 国产高清在线 | 美女视频一区 | 四川妇女搡bbbb搡bbbb搡 | 日韩二区三区在线 | 伊人天天狠天天添日日拍 | 国产99一区二区 | 色婷婷a | 国产成人福利 | 午夜久久影视 | 久久美女高清视频 | 久久视频在线视频 | 最近中文字幕视频网 | 黄色片网站 | 国产午夜在线 | 日韩欧美视频在线免费观看 | 午夜在线免费观看视频 | www.com操| 精品国产一区二区在线 | 91精品国产乱码久久 | 色是在线视频 | 天天爱天天| 在线免费观看一区二区三区 | 国产成人精品一区二三区 | 久久夜色精品国产欧美乱极品 | 久久综合狠狠综合久久狠狠色综合 | 波多野结衣亚洲一区二区 | 中文字幕乱码在线播放 | 久久亚洲人 | 精品国产a | 99综合电影在线视频 | 国产精品2019| 国产成人av网址 | 久久九九久久 | 中文区中文字幕免费看 | 激情图片qvod| 欧美色综合天天久久综合精品 | 久久久久激情视频 | 九九九九九九精品 | 亚洲精选在线观看 | 精久久久久 | 国产成人精品一区二区三区在线 | 久久久精品欧美 | 国产69精品久久久久久 | 成人免费视频在线观看 | 久久夜夜爽 | 三级a毛片 | 久草久 | 麻豆成人在线观看 | 中文字幕在线专区 | 99久久9| 亚洲波多野结衣 | 国产精品国产亚洲精品看不卡 | 日本超碰在线 | av丝袜在线 | 精品免费视频. | 天天碰天天操视频 | 久久精品视频99 | 99国产成+人+综合+亚洲 欧美 | 91麻豆网站| av中文字幕在线观看网站 | 天天做天天射 | 二区精品视频 | 在线一级片 | 亚州性色| 中文字幕国产一区二区 | 色婷婷激情电影 |