日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

megacli通过盘符定位物理盘_柴少鹏的官方网站

發布時間:2024/9/27 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 megacli通过盘符定位物理盘_柴少鹏的官方网站 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、Megacli介紹

工作中偶爾會用到MegaCli這個工具,之前的博文里面也提到過這個工具,這里對于用法詳細的記錄一下。

通過LSI公司提供的MegaCli工具,

可以實現對RAID卡和硬盤的監控。

2013年12月: Avago公司以66億美元收購LSI,2015年5月: Avago公司以370億美元收購博通,因為MegaCLI 工具原來是LSI的,所以現在官方的下載地址也發生了變化。

1.1、下載與安裝

線上使用的工具一定要確保來源的安全,盡量官網下載,雖然可能在找的時候稍微有點麻煩。如果有些技巧的話,可能會稍快,下面說兩種方式。

第一個下載方式:

第二種下載方式:

好了安裝包已經下載下來了,這個zip包里面有不同系統的目錄,我們找到Linux目錄。

# rpm -ivh Linux/MegaCli-8.07.14-1.noarch.rpm ?#安裝一下軟件

# rpm -qa|grep MegaCli ?#查看包已經安裝成功

MegaCli-8.07.14-1.noarch

# /opt/MegaRAID/MegaCli/MegaCli64 -help ?#可以查看版本以及相關的命令使用說明。默認命令裝在了:/opt/MegaRAID/MegaCli/MegaCli64這里

#/opt/MegaRAID/MegaCli/MegaCli64 ?-cfgdsply -aALL|grep 'Product Name' ?#通過命令可以看出我們的RAID卡的型號為:PERC H730 Mini

Product Name: PERC H730 Mini

二、MegaCli命令羅列

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL ?#查看raid級別

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL #查看raid卡信息

#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL #查看硬盤信息

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -aAll #查看電池信息

#/opt/MegaRAID/MegaCli/MegaCli64 -FwTermLog -Dsply -aALL #查看raid卡日志

#/opt/MegaRAID/MegaCli/MegaCli64 -adpCount #顯示適配器個數

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpGetTime –aALL #顯示適配器時間

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aAll ?#顯示所有邏輯磁盤組信息

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL |grep 'Charger Status' #查看電池充電狀態

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL #顯示BBU狀態信息

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuCapacityInfo -aALL #顯示BBU容量信息

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuDesignInfo -aALL #顯示BBU設計參數

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuProperties -aALL #顯示當前BBU屬性

#/opt/MegaRAID/MegaCli/MegaCli64 -cfgdsply -aALL #顯示raid卡型號,raid設置,disk相關信息

博文來自:www.51niux.com

三、常用命令詳解

3.1 查看磁盤是否有問題:

#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL|grep Error

#這是查看所有磁盤信息的命令,然后grep錯誤信息,看下面過濾出來的信息,這是我一個R720的機器,有個磁盤有問題準備要更換呢。Media?Error?Count:?0?Other?Error?Count:?0?這兩個數值來確定陣列中磁盤是否有問題;Medai?Error?Count?表示磁盤可能錯誤,可能是磁盤有壞道,這個值不為0值得注意,數值越大,危險系數越高,Other?Error?Count?表示磁盤可能存在松動,可能需要重新再插入。Media?Error?Count:?0

Other?Error?Count:?1

Media?Error?Count:?98139

Other?Error?Count:?26672

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?4

Other?Error?Count:?68

Media?Error?Count:?0

Other?Error?Count:?1

Media?Error?Count:?0

Other?Error?Count:?0

Media?Error?Count:?2872

Other?Error?Count:?20

Media?Error?Count:?0

Other?Error?Count:?0

#當然實際生產環境中,如果想長期的檢查磁盤是否可能要出問題了,還是建議去/var/log/message里面去檢測信息,因為用MegaCli這種方式檢測硬盤,當然硬盤出問題了可以報出來,但是就算你換了硬盤,再次檢測會發現計數器還是沒有清零,這是因為raid緩存的問題,但是這個問題需要重啟服務器才能解決,所以說用這種方式做一個常規性的監控方式的話,這個問題還是要考慮進來的。

3.2 查看磁盤的緩存策略

#/opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -L0 -a0 ? ?#我這是DELLR730XD的服務器

Adapter 0-VD 0(target id: 0): Cache Policy:WriteBack, ReadAhead, Direct, No Write Cache if bad BBU

#L0表示磁盤組0,?a0表示適配器號

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAll|grep 'Target'Virtual?Drive:?0?(Target?Id:?0)

Virtual?Drive:?1?(Target?Id:?1)

Virtual?Drive:?2?(Target?Id:?2)

Virtual?Drive:?3?(Target?Id:?3)

Virtual?Drive:?4?(Target?Id:?4)

Virtual?Drive:?5?(Target?Id:?5)

Virtual?Drive:?6?(Target?Id:?6)

Virtual?Drive:?7?(Target?Id:?7)

Virtual?Drive:?8?(Target?Id:?8)

Virtual?Drive:?9?(Target?Id:?9)

Virtual?Drive:?10?(Target?Id:?10)

Virtual?Drive:?11?(Target?Id:?11)

#下面是查看適配器的命令:

#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL|grep AdapterAdapter?#0

#結果為0,第一塊raid卡適配器就為0,一般服務器就一個raid適配器,所以一般都是a0。

#/opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL -aALL ?# 查看所有磁盤的緩存策略 ,我這是十二塊硬盤Adapter?0-VD?0(target?id:?0):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?1(target?id:?1):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?2(target?id:?2):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?3(target?id:?3):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?4(target?id:?4):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?5(target?id:?5):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?6(target?id:?6):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?7(target?id:?7):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?8(target?id:?8):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?9(target?id:?9):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?10(target?id:?10):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

Adapter?0-VD?11(target?id:?11):?Cache?Policy:WriteBack,?ReadAhead,?Direct,?No?Write?Cache?if?bad?BBU

#/opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -L0 -a0 ? ? ?#不同型號的服務器默認緩存策略也是不一樣的,我這是dell FX2的服務器Adapter?0-VD?0(target?id:?0):?Cache?Policy:WriteThrough,?ReadAheadNone,?Direct,?No?Write?Cache?if?bad?BBU

#輸出內容表示的意思:Adapter 0-VD 0(target id: 0): ?為磁盤適配器號,0代表第一個,Cache Policy:后面是緩存策略

一:WriteBack與WriteThrough

1.WriteBack:進行寫操作時,將數據寫入RAID卡緩存,并直接返回,RAID卡控制器將在系統負載低或者Cache滿了的情況下把數據寫?入 硬盤。該設置會大大提升RAID卡寫性能,絕大多數的情況下會降低系統IO負載。?數據的可靠性由BBU(Battery?Backup?Unit)電池 進行保證

2.WriteThrough:?數據寫操作不使用緩存,數據直接寫入磁盤。RAID卡寫性能下降,在大多數情況下該設置會造成系統IO負載上升;

二:ReadAheadNone,ReadAdaptive,ReadAhead.

ReadAheadNone:?不開啟預讀。這是默認的設置

ReadAhead:?在讀操作時,預先把后面順序的數據加載入Cache,在順序讀取時,能提高性能,相反會降低隨機讀的性能。

ReadAdaptive:?自適應預讀,當Cache?memory和IO空閑時,采取順序預讀,平衡了連續讀性能及隨機讀的性能,需要消耗一定的計算能力。

三、WT(Writethrough),WB(Writeback),NORA(Noreadahead),RA(Readahead),ADRA(Adaptivereadahead),Cached,Direct

Write Policy(寫入策略) 將高速緩存方法設置為回寫或通過寫。

* 在Write-through(通過寫)高速緩存中,當磁盤子系統已接收到一個事務中的所有數據時,該控制器將數據傳輸完成信號發送給主機。

* 在Write-back(回寫)高速緩存中,當控制器高速緩存已接收到某個事務中的所有數據時,該控制器將數據傳輸完成信號發送給主機。

Read-ahead(預讀)啟用邏輯驅動器的SCSI預讀功能。 可將此參數設為No-Read-Ahead(非預讀)、Read-ahead(預讀)或Adaptive(自適應)。 默認設置為Adaptive(自適應)。

* No-Read-Ahead(非預讀)指定控制器在當前邏輯驅動器中不使用預讀方式。

* Read-ahead(預讀)在讀操作時,預先把后面順序的數據加載入Cache,在順序讀取時,能提高性能,相反會降低隨機讀的性能。

* Adaptive(自適應)指定如果最近兩次的磁盤訪問出現在連續的扇區內,則控制器開始采用Read-ahead(預讀)。 如果所有的讀取請求都是隨機的,則該算法回復到No-Read-Ahead(非預讀),但仍要判斷所有的讀取請求是否有按順序操作的可能。當Cache memory和IO空閑時,采取順序預讀,平衡了連續讀性能及隨機讀的性能,需要消耗一定的計算能力。

Cache Policy(高速緩存策略) 適合在特定邏輯驅動器上讀取。 它并不影響Read ahead(預讀)高速緩存。* Cached I/O(高速緩存I/O)指定所有讀取數據在高速緩存存儲器中緩存。* Direct I/O(直接I/O)指定讀取數據不在高速緩存存儲器中緩存。 此為默認設置。 它不會代替高速緩存策略設置。數據被同時傳送到高速緩存和主機。 如果再次讀取同一數據塊,則從高速緩存存儲器讀取

四、Write Cache OK if Bad BBU和 No Write Cache if Bad BBU

No Write Cache if Bad BBU: 如果BBU出問題,則關閉Write

Cache。由WriteBack自動切換到WriteThrough模式。如果沒有特殊要求,強烈建議采用該設置,以確保數據的安全。

Write Cache OK if Bad BBU: 如果BBU出問題,依然啟用Write Cache.

這是不推薦的設置,BBU出問題將無法保證斷電情況下數據的正常,如果此時依然采用WriteBack模式,遇到斷電將發生數據丟失。除非有UPS作額外保證,不然不推薦采用這個設置。

博文來自:www.51niux.com

3.3 RAID卡策略的更改

修改WriteBack:

/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WB -Lall -aAll

修改WriteThrough:

/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WT -Lall -aAll

修改No Write Cache if Bad BBU:

/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -NoCachedBadBBU -Lall -aAll

修改Write Cache OK if Bad BBU:

/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -CachedBadBBU -Lall -aAll

或者其他:

/opt/MegaRAID/MegaCli/MegaCli64?-LDSetProp WT|WB|NORA|RA|ADRA?-L0?-a0

/opt/MegaRAID/MegaCli/MegaCli64?-LDSetProp?-Cached|-Direct?-L0?-a0

3.4 在線創建raid陣列,刪除陣列,查看進度

創建一個raid5陣列,由物理盤號為,3,4,5構成,該陣列的熱備盤是物理盤號6:

/opt/MegaRAID/MegaCli/MegaCli64?-CfgLdAdd?-r5?[32:3,32:4,32:5]?WB Direct?-Hsp[32:6]?-a0

#r5代表的就是raid5,[32:5]里面32代表的是Enclosure Device ID,5代表的是Slot Number,WB和Direct緩存策略前面提到了,Hsp[32:6] 指定第七塊物理硬盤為熱備盤,a0表示陳列卡號。

在線更換raid0硬盤,原硬盤損壞。如盤號為5的硬盤損壞之前做了raid0,現在更換之后需要對新硬盤做raid0:

/opt/MegaRAID/MegaCli/MegaCli64? -DiscardPreservedCache -L5 -a0

#如果全是單盤raid0的話,清空磁盤組5的一般是第六塊物理硬盤的raid緩存,不然就要重啟服務器生效,L5是通過MegaCli64 -LDInfo -Lall -aALL得到的raid組對應的ID號,如Virtual Drive: 5 (Target Id: 5),ID號是從0開始的。

#/opt/MegaRAID/MegaCli/MegaCli64?-CfgLdAdd -r0 [32:5] -a0 #將盤號為5的硬盤做成raid0模式,其他參數使用默認。

清空所有的緩存:(一般不要這么干)

#/opt/MegaRAID/MegaCli/MegaCli64 -DiscardPreservedCache -Lall -a0 -NoLOG

陣列創建完后,會有一個初始化同步塊的過程,可以看看其進度:

#/opt/MegaRAID/MegaCli/MegaCli64?-LDInit -ShowProg -LALL -aALL

以動態可視化文字界面顯示 :

#/opt/MegaRAID/MegaCli/MegaCli64?-LDInit -ProgDsply -LALL –aALL

查看陣列后臺初始化進度 :

#/opt/MegaRAID/MegaCli/MegaCli64?-LDBI -ShowProg -LALL -aALL

以動態可視化文字界面顯示 :

#/opt/MegaRAID/MegaCli/MegaCli64?-LDBI -ProgDsply -LALL -aALL

查看某個物理磁盤重建進度:

#/opt/MegaRAID/MegaCli/MegaCli64?-PDRbld?-ShowProg?-PhysDrv?[32:5]?-a0

以動態可視化文字界面顯示:

#/opt/MegaRAID/MegaCli/MegaCli64?-PDRbld?-ProgDsply?-PhysDrv?[32:5]?-a0

刪除raid陣列:

#/opt/MegaRAID/MegaCli/MegaCli64?-CfgLdDel?-L5?-a0 ?#刪除陣列

3.5 其他的一些raid操作

指定第 5 塊盤作為全局熱備#/opt/MegaRAID/MegaCli/MegaCli64?-PDHSP?-Set?[-EnclAffinity]?[-nonRevertible]?-PhysDrv[32:5]?-a0

指定為某個陣列的專用熱備#/opt/MegaRAID/MegaCli/MegaCli64?-PDHSP?-Set?[-Dedicated?[-Array1]]?[-EnclAffinity]?[-nonRevertible]?-PhysDrv[32:5]?-a0

刪除全局熱備#/opt/MegaRAID/MegaCli/MegaCli64?-PDHSP?-Rmv?-PhysDrv[32:5]?-a0

將某塊物理盤下線/上線#/opt/MegaRAID/MegaCli/MegaCli64?-PDOffline?-PhysDrv?[32:4]?-a0#/opt/MegaRAID/MegaCli/MegaCli64?-PDOnline?-PhysDrv?[32:4]?-a0

手工配置初始化

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInit ?-start –L0 ?-a0 ? ? ? ? ? ? ? #快速初始化

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInit ?-start ?-full –L0 -a0 ? ? ? ?#完全初始化

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInit ?-progdsply -L0 -a0 ? ? ? ?#顯示初始化的進度

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInit ?-abort ?-L0 ?-a0 ? ? ? ? ? ? ? #結束完全初始化

raid電池操作:

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -BbuLearn a0 ?#手動充電

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL #查看充電狀態

#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL #查看充電進度百分比

查看raid陳列中掉線的硬盤:

#/opt/MegaRAID/MegaCli/MegaCli64 -pdgetmissing -a0

查看Megacli的log

#/opt/MegaRAID/MegaCli/MegaCli64?-FwTermLog?dsply?-a0?>?/tmp/Megacli.log

博文來自:www.51niux.com

3.6 查看磁盤的raid級別

RAID Level對應關系:

RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0 ? #RAID 1

RAID Level : Primary-0, Secondary-0, RAID Level Qualifier-0 ? #RAID 0

RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3 ? #RAID 5

如何判斷一塊硬盤是否做了raid呢?

#(新的機器可以通過下面命令來判斷,之前的不太清楚,應為raid0和不做raid顯示的信息很難判斷)

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAll|grep 'Is VD emulated'Is?VD?emulated??????:?No???#No就是沒做raid

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAll|grep 'Is VD emulated'Is?VD?emulated??????:?Yes??#yes就是做了raid

#如果是舊的服務器,如果我們上線服務器之前都會配置raid的話,一般會有名字,所以可以根據(但是這種方式也不是絕對的,可能不設置名稱):

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAll|grep NameName????????????????:raid1?#有名字的說明做了raid系統

Name????????????????:??#沒有名字的說明就是一塊裸盤

Name????????????????:

Name????????????????:

Name????????????????:

Name????????????????:

博文來自:www.51niux.com

3.7 如何判斷磁盤的raid級別:

雙盤做了raid1的舉例:

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAllAdapter?0?--?Virtual?Drive?Information:

Virtual?Drive:?0?(Target?Id:?0)

Name????????????????:raid1

RAID?Level??????????:?Primary-1,?Secondary-0,?RAID?Level?Qualifier-0??#通過RAID?Level可以看到這是raid1的盤

Size????????????????:?278.875?GB??#磁盤大小為300G

State???????????????:?Optimal??#最佳狀態

Strip?Size??????????:?64?KB

Number?Of?Drives????:?2??#2?說明是兩塊盤組成

Span?Depth??????????:?1??#說明實際只是raid?1

全盤做了raid5的舉例:

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAllAdapter?0?--?Virtual?Drive?Information:

Virtual?Drive:?0?(Target?Id:?0)

Name????????????????:raid5

RAID?Level??????????:?Primary-5,?Secondary-0,?RAID?Level?Qualifier-3??#通過RAID?Level??可以看出這是raid5

Size????????????????:?60.032?TB?#總大小60T

Sector?Size?????????:?512

Is?VD?emulated??????:?Yes

Parity?Size?????????:?5.457?TB?#單盤大小是6T

State???????????????:?Optimal

Strip?Size??????????:?64?KB

Number?Of?Drives????:?12??#由12塊盤組成

Span?Depth??????????:?1??#深度為1

注:如果是做了熱備盤的情況呢,再最下面會有兩行信息:

Number of Dedicated Hot Spares: 1? #有1塊盤做了熱備

0 : EnclId - 32 SlotId - 11?? #[32:11]盤做的熱備

raid10的舉例:

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LAll -aAllVirtual?Drive:?1?(Target?Id:?1)

Name????????????????:raid10-01

RAID?Level??????????:?Primary-1,?Secondary-0,?RAID?Level?Qualifier-0

Size????????????????:?556.929?GB??#總大小600G

State???????????????:?Optimal

Strip?Size??????????:?64?KB

Number?Of?Drives?per?span:2??#表示每2個物理盤做成一個RAID1盤組

Span?Depth??????????:?2?#2個RAID1盤組做成了RAID10

3.8 raid的各種創建

對一臺R720XD的服務器做下RAID演示一下(單盤2T,12個插槽):

#這塊服務器的特性就是不做硬盤不做raid,系統識別不到硬盤。

[root@localhost Linux]# /opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL |egrep ?"Enclosure Device ID|Slot Number"

#用命令查看一下可以看出,Enclosure Device ID為32,Slot Number是從0到11,也就是12塊盤。Enclosure?Device?ID:?32

Slot?Number:?0

Enclosure?Device?ID:?32

Slot?Number:?1

Enclosure?Device?ID:?32

Slot?Number:?2

Enclosure?Device?ID:?32

Slot?Number:?3

Enclosure?Device?ID:?32

Slot?Number:?4

Enclosure?Device?ID:?32

Slot?Number:?5

Enclosure?Device?ID:?32

Slot?Number:?6

Enclosure?Device?ID:?32

Slot?Number:?7

Enclosure?Device?ID:?32

Slot?Number:?8

Enclosure?Device?ID:?32

Slot?Number:?9

Enclosure?Device?ID:?32

Slot?Number:?10

Enclosure?Device?ID:?32

Slot?Number:?11

下面我們先對第三塊盤,創建一個raid0.

# /opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r0 [32:2] -a0Adapter?0:?Created?VD?1

Adapter?0:?Configured?the?Adapter!!

Exit?Code:?0x00

下面我們先對第四塊和第五塊盤,創建一個raid1

# /opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r1 [32:3,32:4] -a0Adapter?0:?Created?VD?2

Adapter?0:?Configured?the?Adapter!!

Exit?Code:?0x00

下面我們再對第6,7,8塊盤,創建一個raid5

# /opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r5 [32:5,32:6,32:7] -a0Adapter?0:?Created?VD?3

Adapter?0:?Configured?the?Adapter!!

Exit?Code:?0x00

下面我們再對第9,10,11,12塊盤,創建一個raid10

# /opt/MegaRAID/MegaCli/MegaCli64 -CfgSpanAdd -r10 -Array0[32:8,32:9] -Array1[32:10,32:11] -a0Adapter?0:?Created?VD?4

Adapter?0:?Configured?the?Adapter!!

Exit?Code:?0x00

#從上圖可以看出,我們做的raid級別

#第一個是raid1

#第二個是raid0

#第三個是raid1

#第四個是raid5

#第五個是raid10

3.9 刪除RAID卷組實操演示:

# /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL?? #首先先查看一下我們的系統RAID狀態。Virtual?Drive:?1?(Target?Id:?1)???#帶有Target標記的,Id:1,這個1就是我們所要刪除的raid組的號。

# umount /data/? #這個raid是掛載到了/data目錄,我們先解除掛載

# /opt/MegaRAID/MegaCli/MegaCli64 -cfgldde -L1 -a0? #上面不是查出id=1了嘛,就是指定a0適配器的,id為1的raid卷組刪除.id=1上面是id=0.Virtual?Disk?is?associate?with?Cache?Cade.?Please?Use?force?option?to?delete???#這是說有緩存,要強制刪除

Exit?Code:?0x01

# /opt/MegaRAID/MegaCli/MegaCli64 -cfglddel? -L1 -force -a0? #加上-force參數,再次刪除Adapter?0:?Deleted?Virtual?Drive-1(target?id-1)??#提示刪除成功。

Exit?Code:?0x00

#另外:/opt/MegaRAID/MegaCli/MegaCli64 -cfgldde? -a0? 是將a0適配器所有的raid信息都清除掉。

博文來自:www.51niux.com

3.10 各種注

注一:

做raid之前可以用#smartctl -i 磁盤盤符 ?來過濾出要做raid的磁盤的Serial number:號跟?MegaCli64獲得的磁盤信息進行匹配,確保盤符號無誤。

注二:

在在線做raid的時候可能遇到一個問題:

問題:

The specified physical disk does not have the appropriate attributes to complete

the requested command.

Exit Code: 0x26

解決辦法:

通過MegaCli64查看磁盤詳細發現格式為:

Firmware state: JBOD ? #這種格式不支持直接做raid。

#MegaCli64 -PDMakeGOOD -Physdrv [32:8] ?-force -aALL ?#將磁盤格式轉換一下Adapter:?0:?EnclId-32?SlotId-8?state?changed?to?Unconfigured-Good.

Exit?Code:?0x00

#MegaCli64 -PDInfo -Physdrv [32:8] -a0 | grep -E "Enclosure Device|Slot Number|Firmware state"Enclosure?Device?ID:?32

Slot?Number:?8

Firmware?state:?Unconfigured(good),?Spun?Up??#磁盤格式已經發生了變化,這種就可以做raid了

注三:

磁盤的空間和讀寫情況是我們比較關心的,有時候想測試數據對比一下的時候,如果想跳過一切緩存條件來進行裸盤測試的話,那硬盤也不應該做raid。但是現在R720xd,R730XD系列,不做raid的話,操作系統識別不到硬盤。

問題:

# MegaCli64 -PDMakeJBOD -PhysDrv[32:1] -a0??? #我們將磁盤轉換成JBOD模式,就可以直接被 可以直接被系統識別到。 ???Adapter: 0: Failed to change PD state at EnclId-32 SlotId-1.

Exit Code: 0x01

# MegaCli64 -AdpGetProp -enablejbod -aALL? #查看失敗的原因是默認是禁止向JBOD轉換的,當然還有一種情況就是raid卡不支持了。

# MegaCli64 -PDList -aALL -Nolog|grep '^Firm'? #查看一下,看到現在都是Spun Up模式Firmware?state:?Online,?Spun?Up

Firmware?state:?Unconfigured(good),?Spun?Up

Firmware?state:?Unconfigured(good),?Spun?Up

Firmware?state:?Unconfigured(good),?Spun?Up

Firmware?state:?Unconfigured(good),?Spun?Up

# MegaCli64 -h|grep JBOD? #查看一下如何開啟JBOD模式MegaCli?-AdpSetProp?-EnableJBOD?-val?-aN|-a0,1,2|-aALL

val?-?0=Disable?JBOD?mode.

1=Enable?JBOD?mode.

|?CopyBackDsbl?|?LoadBalanceMode?|?UseFDEOnlyEncrypt?|?WBSupport?|?EnableJBOD

MegaCli?-PDMakeJBOD?-PhysDrv[E0:S0,E1:S1,...]?-aN|-a0,1,2|-aALL

# MegaCli64 -AdpSetProp -EnableJBOD -1? -a0 #開啟支持JBOD模式,如果這里失敗后面的也就沒法轉換了。Adapter?0:?Set?JBOD?to?Enable?success.

Exit?Code:?0x0

# MegaCli64 -PDMakeJBOD -PhysDrv[32:2] -a0? #將某個磁盤轉換為JBOD模式

注四:

磁盤做了raid0,如果涉及到硬盤的更換,如果只是這塊硬盤熱插拔,等你插上的時候會發現磁盤變為了,下面是idrac卡界面的顯示:

#這是因為這塊硬盤上面本身就有raid配置信息,然后你又插上了,raid卡就不識別了認為是一個外來硬盤。Foreign State: Foreign。

#如果就是這塊硬盤硬盤做了個熱插拔,那么可以執行:MegaCli64 -cfgforeign -Import -a0?? #執行導入命令。

#如果這塊硬盤是從別的raid卡上面拔下來的還有raid信息插上了需要在線清一下配置信息再創建呢,就下面的操作。

#MegaCli64? -CfgLdAdd -r0 [32:5] -a0?? #現在直接創建肯定是不行的,會有下面的報錯The?specified?physical?disk?does?not?have?the?appropriate?attributes?to?complete

the?requested?command.

Exit?Code:?0x26

#MegaCli64 -pdinfo -physdrv [32:5] -a0?? #可以單獨查看一下這塊盤的信息Firmware?state:?Unconfigured(good),?Spun?Up???#現在都是Spun?Up模式

Foreign?State:?Foreign???#硬盤被標記為“Foreign”外來配置,要清除一下

Foreign?Secure:?Drive?is?not?secured?by?a?foreign?lock?key

#MegaCli64 -cfgforeign -scan -a0?? #掃描外來配置的個數There?are?1?foreign?configuration(s)?on?controller?0.

Exit?Code:?0x00

#MegaCli64 -cfgforeign -clear -a0? #清除一下foreign配置Foreign?configuration?0?is?cleared?on?controller?0.

Exit?Code:?0x00

#MegaCli64 -cfgforeign -scan -a0?? #再次掃描外來配置的個數已經沒有了There?is?no?foreign?configuration?on?controller?0.

Exit?Code:?0x00

#MegaCli64 -pdinfo -physdrv [32:5] -a0? #再次查看下此塊硬盤的信息Firmware?state:?Unconfigured(good),?Spun?Up

Foreign?State:?None

#MegaCli64 -cfgldadd -r0 [32:5] -a0? #然后將這塊硬盤做成raid0Adapter?0:?Created?VD?5

Adapter?0:?Configured?the?Adapter!!

Exit?Code:?0x00

#MegaCli64? -ldinfo -L5 -a0?? #已經可以看到這塊盤的raid信息了。Adapter?0?--?Virtual?Drive?Information:

Virtual?Drive:?5?(Target?Id:?5)

Name????????????????:

RAID?Level??????????:?Primary-0,?Secondary-0,?RAID?Level?Qualifier-0

Size????????????????:?278.875?GB

State???????????????:?Optimal

Strip?Size??????????:?64?KB

Number?Of?Drives????:?1

Span?Depth??????????:?1

#MegaCli64 -pdinfo -physdrv [32:5] -a0?? #可以再看下這塊盤的磁盤信息Firmware?state:?Online,?Spun?Up

Foreign?State:?None

idrac卡界面查看:

#到此系統已經可以識別到這塊硬盤了。

總結

以上是生活随笔為你收集整理的megacli通过盘符定位物理盘_柴少鹏的官方网站的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

中文字幕第一页在线 | 国产欧美综合视频 | 九九电影在线 | www.夜夜爱 | 国产在线成人 | 色综合天天做天天爱 | 伊人天天干 | 亚洲va男人天堂 | 亚洲成人动漫在线观看 | 亚洲激情在线播放 | 国产h片在线观看 | 天天插天天干天天操 | 国产精品视频在线看 | 99免费在线视频观看 | 黄影院| 日本中文在线播放 | 久久综合狠狠 | 国产高清精品在线观看 | 99久高清在线观看视频99精品热在线观看视频 | 国产一级黄色免费看 | 激情久久小说 | 成人啪啪18免费游戏链接 | 亚洲1区 在线 | 波多野结衣久久精品 | 黄色成人小视频 | 美女视频黄免费的久久 | 97国产精品亚洲精品 | 日韩中文字幕免费视频 | 国产精品s色 | 久久国产精品视频观看 | 欧美a视频在线观看 | 操碰av| 中文字幕视频免费观看 | 一本一道久久a久久精品 | 丁香色综合| 欧美日本日韩aⅴ在线视频 插插插色综合 | 亚洲综合视频在线 | 欧美另类高清 | 久久久久亚洲天堂 | 99视频精品 | 天堂久色 | 欧美性猛片 | 久久久午夜精品理论片中文字幕 | 天天舔夜夜操 | 91理论片午午伦夜理片久久 | 精品成人免费 | 成人国产精品一区 | 欧美亚洲另类在线视频 | 国产精品久久久久久久久费观看 | 日韩久久激情 | 国产成人久久久77777 | 欧美精品资源 | 亚洲男男gaygayxxxgv | 免费日韩电影 | 国产精品麻豆三级一区视频 | 日韩欧美视频免费在线观看 | 天堂视频一区 | 欧美性色综合网 | 免费亚洲成人 | 欧美有色| 五月婷丁香 | 日韩区欧美久久久无人区 | 美女激情影院 | 欧美一级视频免费看 | 国产精品99久久久久久宅男 | 国产精品久久在线观看 | 国产九九九九九 | 国产成人精品亚洲日本在线观看 | 色婷婷狠狠五月综合天色拍 | 日本不卡久久 | 亚洲久草在线视频 | 日韩欧美xx| 久久精品国产一区二区电影 | 香蕉在线视频播放网站 | 好看的国产精品视频 | 国产精品成人一区二区三区 | 超碰在线人人97 | 国内视频1区 | 国产精品区免费视频 | 国产午夜精品在线 | 国产美女精品在线 | 9ⅰ精品久久久久久久久中文字幕 | 91黄色在线看 | 91精品国产99久久久久 | 日本护士三级少妇三级999 | 香蕉视频在线免费看 | 热99在线视频 | 亚洲精品美女久久久久 | 成人动漫精品一区二区 | 精品中文字幕视频 | 国产精品第10页 | 草久久av| 久久久不卡影院 | 超碰在线9| 激情动态| 久久综合久久综合久久 | 九九在线高清精品视频 | 婷婷综合电影 | 亚洲精品大片www | 99精品视频在线播放观看 | 伊人影院99| 久久视频免费看 | 粉嫩aⅴ一区二区三区 | 深爱激情综合网 | 亚洲精品天天 | 国产视频精品免费播放 | 日本中文字幕在线视频 | 精品国产午夜 | 国产精品女人网站 | 九九电影在线 | 97国产情侣爱久久免费观看 | 国产亚洲精品久久久久久 | 中文字幕高清免费日韩视频在线 | 国产成人精品一区二区三区福利 | 国产人在线成免费视频 | www久久com| 九九热精品视频在线观看 | 亚洲综合色丁香婷婷六月图片 | 亚洲在线视频网站 | 久久免费视频网 | 久久精品一级片 | 国产精品久久久久久一区二区 | 久久午夜鲁丝片 | 国产精品免费看久久久8精臀av | 免费在线黄网 | 波多野结衣在线观看一区 | 99精品视频在线看 | 香蕉视频在线视频 | 久草视频手机在线 | 伊人开心激情 | 99热播精品| 欧美日韩不卡在线观看 | av观看在线观看 | 国产精品中文久久久久久久 | 国产999免费视频 | 亚洲高清免费在线 | 国产精品久久久久久吹潮天美传媒 | 久久综合九色综合97婷婷女人 | 国产1区2区3区在线 亚洲自拍偷拍色图 | 免费aa大片 | 国语久久| 福利一区二区在线 | 男女免费av | 天堂av免费看 | 亚洲一区二区视频在线 | 中文字幕在线观看免费 | 91成人免费在线 | 欧美日韩成人一区 | 日av免费 | 午夜精品久久久久久久99婷婷 | 免费午夜视频在线观看 | 亚洲视频第一页 | 91看片淫黄大片一级在线观看 | 蜜臀av性久久久久av蜜臀三区 | 亚洲电影久久 | 久久亚洲综合色 | 六月丁香婷婷网 | 成人久久综合 | 最新av在线免费观看 | 久久99国产精品免费网站 | 久久久免费高清视频 | 午夜视频在线网站 | 色网免费观看 | 永久免费观看视频 | 免费网站观看www在线观看 | 四虎影视8848dvd | 国产精品国产三级国产aⅴ入口 | 免费在线观看av电影 | 亚洲人精品午夜 | 国产精品久久久久9999 | 欧美一区二区在线免费看 | 日韩电影在线观看一区 | 欧美在线观看视频一区二区三区 | 伊人午夜 | 91网站在线视频 | 91资源在线观看 | 最新中文字幕 | 欧美日韩不卡一区二区三区 | 久热免费 | 亚洲一区精品二人人爽久久 | 一区二区三区在线免费观看视频 | 久热这里有精品 | 久久99精品久久久久久三级 | 99热 精品在线 | 亚洲一区二区高潮无套美女 | www.xxxx变态.com | 亚洲国产wwwccc36天堂 | 91九色国产 | 韩国av免费观看 | 国产精品久久久久久久久久新婚 | 日韩中文字幕a | 亚洲影院一区 | 国产中文在线观看 | 夜夜婷婷| 国产精品国产三级国产不产一地 | 91久久偷偷做嫩草影院 | 91伊人久久大香线蕉蜜芽人口 | 久久精品理论 | 欧亚日韩精品一区二区在线 | 欧美aa一级 | 日韩精品高清不卡 | 久久久久激情电影 | 日本黄色免费网站 | 天天操夜夜操夜夜操 | 欧美日韩高清一区二区 | 亚洲国产欧美在线人成大黄瓜 | 国产成人av电影在线 | 性色av免费看 | 黄色三级视频片 | 九九爱免费视频在线观看 | 午夜av片| 国产涩涩在线观看 | 色欧美日韩 | 欧美另类成人 | 中文字幕亚洲精品在线观看 | 精品久久久久一区二区国产 | 国产一级性生活视频 | 亚洲天堂在线观看完整版 | a在线观看免费视频 | 欧美日韩精品在线播放 | 亚洲最新av在线网址 | 91成版人在线观看入口 | 国产精品99久久久久久久久久久久 | 又长又大又黑又粗欧美 | 麻豆免费视频 | 亚洲小视频在线 | 少妇精品久久久一区二区免费 | 欧美天天综合网 | 国产精品福利午夜在线观看 | 日韩三级视频在线观看 | 97视频亚洲 | 天天激情站 | 深爱五月激情五月 | 97综合视频 | 探花视频在线观看免费版 | 99久久精品网 | 久久精品视频2 | 成人久久久久久久久 | 国产精品专区在线 | 久久婷婷开心 | 久久久精品国产一区二区三区 | 国产午夜麻豆影院在线观看 | 在线免费看片 | 在线观看视频在线观看 | 国产午夜精品免费一区二区三区视频 | 青青河边草免费直播 | 国产精品久久久久久久久久久免费 | 亚洲国产一区在线观看 | 欧美午夜精品久久久久久浪潮 | 精品久久久一区二区 | 国产高清不卡一区二区三区 | 日韩欧美在线国产 | 美女性爽视频国产免费app | 国产明星视频三级a三级点| 欧美日韩69| 欧美视频国产视频 | 看毛片网站 | 亚洲视频在线免费看 | 9在线观看免费高清完整版在线观看明 | 超碰人人干人人 | 久久毛片网| 黄p在线播放 | 日韩在线视频精品 | 欧美日韩视频一区二区 | 欧美性久久久久久 | 天天射网| 四虎国产精品成人免费4hu | 天天人人 | 99视频在线精品国自产拍免费观看 | 国产精品美乳一区二区免费 | 日本黄区免费视频观看 | 精品国产1区二区 | 中文字幕婷婷 | av久久久久久 | 国产一级视频免费看 | 国产色视频网站 | 国产精品网红福利 | 深爱婷婷久久综合 | 男女视频国产 | 人人射| 亚洲精品国产品国语在线 | 久久久一本精品99久久精品 | 婷婷在线视频观看 | av电影在线免费 | 99热.com | 最近日本mv字幕免费观看 | 中文字幕免费国产精品 | 亚洲高清在线精品 | 一级一级一片免费 | 免费在线观看成人av | 国产成人无码AⅤ片在线观 日韩av不卡在线 | 久久精品亚洲国产 | 欧美日韩性视频 | 亚州av免费 | 久久国产视屏 | 九九久久婷婷 | 波多野结衣电影一区二区三区 | 在线不卡a | 成人在线观看网址 | 国产1区在线 | 亚洲精品88欧美一区二区 | 日韩精品黄 | 91精品久久久久久久久 | 国产精品久久久久久欧美 | 精品a级片| 精品国产一区二区三区久久久 | 在线观看国产亚洲 | 免费的黄色av | 亚洲国产视频a | 国产精品久久久久四虎 | 国产精品免费久久久久久久久久中文 | 日日摸日日碰 | 国产精品久久久久婷婷二区次 | 亚洲视频1区2区 | 欧美精品久久人人躁人人爽 | 久久综合色8888 | 午夜精品一区二区三区可下载 | 久久精品一区八戒影视 | 美女视频黄是免费的 | 国产精品久久久久久久久久不蜜月 | 高清视频一区 | 视频在线观看入口黄最新永久免费国产 | 99久久99久国产黄毛片 | 久99久在线视频 | 国内精品在线一区 | 在线蜜桃视频 | 亚洲一区免费在线 | 在线观看视频你懂的 | 五月婷婷av在线 | 午夜精品久久久久久99热明星 | 中文国产字幕在线观看 | 亚洲精品456在线播放乱码 | 一区二区三区日韩在线观看 | 中文字幕资源网在线观看 | 国内成人综合 | 五月天免费网站 | 国产一区免费观看 | 国产91在线观看 | 狠狠的干狠狠的操 | 色婷婷在线视频 | 99久久精品国 | 九九热国产 | 天天射成人 | 国产视频高清 | 美女禁18| 欧美肥妇free| 日韩精品欧美专区 | 中文字幕亚洲情99在线 | 国产香蕉视频在线播放 | 亚洲精品成人免费 | 综合色婷婷 | 亚洲1区在线 | 国产高清精品在线 | 国产成人福利在线 | 天天干夜夜爽 | 在线观看免费国产小视频 | 午夜黄网| 精品国产三级 | 激情综合五月婷婷 | 8x成人免费视频 | 国产精品女视频 | 国产精品久久艹 | 精品久久免费看 | 黄色成人影院 | 成人av中文字幕 | 久久久受www免费人成 | www.夜夜草| 国产69久久 | 97精产国品一二三产区在线 | 韩国一区二区三区视频 | 91大片网站 | 国产精品去看片 | 国产99久久久国产精品免费看 | 精品在线免费观看 | 日韩午夜高清 | 中文字幕国产精品 | 久久tv| 成人影片在线免费观看 | 国产伦精品一区二区三区照片91 | 人人爱天天操 | 中文字幕在线观看第三页 | 欧美一区二区三区在线视频观看 | 91av观看 | 91尤物国产尤物福利在线播放 | 91完整版| av高清免费| 性色大片在线观看 | 97超碰人人澡 | 亚洲国产欧洲综合997久久, | 免费日韩av电影 | 亚洲伊人成综合网 | 99色99| 精品av在线播放 | 久久久久久网址 | 五月天婷婷在线播放 | 日韩特级黄色片 | 欧美日韩精品在线免费观看 | 成人黄色影片在线 | 成年人免费av网站 | 国产精品18久久久久白浆 | 麻豆视频在线观看免费 | 国产黄在线播放 | 91久久精品一区二区三区 | 999视频精品 | 国产精品久久久久久高潮 | 国内精品久久久久久中文字幕 | 国产精品久久久久国产精品日日 | 欧美国产高清 | 福利视频网址 | 精品免费视频123区 午夜久久成人 | 操处女逼 | 最近2019中文免费高清视频观看www99 | 国产精品久久久久免费 | 久久久久成人精品亚洲国产 | 91传媒免费观看 | 制服丝袜欧美 | 国产成人久久av免费高清密臂 | 久草视频在线免费播放 | 午夜av激情| 色综合久久88色综合天天人守婷 | 日日夜夜精品免费 | 国产v在线观看 | 激情五月播播久久久精品 | 中文字幕在线电影 | 免费91麻豆精品国产自产在线观看 | 成人欧美在线 | 6699私人影院 | 日韩电影在线一区二区 | 欧美日本不卡视频 | 中文字幕日韩有码 | 久久dvd| 亚洲欧美少妇 | 五月婷婷天堂 | 伊人婷婷网| 欧美在线一二 | 久久久久久精 | 国产成人精品一区二区三区 | 天天亚洲综合 | 国产手机精品视频 | 看污网站 | 韩国av在线播放 | 亚洲va在线va天堂 | 久久婷婷网| 色婷婷视频在线 | 视频在线观看入口黄最新永久免费国产 | 99色婷婷 | 欧美成人区 | 精品久久久久国产免费第一页 | 丁香六月久久综合狠狠色 | 69国产成人综合久久精品欧美 | 日韩久久精品 | 国产在线国偷精品产拍免费yy | 91成人网在线观看 | 欧美一级性生活视频 | 色综合久久精品 | 在线观看的黄色 | 91激情视频在线观看 | 国产美女无遮挡永久免费 | www.伊人网| 久久久国产一区二区三区四区小说 | 国产成人久久77777精品 | 日本免费一二三区 | 久久在草 | 521色香蕉网站在线观看 | 国产精品美女999 | 91手机电视| 国产精品自产拍在线观看网站 | 成人一级片免费看 | 97视频免费在线观看 | 久久99网站| 欧美一级乱黄 | 视频在线观看99 | 97超碰免费在线观看 | aⅴ精品av导航 | 999成人精品 | 亚洲成人免费在线观看 | 亚洲国产精品日韩 | 欧美日韩亚洲第一 | 国产午夜精品一区二区三区在线观看 | 亚洲激情av | 夜夜视频 | 在线视频你懂 | 日韩在线观看视频一区二区三区 | 久久精品久久久久电影 | 干天天| 国产麻豆电影 | 午夜久久久久久久久 | 在线久热 | 91精彩在线视频 | 亚洲色图27p| 丁香激情婷婷 | 五月天婷婷免费视频 | 一级黄色片在线 | 丁香花在线视频观看免费 | 久久精品男人的天堂 | 蜜臀久久99精品久久久无需会员 | 黄色精品在线看 | 人人搞人人干 | 日韩网站在线免费观看 | 亚洲人成免费网站 | 激情黄色av| 亚洲精品乱码久久久久久9色 | 亚洲成av人片在线观看无 | 麻花豆传媒mv在线观看 | 欧美黄污视频 | 国产精品久久久区三区天天噜 | 91免费的视频在线播放 | 国产精品久久久久久久久久免费看 | 91精品国产99久久久久久红楼 | 婷婷综合影院 | 在线韩国电影免费观影完整版 | 国产精品女人久久久久久 | 免费三级网 | 青青河边草观看完整版高清 | 99亚洲精品| 伊色综合久久之综合久久 | 亚洲国产精品va在线看 | av网站在线观看播放 | 91福利视频久久久久 | 亚洲黄色免费观看 | 99 久久久久 | 日韩av一区二区在线影视 | 欧美日韩国产一区 | 国产亚洲亚洲 | 国产九九九视频 | 91免费网站在线观看 | 亚欧日韩成人h片 | 国产黄a三级 | 国产精品欧美久久久久天天影视 | 国产精品毛片一区二区在线 | 亚洲一片黄 | 久久久午夜精品福利内容 | 久久久免费电影 | 国产一级91 | 91探花视频 | 美女在线免费视频 | 久久精品一二三区白丝高潮 | 午夜美女视频 | 2019中文最近的2019中文在线 | 精品中文字幕在线观看 | 久久婷婷丁香 | 免费视频在线观看网站 | 国产精品99精品久久免费 | 欧美日韩国产精品一区二区亚洲 | 天天摸天天舔天天操 | 亚洲精品网址在线观看 | 亚洲影院一区 | 亚洲精品视频免费在线观看 | 超碰在线人人 | 国产精品免费久久久久久久久久中文 | 国产剧在线观看片 | 日韩午夜电影院 | 久久精选视频 | 人人澡超碰碰97碰碰碰软件 | 亚洲免费av电影 | 久久av一区二区三区亚洲 | 成人欧美一区二区三区黑人麻豆 | 欧美污污网站 | 特级毛片在线免费观看 | 麻豆网站免费观看 | 久久视频免费 | 黄色毛片视频免费 | 91麻豆精品| 国语麻豆 | 成年人免费看的视频 | 69国产精品成人在线播放 | 国产高清免费在线播放 | 日韩一区二区在线免费观看 | 97品白浆高清久久久久久 | 久久久午夜精品福利内容 | 成人91免费视频 | 超碰在线观看97 | 久草在线视频资源 | 国产精品久久久免费看 | 在线亚洲小视频 | 国内精品视频在线 | www免费黄色| 日韩一区正在播放 | 成人毛片在线观看 | 最新三级在线 | 日韩试看| 免费在线一区二区 | 国产精品久久久久久久久久不蜜月 | 亚洲国产网址 | 五月激情综合婷婷 | 国产原创在线 | 日韩高清不卡在线 | 制服丝袜在线91 | 成人av在线一区二区 | 日韩中文字幕免费看 | 91亚洲精品视频 | 高清国产一区 | 国产精品美女久久久免费 | 久久99国产精品自在自在app | 精品视频资源站 | 波多野结衣视频在线 | 九九九热精品免费视频观看 | 成年人国产精品 | 999色视频 | 婷婷 综合 色 | 久色免费视频 | 91成人精品一区在线播放 | 九九激情视频 | 日本久久久亚洲精品 | www.伊人色.com | 丝袜护士aⅴ在线白丝护士 天天综合精品 | 97精品一区 | 97视频人人 | 成人一级电影在线观看 | 美女网站在线播放 | 久精品视频在线 | 精品欧美在线视频 | 久久久久久免费毛片精品 | 91大神精品视频在线观看 | 国产精品第一页在线观看 | 国产在线播放不卡 | 正在播放国产一区 | 丝袜精品视频 | 欧美a级在线播放 | 涩五月婷婷 | 丁香婷婷久久久综合精品国产 | 久久视频免费看 | 欧美日韩精品在线观看 | 日韩精品视频在线观看网址 | 日韩精品一区二区三区免费观看 | 成片免费观看视频999 | 久久视频免费在线观看 | 久久字幕网 | av在线h | 久久久免费国产 | avove黑丝 | 干 操 插| 久久av高清| 一区二区精品在线观看 | 九月婷婷色 | 综合影视| 99热这里只有精品国产首页 | 亚洲成a人片77777潘金莲 | 国产最顶级的黄色片在线免费观看 | 综合国产视频 | 久久久久免费精品国产 | 在线黄网站 | 国产黄视频在线观看 | 日韩av中文字幕在线免费观看 | 欧美日韩在线观看不卡 | 久久精品欧美 | 91精品久久久久久久99蜜桃 | 免费 在线 中文 日本 | 亚洲黄色在线播放 | 九色91福利| 亚洲精品国产成人av在线 | 久久久久福利视频 | 免费性网站 | 91精品国产自产91精品 | 99国产成+人+综合+亚洲 欧美 | 欧美日一级片 | 激情视频亚洲 | 亚洲乱码在线观看 | www.一区二区三区 | 久久黄色影院 | 久久久国产精品久久久 | 日日干 天天干 | 精品一区二区三区电影 | 久久久国产视频 | 99视频在线观看一区三区 | 97高清视频 | 欧美日韩在线看 | 国产精品高清在线观看 | 99久久精品电影 | 精品一区二区免费在线观看 | 成人黄色小说在线观看 | 亚洲免费a | 成人av直播 | 国产精品毛片久久蜜 | 国产精品久久久一区二区 | 欧美午夜一区二区福利视频 | 日韩电影一区二区三区在线观看 | 国内精品久久久久 | 中文字幕欧美三区 | 九九免费精品视频在线观看 | 国产伦理精品一区二区 | 黄色软件在线观看 | 日韩v欧美v日本v亚洲v国产v | 美女国产| 成人国产精品av | 亚洲高清免费在线 | 91免费观看视频网站 | 欧美日韩中文国产 | 国产在线观看h | 日韩 国产 | 免费看色的网站 | 久久伊人精品天天 | 亚洲成人999 | 免费高清男女打扑克视频 | 伊人五月天婷婷 | 欧美日韩国产一二三区 | 六月丁香在线视频 | 九九热精品国产 | 国内成人av | 99久久精品国产观看 | 色婷婷视频在线观看 | 亚洲首页| 27xxoo无遮挡动态视频 | 国产成人精品aaa | 91精品在线播放 | 国产精品日韩欧美 | 欧美一级欧美一级 | 91精选在线 | 91在线色 | 欧美日韩高清一区二区 | 国产在线精品国自产拍影院 | 国产精品不卡在线观看 | 日韩av中文在线观看 | 91av视频网| 在线视频麻豆 | 在线观看精品一区 | 日日夜夜精品视频天天综合网 | 91九色网站 | 久久综合色8888 | 精品一区91| 精品久久久久久久久中文字幕 | 视频91在线 | 日韩二区在线观看 | 亚洲综合成人专区片 | 偷拍区另类综合在线 | 精品一区二区三区在线播放 | 国产精品不卡视频 | 狠狠躁夜夜av | 国产成人专区 | 开心色插 | 一级理论片在线观看 | 天天操天天射天天添 | 天天操天天草 | 四虎最新域名 | 麻豆网站免费观看 | 国产做a爱一级久久 | 天天干夜夜夜 | 91成人精品一区在线播放69 | 天天干天天做天天操 | 在线观看一 | 精品久久一级片 | 激情视频免费观看 | 午夜精品久久久久久久久久久久久久 | 91精品天码美女少妇 | 亚洲精品美女久久17c | 久久中文网| 精品国产一区二区三区免费 | 在线观看韩日电影免费 | 午夜成人免费影院 | 亚洲精品电影在线 | 亚洲精品乱码白浆高清久久久久久 | 日韩美女av在线 | 久久久三级视频 | 伊人狠狠色丁香婷婷综合 | 国产精品久久网站 | 欧美va天堂va视频va在线 | 91网页版在线观看 | 一区二区伦理电影 | 亚洲精品国产精品久久99热 | 五月婷婷综合在线观看 | 久久草草热国产精品直播 | 日韩在线观看中文 | 国产精品自产拍在线观看蜜 | 亚洲精品午夜国产va久久成人 | 亚洲精品www. | 麻豆mv在线观看 | 日韩三级中文字幕 | 在线看黄色的网站 | 国产精品久久久久久久av电影 | 国产69熟| 韩国在线一区 | 极品国产91在线网站 | 久草视频在线新免费 | 日韩欧美精品在线 | 在线视频欧美日韩 | 精品在线观看一区二区 | 国产精品一区专区欧美日韩 | 久久免费国产视频 | 91精品国产高清自在线观看 | 日韩中文字幕亚洲一区二区va在线 | 啪啪免费观看网站 | 青青河边草免费直播 | 操操操av| 日韩精品高清视频 | 日本激情动作片免费看 | 中文av免费 | 深夜福利视频在线观看 | 亚洲综合丁香 | 国产精品一级在线 | 在线天堂中文在线资源网 | a一片一级 | 成人黄色毛片 | 中文字幕永久 | 黄色小说18 | 婷婷精品国产欧美精品亚洲人人爽 | 成人免费一区二区三区在线观看 | 国产成人亚洲精品自产在线 | 一区二区视频在线播放 | 亚洲无在线| 色婷婷激情四射 | 夜夜骑首页 | 开心激情网五月天 | 国产一区在线免费观看 | 中文字幕在线免费看 | 97电影在线看视频 | 久草免费电影 | 日本系列中文字幕 | 成人a级网站 | 日本在线中文 | 91超级碰 | 99中文字幕视频 | 日韩国产在线观看 | 亚洲美女精品视频 | a级国产乱理伦片在线观看 亚洲3级 | 久久国产精品99久久久久久老狼 | 日韩精品亚洲专区在线观看 | 中文字幕日韩无 | 99久久精品国产观看 | 亚洲精品一区二区网址 | 麻豆超碰| 日批网站免费观看 | 国产一区二区久久 | 欧美一区免费在线观看 | 91av电影| 国产精品ssss在线亚洲 | 久久涩涩网站 | 成在人线av | 免费三级黄色 | 一区二区日韩av | 97在线视频免费播放 | 日韩久久精品一区二区 | 国产又黄又猛又粗 | 午夜精品剧场 | 欧美人人爱 | 国产无遮挡又黄又爽馒头漫画 | 日韩高清dvd| 97超碰.com | 五月开心六月伊人色婷婷 | 国产一区欧美在线 | 五月天av在线 | 日韩精品一区二区三区高清免费 | 色欧美成人精品a∨在线观看 | av网址最新 | 一区中文字幕 | 日日操夜夜操狠狠操 | 国产视频1 | 国产成人精品亚洲 | 日韩免费视频观看 | 五月婷婷狠狠 | 国产成人一区二区三区电影 | 亚洲视频,欧洲视频 | 在线视频一区二区 | 欧美一级久久久久 | 久久精品欧美一 | 又粗又长又大又爽又黄少妇毛片 | 日韩av网站在线播放 | 日本最新一区二区三区 | 亚洲黄色免费 | 国产在线不卡精品 | 国产91精品在线观看 | 午夜视频在线观看欧美 | 亚洲乱亚洲乱妇 | 99精品黄色 | 97色国产| 日韩av二区| 麻豆视频国产 | 天天爽人人爽夜夜爽 | 欧美日韩一区二区三区在线免费观看 | 91av欧美| 国内精品免费久久影院 | 亚洲综合在线观看视频 | 国产色视频网站 | 中文av免费| 国产精品久久久区三区天天噜 | 日日操操操| 亚洲男男gaygay无套 | 亚洲在线视频播放 | 久久免费国产 | www.五月天激情 | 日韩电影一区二区三区在线观看 | 中文字幕在线观看视频网站 | 欧美坐爱视频 | 91毛片在线 | www.五月天激情 | 国产精品美女999 | 日日综合 | 极品久久久 | 日韩黄色免费在线观看 | 欧美专区国产专区 | 亚洲成人国产 | 中文字幕免费成人 | 久久99免费视频 | 婷婷丁香av | 国产高清在线永久 | 久久精品这里精品 | a级免费观看 | 偷拍福利视频一区二区三区 | 国产麻豆精品传媒av国产下载 | 国产又粗又猛又爽 | 国产精品1区2区 | 欧美在线视频不卡 | 性色大片在线观看 | 九九爱免费视频 | 久久1电影院 | 人人草人人做 | 久草免费手机视频 | 精品国产一区二区三区在线 | 97日日碰人人模人人澡分享吧 | 免费在线播放av电影 | 伊人色**天天综合婷婷 | 国内久久久久久 | 国产在线观看一区 | 欧美亚洲免费在线一区 | 亚洲天堂社区 | 成人在线超碰 | 日本丶国产丶欧美色综合 | 91亚洲精品久久久久图片蜜桃 | 午夜精品一区二区三区可下载 | 日韩3区 | 日韩免费一区二区在线观看 | 亚洲网站在线看 | 日本最新一区二区三区 | 欧美日韩一区二区久久 | 337p欧美 | 激情黄色av| 午夜av免费观看 | 黄色免费网站 | 精品久久久久_ | 久久久久久久99精品免费观看 | 日韩欧美久久 | 久久特级毛片 | 免费在线观看中文字幕 | 国产在线精品区 | 亚洲精品视频大全 | 久久精品视频网址 | 三级小视频在线观看 | 黄色视屏av | 亚洲成人黄色av | 日韩精选在线观看 | 久久免费视频一区 | 国产aaa大片 | 亚洲国产理论片 | 中文一区二区三区在线观看 | 久草在线久| 日韩免费视频线观看 | 午夜精品一二三区 | 亚洲每日更新 | 中国一 片免费观看 | 欧洲一区精品 | 亚洲国产婷婷 | 日韩美女免费线视频 | 亚洲精选在线 | 日韩视频一区二区三区 | 天天亚洲 | 国产精品手机视频 | 色视频网页| 成片免费观看视频大全 | 日本护士三级少妇三级999 | 久久久国产精华液 | 91在线影视 | 欧美激情精品久久久久 | 亚洲视频免费在线观看 | 国产美女视频黄a视频免费 久久综合九色欧美综合狠狠 | 日本久久久影视 | 免费网址你懂的 | 欧美成年人在线观看 | 激情欧美xxxx | 九九免费在线观看 | 7777精品伊人久久久大香线蕉 | 蜜臀久久99精品久久久酒店新书 | 国产精品综合av一区二区国产馆 | 日韩av在线不卡 | 三级av片| 国产精品久久久久永久免费看 | 欧美精品v国产精品v日韩精品 | 久久久久久久99精品免费观看 | 国产精品免费久久久久影院仙踪林 | 黄色大片av | 黄色免费高清视频 | 久久人人爽av | 在线观看日本高清mv视频 | 久久久私人影院 | 91大片网站 | 久久久久久久国产精品影院 | 国产精品2020 | 亚洲劲爆av| 亚洲综合导航 | 国产久草在线观看 | 久久草草影视免费网 | 99精品国产高清在线观看 | 丁香九月婷婷 | 在线亚洲播放 | 婷婷色综 | 日韩a在线观看 | 欧美日韩在线播放 | 日本一区二区三区免费观看 | 黄色一二级片 | 天天射天天 |