日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > linux >内容正文

linux

linux控制cache使用值e,[轉]Linux塊設備加速緩存bcache和dm-cache:使用SSD來加速服務器...

發布時間:2024/3/26 linux 58 豆豆
生活随笔 收集整理的這篇文章主要介紹了 linux控制cache使用值e,[轉]Linux塊設備加速緩存bcache和dm-cache:使用SSD來加速服務器... 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

在 LSFMM 2013 峰會上,Mike Snitzer, Kent Overstreet, Alasdair Kergon, 和 Darrick Wong 共同主持了一個討論,內容是關於兩個彼此獨立的塊設備層緩存方案 ——

dm-cache 和

bcache。

Snitzer 首先介紹了 3.9 kernel 引入的 dm-cache。這個方案使用率內核中的 device mapper 框架,實現了快速設備對慢速的“原始”設備的 writeback 或 writethrough 緩存。Snitzer 介紹到,dm-cache 的原理是使用 device mapper 核心,並在上面增加一個策略層。這個策略層“非常類似”一個插件接口,可以實現不同的策略。這些策略(以及緩存的內容)決定了緩存是否可以命中,是否需要進行數據遷移(在原始設備與緩存設備之間進行某個方向的數據移動)。目前已經實現了包括最近最少用(LRU)、最常使用(MFU)等策略,但目前只有缺省的“mq”策略合並到內核中了,以便減少起初需要測試到的策略數量。文件系統可以為策略提供 hints,比如某些塊臟了,或是某些塊已經被放棄了。這些信息有助於策略更好地決定塊要存儲到的位置。

之后,Overstreet 介紹了 bcache 的狀態更新,后者已經在排隊進入 3.10 了。他介紹到,bcache 已經有“很多用戶”了,而且代碼已經比較穩定了。他最近主要是在進行 bug fix。與 dm-cache 實現的的分級存儲不同,按照 Overstreet 的介紹,bcache 更像一個傳統的緩存。它可以用來存儲任何 extents,甚至是是一個扇區,而 dm-cache 只能對整塊數據進行緩存。

就在峰會開始前,Wong 給多個郵件列表(包括 dm-devel, linux-bcache, linux-kernel)發出過一封 email 來比較 bcache, dm-cache, 和 EnhanceIO。他分別編譯了帶有上述各個特性的內核,進行了一些測試。他發現,EnhanceIO 是最慢的,bcache 是它的 4-6 倍,而 dm-cache 更快,達到了 15 倍,不過 dm-cache 無法完成有些測試。所有比較都在一塊普通硬盤上進行了相同的測試,有時,由於未知的原因,dm-cache 的表現或多或少的和硬盤完全一樣。他指出,有些測試會導致 mkfs 創建的 inode table 倍緩存住,而通常這並不是一種有效的使用緩存的方法。Snitzer 表示,他曾試著去重現 Wong 的測試結果,但結果對 bcache 和 dm-cache 都得倒了更差的成績。他說他希望和 Overstreet 一起去找出原因。而 Overstreet 則表示,不應該過多地看綜合測試的成績,這些測試是游泳的,但可能帶有誤導性。

Ric Wheeler 提問,Snitzer 是否“在真實工作負載下看到了實質性的性能提升”,Snitzer提到,在不同的 Git 標簽之間進行切換就是 dm-cache 可以完勝的一個例子,不過他需要一些幫助來獲得更貼近實際使用的負載。一個參會者問道,這些方案是否假設緩存設備總是存在。Snitzer 說,dm-cache 確實如此假設,但這是需要改進的地方。Overstreet 說, bcache 並不要求 cache 設備一直都在。因為 bcache 已經在實際產品中使用了,所以它有機會去碰到這些疑難場景,並可以處理這些緩存設備無法工作的情形。Snitzer 表示,dm-cache 確實還有很多事情要做。起初,它是進行 cache 和原始設備的並行 IO,但最終不得不回到順序 IO。而且,對於流水線中有 NVM 設備的情況下,存儲層次也是如此。因為 dm “到處都是分層”,dm-cache 剛好適合進行存儲分層,不過 Overstreet 指出,bcache 也可以做到分級存儲。這個討論最終沒有一個明確的結論,只是提到需要讓兩個方案的“真實世界”性能讀數變得更好。同時也指出了,不同的測試者進行的測試得到的結論差異是巨大的,這也是真實世界的情況的一個寫照。

- See more at:

http://wangxu.me/blog/#sthash.smQmCr76.dpuf

Linux塊設備加速緩存之bcache

什么是bcache

bcache是linux內核塊層cache。它使用類似SSD來作為HDD硬盤的cache,從而起到加速作用。

HDD硬盤便宜並且空間更大,SSD速度快但更貴。如果能兩者兼得,豈不快哉?bcache能做到。

bcache使用SSD作為其他塊設備cache。類似ZFS的L2Arc,但bcache還增加了寫回策略,並且是與文件系統無關的。bcache被設計成只需要最小的代價,無需配置就能在所有環境中工作。默認狀態下bcache不緩存順序IO,只緩存隨機讀寫。bcache適用於桌面、服務器,高級存儲陣列,甚至是嵌入式環境。

設計bcache目標是讓被緩存設備與SSD一樣快(包括緩存命中、緩存不命中、透寫和回寫)。現在還未達到初衷,特別是順序寫。同時測試結果表明離目標很接近,甚至有些情況下表現更好,例如隨機寫。

bcache是數據安全的。對於寫回策略緩存來說,可靠性是非常重要的,出錯就意味著丟失數據。bcache是用電池備份陣列控制器的替代選擇,同時也要求bcache在異常掉電時也是數據安全的。對於寫而言,必須在所有數據寫到可靠介質之后才能向上層返回寫成功,在異常掉電情況下,寫不能是部分完成的。大量工作已經投入到這部分數據安全的工作中。

bcache性能設計目標是等同於SSD。最大程度上去最小化寫放大,並避免隨機寫。bcache將隨機寫轉換為順序寫,首先寫到SSD,然后回寫緩存使用SSD緩存大量的寫,最后將寫有序寫到磁盤或者陣列上。對於RAID6陣列,隨機寫性能很差,還要花費不菲的價格購買帶有電池保護的陣列控制器。現在有了bcache,你就可以直接使用linux自帶的優秀軟RAID,甚至可以在更廉價的硬件上獲取更高的隨機寫性能。

特性

1、一個緩存設備可以作為多個設備的緩存,並且可以在設備運行時動態添加和刪除緩存。

2、異常關機恢復,只有當寫到磁盤后緩存才會確認寫完成。

3、正確處理寫阻塞和刷緩存

4、支持writethrough, writeback和writearound

5、檢測並避開順序IO(可配置關閉該選項)

6、當檢測到SSD延遲超過配置邊界值,減少到SSD流量(當一個SSD作為多個磁盤緩存時使用)

7、緩存不命中時預讀(默認關閉)

8、高性能的writeback實現:臟數據都是排序后再回寫。如果設置了writeback水位線,PD控制器會根據臟數據比例來平滑處理到后臺writeback流量。

9、使用高效率了B+樹,bcache隨機讀可以達到1M IOPS

10、穩定,已經有產品應用

性能

7/25/12 隨機測試

在我的測試機上,我將SSD盤劃分為兩個相同大小的分區,一個分區用於測試SSD裸盤,另一個作為硬盤緩存。

bcache配置修改:cache_mode設置為writeback,writeback_percent設置為40。(如果writeback_percent不為0,bcache使用PD控制器根據緩存的臟數據塊來平滑處理下發到磁盤的流量)。同時還關閉了擁塞閥值,因為當SSD延遲達到極限時,如果bcache切換到writethrough將會影響結果。

SSD盤為Intel 160G MLC SSD,也就是Intel SSDSA2M160。

FIO作為性能測試,測試腳本如下:

[global] randrepeat=1 ioengine=libaio bs=4k ba=4k size=8G direct=1 gtod_reduce=1 norandommap iodepth=64

FIO運行在SSD裸設備上,但對於這類性能測試軟件來說應該沒有影響。

裸SSD設備上隨機寫測試結果如下:

root@utumno:~# fio ~/rw4k

randwrite: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=64

fio 1.59

Starting 1 process

Jobs: 1 (f=1): [w] [100.0% done] [0K/49885K /s] [0 /12.2K iops] [eta 00m:00s]

randwrite: (groupid=0, jobs=1): err= 0: pid=1770

write: io=8192.3MB, bw=47666KB/s, iops=11916 , runt=175991msec

cpu : usr=4.33%, sys=14.28%, ctx=2071968, majf=0, minf=19

IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%

submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%

issued r/w/d: total=0/2097215/0, short=0/0/0

Run status group 0 (all jobs):

WRITE: io=8192.3MB, aggrb=47666KB/s, minb=48810KB/s, maxb=48810KB/s, mint=175991msec, maxt=175991msec

Disk stats (read/write):

sdb: ios=69/2097888, merge=0/3569, ticks=0/11243992, in_queue=11245600, util=99.99%

添加了bcache:

root@utumno:~# fio ~/rw4k

randwrite: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=64

fio 1.59

Starting 1 process

Jobs: 1 (f=1): [w] [100.0% done] [0K/75776K /s] [0 /18.5K iops] [eta 00m:00s]

randwrite: (groupid=0, jobs=1): err= 0: pid=1914

write: io=8192.3MB, bw=83069KB/s, iops=20767 , runt=100987msec

cpu : usr=3.17%, sys=13.27%, ctx=456026, majf=0, minf=19

IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%

submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%

issued r/w/d: total=0/2097215/0, short=0/0/0

Run status group 0 (all jobs):

WRITE: io=8192.3MB, aggrb=83068KB/s, minb=85062KB/s, maxb=85062KB/s, mint=100987msec, maxt=100987msec

Disk stats (read/write):

bcache0: ios=0/0, merge=0/0, ticks=0/0, in_queue=0, util=0.00%

添加了bcache之后IOPS為18.5K,裸SSD設備為12.2K。bcache表現更佳是因為bcache按順序將寫請求發送到SSD,但額外加入了更新索引的開銷。bcache對隨機寫做了優化,bcache還從高IO深度(64)獲益,因為在高IO深度的情況下就可以將多次下標更新合並為一次寫請求。

高IO深度就代表著高系統負載,當IO深度下調時IOPS也出現變化:

IO depth of 32: bcache 20.3k iops, raw ssd 19.8k iops

IO depth of 16: bcache 16.7k iops, raw ssd 23.5k iops

IO depth of 8: bcache 8.7k iops, raw ssd 14.9k iops

IO depth of 4: bcache 8.9k iops, raw ssd 19.7k iops

SSD性能在不同IO深度時出現了波動。對於不同的寫模型會有不同的結果,我們只關注兩者的相對數值。

當測試隨機4K寫,IO深度為1時,bcache寫次數是裸SSD設備的兩倍:每一次寫都需要再更新一次索引。

隨機讀

IO depth of 64: bcache 29.5k iops, raw ssd 25.4k iops

IO depth of 16: bcache 28.2k iops, raw ssd 27.6k iops

bcache略勝一籌,可能跟要讀的數據相關。這里的結論是隨機讀時bcache與裸SSD讀性能是相同的。

這里要注意的是,讀4K隨機寫下去的數據,這樣的測試模型對於bcache是不好的。這意味btree都是4K大小,btree將比通常時候大得多。在實際應用中,平均大小是100K。btree變大就意味著索引占用更大的內存空間,並且有一部分是在二級索引。根據個人經驗這些開銷在大型機器IOPS超過500K時才會有實際影響。

如果大家有其他的測試方法或者我的測試方法中有什么問題請通知郵件告訴我。

常見問題

關機、設備移除

系統關機時cache仍然是臟的,就是說后端磁盤的數據並不可靠。如果要保證后端磁盤數據是安全的,就需要手動移動cache或者將cache設置為writethrough模式。

自動掛載

bcache會自動匹配cache和后端設備。匹配過程與設備對系統可用的次序沒有關系。

帶bcache的根目錄分區

為了讓根分區能夠使用bcache,需要添加rootdelay=3到啟動參數,這樣才能讓udev規則在系統mount根文件系統之前運行。

已格式化過的磁盤或分區

如果一個分區或者磁盤設備啟動時沒有創建bcache,可能是因為超級塊發生錯誤。為了讓bcache能夠正確檢測到之前的設備,udev規則會首先檢查是否符合bcache規則和blkid檢查。udev規則檢查設備超級塊從而識別文件系統類型,如果該超級塊不符合bcache文件系統類型那么就不會添加bcache。

# cat /usr/lib/udev/rules.d/61-bcache.rules

....

# Backing devices: scan, symlink, register

IMPORT{program}="/sbin/blkid -o udev $tempnode"

# blkid and probe-bcache can disagree, in which case don't register

ENV{ID_FS_TYPE}=="?*", ENV{ID_FS_TYPE}!="bcache", GOTO="bcache_backing_end"

...

# lsblk -o NAME,MAJ:MIN,RM,SIZE,TYPE,FSTYPE,MOUNTPOINT,UUID,PARTUUID

NAME MAJ:MIN RM SIZE TYPE FSTYPE MOUNTPOINT UUID PARTUUID

sda 8:0 0 111.8G disk

├─sda1 8:1 0 3G part vfat /esp 7E67-C0BB d39828e8-4880-4c85-9ec0-4255777aa35b

└─sda2 8:2 0 108.8G part ext2 93d22899-cd86-4815-b6d0-d72006201e75 baf812f4-9b80-42c4-b7ac-5ed0ed19be65

sdb 8:16 0 931.5G disk

└─sdb1 8:17 0 931.5G part ntfs FAD2B75FD2B71EB7 90c80e9d-f31a-41b4-9d4d-9b02029402b2

sdc 8:32 0 2.7T disk bcache 4bd63488-e1d7-4858-8c70-a35a5ba2c452

└─bcache1 254:1 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

sdd 8:48 0 2.7T disk bcache ce6de517-7538-45d6-b8c4-8546f13f76c1

└─bcache0 254:0 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

sde 8:64 1 14.9G disk

└─sde1 8:65 1 14.9G part ext4 / d07321b2-b67d-4daf-8022-f3307b605430 5d0a4d76-115f-4081-91ed-fb09aa2318d

在上面的例子中有一個分區之前是ext2文件系統。bcache將通過以下指令自動構建:

# make-bcache -B /dev/sdc /dev/sdd -C /dev/sda2

因為設備/dev/sdc和/dev/sdd標識了bcache文件系統,因此會在系統啟動時自動添加,而/dev/sda2則需要手動添加。在/dev/sda2偏移1024處仍殘留有之前文件系統的超級塊信息,而bcache信息是從4096偏移開始記錄,修復的方法是:

# dd if=/dev/zero count=1 bs=1024 seek=1 of=/dev/sda2

在系統重啟之后所有磁盤被正確識別:

# lsblk -o NAME,MAJ:MIN,RM,SIZE,TYPE,FSTYPE,MOUNTPOINT,UUID,PARTUUID

NAME MAJ:MIN RM SIZE TYPE FSTYPE MOUNTPOINT UUID PARTUUID

sda 8:0 0 111.8G disk

├─sda1 8:1 0 3G part vfat /esp 7E67-C0BB d39828e8-4880-4c85-9ec0-4255777aa35b

└─sda2 8:2 0 108.8G part bcache 93d22899-cd86-4815-b6d0-d72006201e75 baf812f4-9b80-42c4-b7ac-5ed0ed19be65

├─bcache0 254:0 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

└─bcache1 254:1 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

sdb 8:16 0 931.5G disk

└─sdb1 8:17 0 931.5G part ntfs FAD2B75FD2B71EB7 90c80e9d-f31a-41b4-9d4d-9b02029402b2

sdc 8:32 0 2.7T disk bcache 4bd63488-e1d7-4858-8c70-a35a5ba2c452

└─bcache1 254:1 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

sdd 8:48 0 2.7T disk bcache ce6de517-7538-45d6-b8c4-8546f13f76c1

└─bcache0 254:0 0 2.7T disk btrfs 2ff19aaf-852e-4c58-9eee-3daecbc6a5a1

sde 8:64 1 14.9G disk

└─sde1 8:65 1 14.9G part ext4 / d07321b2-b67d-4daf-8022-f3307b605430 5d0a4d76-115f-4081-91ed-fb09aa2318dd

同樣地,殘留超級塊還會引起類似的其他錯誤。

bcache是按照SSD特性來設計的,只按擦除桶大小進行分配,使用btree和日志混合方法來跟蹤緩存數據,緩存數據可以是桶上的任意一個扇區。bcache最大程度上減少了隨機寫的代價,它按順序填充一個桶,重新使用時只需將桶設置為無效。

bcache支持寫直達和回寫策略。回寫默認情況下是關閉的,可以在運行時改變。bcache還在最大程度上保護你的數據,在系統異常關機時數據仍然是可靠的。因為它被設計為只有在數據完全寫回存儲設備才確認寫成功。

回寫策略能夠緩存絕大多數的寫請求,然后再按照索引將臟數據按次序寫回到后端存儲設備。

SSD的特點就是隨機IO速度很快,而對於大塊順序IO的提升卻並不大。bcache會檢測順序IO並忽略;還會對每一個任務記錄動態的平均IO大小,當平均IO大小超過截止值時該任務后面的IO將會被忽略,這樣就可以透傳備份或者大文件拷貝。

在flash上發現數據IO錯誤時,首先會嘗試讀以恢復數據或者將該緩存項置為無效。對於不可恢復的錯誤,例如元數據或臟數據,bcache將會自動關閉緩存。如果有臟數據在緩存中,這時會首先關閉回寫策略然后再等待臟數據刷回。

從這里開始

首先需要安裝bcache-tools,它提供了make-bcache工具。緩存設備和后端磁盤在使用前都需要先初始化:

make-bcache?-B?/dev/sdb

make-bcache?-C?/dev/sdc

make-bcache提供了同時初始化多個設備的功能,並自動綁定緩存設備和后端磁盤:

make-bcache?-B?/dev/sda?/dev/sdb?-C?/dev/sdc

bcache-tools現在已經包含了udev規則文件,bcache設備可以立即被內核感知。如果沒有udev規則,需要手動注冊設備:

echo?/dev/sdb>/sys/fs/bcache/register

echo?/dev/sdc?>/sys/fs/bcache/register

注冊了后端磁盤后,bcache設備會出現在/dev/目錄下,現在就可以格式化然后使用了。bcache設備默認是透傳模式,因此需要綁定緩存。

bcache顯示如下:

/dev/bcache

還有(有udev規則文件時):

/dev/bcache/by-uuid/

/dev/bcache/by-label/

如果要開始使用:

mkfs.ext4?/dev/bcache0

mount?/dev/bcache0?/mnt

bcache的sysfs控制項在/sys/block/bcache/bcache。

bcache設備是按集合來管理的,但目前一個集合只支持一個bcache設備,將來會支持多個設備、元數據和臟數據鏡像。新cache設備顯示為/sys/fs/bcache/

cache綁定:

在緩存設備和后端設備都注冊之后,還要將緩存設備綁定到后端設備從而使用緩存。綁定操作如下:

echo ?> /sys/block/bcache0/bcache/attach

這個操作只需要做一次就可以了。下一次系統重啟時,只需要重新注冊所有bcache設備。如果后端設備還有未定回的緩存數據,那么就不會創建/dev/bcache,直到緩存設備回來,尤其在寫回策略時特別重要。

如果需要在沒有緩存設備的時候強制使用設備:

echo?1>/sys/block/sdb/bcache/running

注意這里參數是后端設備,而不是bcache設備,何況此時bcache設備還沒有創建。如果是使用分區創建的bcache設備,例如sdb2對應的目錄是/sys/block/sdb/sdb2/bcache。

在強制使用bcache設備后,緩存設備添加到系統,這個緩存設備的所有緩存數據將會設置為無效。緩存設備的臟數據是不會繼續,因為這些臟數據將有可能使現在文件系統崩潰。

錯誤處理

bcache嘗試處理IO錯誤而不影響正常操作,但如果錯誤數超過閥值(默認是0,可配置)會關閉緩存並切換到透傳模式。

-如果是讀錯誤則嘗試直接從后端設備讀

-如果是寫直達寫錯誤,將緩存對應數據塊設置為無效

-去綁定時,刷回臟數據。臟數據寫回失敗目前是沒有處理的。

性能相關問題

bcache有很多配置選項和可調參數。默認值適合於典型配置,如果想要更好性能則需要調整相關參數。

-寫性能差

如果寫性能不理想,那么建議調到寫回策略

#echo?writeback>/sys/block/bcache0/cache_mode

-性能差,或者流量並沒有緩存到SSD

默認情況下,bcache不會緩存順序IO和大文件。

打開順序IO緩存:

#echo?0>/sys/block/bcache0/bcache/sequential_cutoff

設置回默認值:

#echo?4M>/sys/block/bcache0/bcache/sequential_cutoff

-流量小,緩存不命中

現實生活中,並不是所有SSD都能提供足夠快的速度作為磁盤的緩存,特別一個SSD作為多塊磁盤的緩存,或者順序IO時。所以需要避免SSD成為系統瓶頸。

為了避免bcache設備因為SSD變慢,當延遲超過閥值時逐漸減少流量。需要關閉擁塞控制項:

#echo?0>/sys/fs/bcache//congested_read_threshold_us

#echo?0?>/sys/fs/bcache//congested_write_threshold_us

對於讀,默認值是2000us(2ms),對於寫是20000.

SYSFS - 后端設備

/sys/block//bcache, /sys/block/bcache*/bcache, /sys/fs/bcache//bdev*

SYSFS - 緩存集合

/sys/fs/bcache/

SYSFS - 緩存設備

/sys/block//bcache

英文:Documentation/bcache.txt

使用 LVM (基於dm-cache) 新的緩存特性

如果你有一臺帶有慢速硬盤和快速SSD的電腦,你想使用SSD作為快速持久緩存用來提升訪問硬盤的速度。然而直到最近,你有三個選擇:bcache和dm-cache都upstream,或者Flashcache/EnhanceIO。Flashcache不是upstream。dm-cache要求你首先坐下來,使用計算器計算塊的偏移。bcache是三個選擇中最全面的。

但是最近LVM已經增減了緩存的支持(構建在dm-cache之上),因此在理論上,你能讓已存在的邏輯卷轉換到已緩存的設備。

安裝

為了在實踐中了解是怎樣工作的,我在以前的無盤虛擬群集中添加了3塊硬盤。

在鏡像配置中有兩個2TB的WD硬盤。通過藍色(冷)線連接。在左側是三星EVO 250GB SSD,作為緩存的紅色(熱)盤。

另一個新聞:哦,現在品牌制造商的SSD是真的便宜!

lsblk輸出如下,sda和sdb是WD硬盤,sdc是三星SSD:

性能

在創建 緩存之前,先看看硬盤的速率如何. ?以下數據包含了 ext4 和 LVM overhead (ie. 體現在文件系統里,並非塊存儲). 我還用了 O_DIRECT.

HDD writes: 114 MBytes/sec?HDD reads: 138 MBytes/sec?SSD writes: 157 MBytes/sec?SSD reads: 197 MBytes/sec

這些數字並沒有體現出SSDs的好處?— 就是隨機訪問硬盤時,性能沒有什么區別.

Terminology

lvmcache(7) [沒有什么能拷貝的地方] 文檔指出了一些用到的術語:

創建 LVs

文檔中很誇張的提到,移除錯誤的?LV 將會完全顛覆之前的 OriginLV, 為了測試這一特性我 在有幾個鏡像文件的慢速HDDs上創建了一個 OriginLV:

需要注意的是resizing cached LVs功能目前並未提供 (可能以后出來 — 現在只能先移除緩存,從新分配大小再重新創建緩存).

創建緩存層

從文件的角度來說,這並不明確,但是一切都必須在一個簡單的卷組中.也就是說,你必須創建一個既包括慢速和快速的磁盤卷組 - 它並不是簡單工作。

因此,我的第一個步驟是擴大我現有的VG ,包括快盤:

我創建了快速的SSD兩個LVs 。一個是CacheDataLV ,這就是緩存發生。另一個是用於存儲被高速緩存在CacheDataLV的數據塊的索引的CacheMetaLV 。該文件說, CacheMetaLV應該是千分之一的CacheDataLV的大小,但最少為8MB 。由於我的總可用空間快是232GB ,而我希望有一個1000:1的分裂,我大方的選擇一個1GB的CacheMetaLV , 229G的CacheDataLV ,而且會留下一些遺留下來的空間(我最終的分割結果是229:1 ) 。

(你會發現,我的緩存大於我的測試OriginLV ,但是這很好,因為一旦我已經制定了所有的陷阱,我真正的OriginLV將超過1 TB).

為什么要在PV上留下2.88GB的空間?我也不太清楚,只是第一次使用時,我並沒有預留空間,結果執行?lvconvert命令后 [如下] 提示需要1GB的擴展空間。

把 CacheDataLV和CacheMetaLV 放到“緩存池”里 :

接著把緩存池連到OriginLV來創建最終的緩存工程:

結果

看起來還不錯? 在使用緩存 LV后,得到的數據如下:

LV-cache writes: 114 MBytes/sec?LV-cache reads: 138 MBytes/sec

和原來硬盤的結果一致.

接下來我會創建一些請求,然后看看他們的性能如何?(就是剛才我提到的問題).

總結

以上是生活随笔為你收集整理的linux控制cache使用值e,[轉]Linux塊設備加速緩存bcache和dm-cache:使用SSD來加速服務器...的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

久久国产精品二国产精品中国洋人 | 婷婷色伊人 | 91系列在线观看 | 色婷婷狠 | 色婷婷国产在线 | 最近中文字幕高清字幕在线视频 | 免费日韩高清 | 久久久三级视频 | 96精品视频 | 精品自拍av | 日本精品视频免费观看 | 国产精品乱码在线 | 精品一区二区三区在线播放 | 色先锋av资源中文字幕 | 国产黄色大片免费看 | 五月天九九 | 一区二区丝袜 | 伊人影院av | 91在线资源| 日韩在线三级 | 91精品久 | 91av电影在线观看 | 在线观看国产永久免费视频 | 最新久久久| 日日爱影视 | 国产精品综合在线观看 | 四虎影视成人 | 久久精品日产第一区二区三区乱码 | 麻豆久久久 | 91精品久久久久久综合五月天 | 欧美色图东方 | 国产成人一区二区三区 | 少妇啪啪av入口 | 手机av片| 国产高清网站 | 日本高清久久久 | 黄色电影网站在线观看 | 久久久影院一区二区三区 | www.国产高清 | 久久 亚洲视频 | 国产手机视频精品 | 欧美精品久久久久久久久久丰满 | 国产精品美女久久久久久久久 | 一级性生活片 | 久久色网站 | 中文字幕一区三区 | 深爱激情综合网 | 国产精品一区二区免费在线观看 | 天天视频亚洲 | 玖玖玖国产精品 | 国产精品成人av电影 | 在线观看视频你懂得 | 天堂av免费观看 | 亚洲人成人天堂h久久 | 成人性生活大片 | 亚洲精品国产精品国自产观看浪潮 | 亚洲午夜久久久久久久久电影网 | 国内精品国产三级国产aⅴ久 | 亚洲一区二区三区91 | 丁香色婷 | 亚洲免费在线视频 | 成人久久视频 | 免费在线观看污 | 国产一二区视频 | 天天爽天天摸 | 美女视频黄网站 | 韩国一区二区在线观看 | www好男人 | 粉嫩av一区二区三区四区五区 | 久草在线免费播放 | 夜夜躁日日躁狠狠久久av | 久久视频精品在线观看 | 日韩视频a | 顶级bbw搡bbbb搡bbbb | 在线观看911视频 | 日韩精品高清不卡 | 久久久久日本精品一区二区三区 | 99精品一区二区 | 国产一区麻豆 | 黄色毛片在线 | 午夜美女视频 | 九月婷婷色 | 天天干天天操天天射 | 在线国产中文 | 最新中文字幕在线播放 | 国产99久久 | 精品一区三区 | 久久人人97超碰国产公开结果 | 欧美一级黄色网 | 日韩h在线观看 | 亚洲精品在线观看不卡 | 97超碰成人在线 | 婷婷激情五月综合 | 欧美一区日韩一区 | 国产乱码精品一区二区蜜臀 | 亚洲最大免费成人网 | 免费观看福利视频 | 91手机电影| 91亚洲精品国偷拍 | 久久久久久久久久久影视 | 综合色综合 | 天天干,夜夜爽 | 欧美激情精品久久久久久变态 | 亚洲国产精品久久久久婷婷884 | 国产不卡精品 | 中文字幕av免费在线观看 | 麻豆视频免费版 | 天天射综合网站 | 欧美黑人性猛交 | 欧美特一级片 | 不卡视频在线 | 在线观看黄 | 国产小视频在线看 | 午夜精品视频一区二区三区在线看 | 久久99网| 在线播放第一页 | 久久伊人精品一区二区三区 | 国产精品久久久一区二区 | 久久精品视 | 免费一级片在线观看 | 中文字幕一区二区在线播放 | 亚州精品在线视频 | 日日夜夜操操操操 | 91最新网址在线观看 | 久久狠狠一本精品综合网 | 成年性视频 | 国产精选在线 | 国产日韩在线观看一区 | 亚洲成人av一区二区 | 在线99热 | 国产一区二区三区免费视频 | 国内丰满少妇猛烈精品播放 | 日韩中字在线观看 | 亚洲免费在线播放视频 | 久精品视频在线 | 久久国产精品色婷婷 | 六月色婷婷 | 嫩草av在线 | 中文字幕一区二区三区久久蜜桃 | 久久精品小视频 | 特级毛片在线免费观看 | 天天色天天 | 蜜臀久久99精品久久久无需会员 | 欧美日韩免费一区二区三区 | 蜜臀av性久久久久av蜜臀三区 | 午夜12点| 亚洲国产精彩中文乱码av | 久久综合中文字幕 | 99免费视频 | 视频福利在线 | 在线观看v片 | 在线岛国av | 超碰97中文 | 777视频在线观看 | freejavvideo日本免费 | 青草视频免费观看 | 日韩亚洲国产中文字幕 | 69视频在线播放 | 久久成年人 | 亚洲精品美女久久 | 色先锋av资源中文字幕 | 久久综合加勒比 | 亚洲亚洲精品在线观看 | 亚洲欧洲精品一区 | 欧美日本高清视频 | 日韩网站在线看片你懂的 | 91大片网站 | 婷婷日日 | 久久乐九色婷婷综合色狠狠182 | 国内精品视频免费 | 亚洲尺码电影av久久 | 久久精品欧美日韩精品 | 超碰成人免费电影 | 国产成人精品999 | 日韩簧片在线观看 | 日韩中文字幕视频在线 | 亚洲 欧美变态 另类 综合 | av午夜电影| 97av免费视频 | 久草精品视频在线观看 | 日本高清中文字幕有码在线 | 欧洲色吧 | 国内揄拍国内精品 | 麻豆视频在线播放 | 久久超碰网 | 色网站在线 | 色婷婷国产精品一区在线观看 | 国产美女网 | 欧美日韩二三区 | 免费看黄电影 | 精品国产乱码久久久久久三级人 | 日韩精品一区二区三区免费观看 | av不卡中文 | 在线观看中文字幕一区 | 色综合天天天天做夜夜夜夜做 | 一级做a爱片性色毛片www | 婷婷在线免费观看 | 欧美精品一区二区蜜臀亚洲 | 少妇自拍av| 国产+日韩欧美 | 亚洲综合少妇 | 91中文字幕在线播放 | 中文字幕 成人 | 91视频免费网址 | 免费在线观看污 | 人人爽人人爽人人爽人人爽 | 日韩大片在线免费观看 | 日韩视频免费观看高清完整版在线 | 在线观看av小说 | 亚洲精品视频免费 | av免费在线免费观看 | 国产a级片免费观看 | 色综合亚洲精品激情狠狠 | 亚洲精品电影在线 | 亚洲一区二区精品在线 | 五月婷婷激情综合网 | 日韩啪啪小视频 | 在线国产能看的 | www.久久色.com | 欧美激情另类 | 婷婷五综合| 久草视频中文 | 国产在线一线 | 99久久久久久久 | 91成人在线网站 | 亚洲精品国偷自产在线99热 | 日韩| 99免费在线视频观看 | 国产精品区免费视频 | 成人久久网| 亚洲综合色激情五月 | 91黄色影视| 国产高清在线视频 | 天天干天天碰 | 99久热在线精品视频 | 欧美一级在线看 | 97在线看片 | 91看片淫黄大片在线播放 | 国产黄色片久久 | 不卡的av在线播放 | 精品国产视频在线 | 午夜国产福利在线观看 | 久久久影院官网 | 国产精品亚洲成人 | 久久精品女人毛片国产 | 久久a国产| 欧美日韩视频在线观看免费 | 91视视频在线直接观看在线看网页在线看 | 欧美日韩视频在线播放 | av黄色影院 | 久久久激情视频 | 国产高清不卡 | aaa亚洲精品一二三区 | 色综合久久五月天 | 国产精品扒开做爽爽的视频 | 91麻豆精品国产91 | 精品免费一区 | 激情综合五月天 | 最近2019好看的中文字幕免费 | 日韩综合一区二区 | 麻花豆传媒mv在线观看网站 | 国产精品乱码在线 | 欧美老女人xx | 国产伦精品一区二区三区高清 | 天天精品视频 | 欧美日韩视频一区二区三区 | 欧美一区二区精品在线 | 久久综合九色综合久99 | 香蕉视频在线视频 | 色综合 久久精品 | 日韩国产精品久久久久久亚洲 | 亚洲精品视频观看 | 精品亚洲一区二区三区 | 亚洲伊人成综合网 | www.超碰97.com| 国产精品一区二区电影 | 超碰av在线播放 | 午夜色大片在线观看 | 国产亚洲婷婷 | 天堂va在线高清一区 | 黄色软件在线看 | 久草精品电影 | 黄色网在线免费观看 | 这里有精品在线视频 | 亚洲精品乱码久久久久久高潮 | 久久精品中文视频 | 在线观看一区 | 日韩一区二区三区免费视频 | 欧美日韩在线免费观看 | 美女视频黄色免费 | 国产三级国产精品国产专区50 | 欧美日韩国产精品一区 | 亚洲精品在线观看的 | 国产精品永久在线 | 亚洲视屏| 午夜久久网 | 国产成人av一区二区三区在线观看 | 西西www444| 久久久久久久久久电影 | 免费成人在线视频网站 | 国产精品99久久久久人中文网介绍 | 国产精品va在线观看入 | 国产麻豆精品久久一二三 | 日韩精品一区二区免费视频 | 亚洲精品一区二区精华 | 午夜久久久精品 | 国产在线观看,日本 | 黄色的视频网站 | 九九免费精品 | 色综合久久久久 | 午夜免费久久看 | 国产一区二区观看 | 又爽又黄又无遮挡网站动态图 | 中文字幕一区在线观看视频 | 久久乐九色婷婷综合色狠狠182 | 日韩精品视频在线观看免费 | 91成人精品一区在线播放69 | 日日夜夜亚洲 | 久久亚洲热| 日韩夜夜爽 | 国产成人精品999在线观看 | 国产九九九九九 | 亚洲高清在线观看视频 | 日韩一级黄色片 | 久久国产精品免费观看 | 99夜色| 国产成人在线综合 | 久久免费视频一区 | 狠狠久久 | 欧美一级久久久 | 91完整版在线观看 | 九九热中文字幕 | 欧美亚洲成人xxx | 国产精品自产拍在线观看中文 | 亚洲无吗天堂 | 亚洲精品女 | 婷婷综合成人 | 国产一级电影在线 | 国产综合香蕉五月婷在线 | 欧美在线1区 | 久久久久久久久黄色 | 中文字幕在线一区二区三区 | 欧美精品中文字幕亚洲专区 | 黄色不卡av | 在线导航av| 丝袜少妇在线 | 久久兔费看a级 | 精品一区中文字幕 | 日韩av电影中文字幕在线观看 | 国产中文字幕在线免费观看 | 国产精品专区h在线观看 | 国产不卡视频在线播放 | 国产精品一区久久久久 | 四虎视频| 国产精品久久久久久久妇 | av看片网 | 欧美日本日韩aⅴ在线视频 插插插色综合 | 天天干视频在线 | 亚洲涩涩涩涩涩涩 | 综合在线观看色 | 久久亚洲私人国产精品 | 国产高清日韩 | 日韩中文字幕免费视频 | 99视频在线精品国自产拍免费观看 | 午夜精品电影 | 久久久久麻豆v国产 | 中文字幕在线观看91 | 国产一区二区高清不卡 | 免费污片| 国产理论在线 | 欧美一级免费 | 国产精品黑丝在线观看 | 一级黄色在线免费观看 | 天天做日日做天天爽视频免费 | 三级黄色理论片 | 日韩理论在线播放 | 国产 在线观看 | 日韩av一区二区在线影视 | 日韩在线一区二区免费 | 久久视屏网 | 亚洲爽爽网 | 天天综合区 | 中文字幕欧美日韩va免费视频 | 久久久五月天 | 美女黄视频免费 | 久久久久高清毛片一级 | 天无日天天操天天干 | 色99之美女主播在线视频 | 亚洲婷婷综合色高清在线 | 99视频免费在线观看 | 青青河边草观看完整版高清 | 手机av网站| 99精品国产兔费观看久久99 | www.色午夜.com | 天天干天天怕 | 久久久久久久国产精品影院 | 午夜黄网 | 青草视频在线播放 | 欧美激情综合色 | 天天干天天操天天操 | 日韩欧美视频在线播放 | 国产理论一区二区三区 | 天天狠狠干 | 久久国产精品小视频 | 韩国av一区| 免费亚洲视频 | 永久免费的av电影 | 成人a v视频| 91看毛片 | 国产青青青 | 国产亚洲精品久久久久动 | 亚洲免费av网站 | 欧美精品在线观看一区 | 欧美成人xxxxxxxx | 青春草免费在线视频 | 午夜成人影视 | 久久久美女 | 日韩免费一级电影 | 欧美在线a视频 | 在线午夜电影神马影院 | 中文字幕免费观看视频 | 亚洲成人资源在线 | 国产成人资源 | 欧美日韩18 | 色视频网站免费观看 | 国产手机av在线 | 亚洲香蕉在线观看 | 免费精品人在线二线三线 | 色狠狠久久av五月综合 | 中文不卡视频 | 狠狠操操 | 蜜桃久久久| 国内视频1区 | 亚洲免费观看在线视频 | 视频在线观看入口黄最新永久免费国产 | 天天干天天搞天天射 | 欧洲精品一区二区 | 丁香六月婷 | 天天综合天天综合 | 九七视频在线 | av电影一区二区三区 | 天天天天色射综合 | 日韩综合色| 中文字幕第一页在线 | 亚洲成人av在线电影 | 久久精品视频在线 | 午夜精品av在线 | 国产精品va视频 | 99热国内精品| 婷婷色影院 | 日韩成人精品一区二区 | 亚洲精品在线观 | 亚洲jizzjizz日本少妇 | 久久久久五月天 | 国产精品乱码久久久久久1区2区 | 最近2019中文免费高清视频观看www99 | 国产一区视频在线播放 | 五月婷婷综合网 | 婷婷丁香花五月天 | 天堂av免费观看 | 中文字幕在线视频第一页 | 亚洲精品视频在线观看视频 | 视色网站 | 99精品国产亚洲 | 在线免费视频你懂的 | 精品久久一| 天天综合导航 | 国内精品久久久久久中文字幕 | 国产精品久久久久久久免费大片 | 久久久国产精品视频 | www国产亚洲精品久久网站 | 日韩aⅴ视频 | 五月精品| 欧美日韩性| 一区二区不卡在线观看 | 中文字幕在线观看免费高清电影 | 中文字幕亚洲在线观看 | 欧日韩在线视频 | 欧美日韩超碰 | 天天综合成人网 | av在线h | 国产码电影 | 高清不卡免费视频 | 国产精品正在播放 | 久久精品视频在线播放 | 国语久久 | 午夜av剧场 | 国产男男gay做爰 | 久久久久亚洲国产精品 | 久久99精品久久久久蜜臀 | 久久草av| 国产高清在线a视频大全 | 顶级欧美色妇4khd | 日操干| 91精品国产自产老师啪 | 亚洲免费激情 | 99久久这里有精品 | 亚洲日韩欧美视频 | 五月婷婷在线播放 | 午夜私人影院久久久久 | 麻豆91网站| 成人免费在线视频观看 | 最新日韩视频 | 日韩欧美精品在线观看视频 | 一区二区三区在线看 | 国产精品视频在线看 | 最近的中文字幕大全免费版 | 伊人伊成久久人综合网站 | 国内成人精品2018免费看 | 美女网站在线播放 | 中文字幕在线不卡国产视频 | 欧美一区二区三区在线视频观看 | 狠狠88综合久久久久综合网 | 91黄在线看 | 五月激情久久久 | 日韩在线一二三区 | 精品uu| 久久av网| 天天五月天色 | 激情片av| 久久视频在线看 | 777久久久 | 麻豆免费视频网站 | 最近中文字幕免费观看 | 精品国产伦一区二区三区免费 | 国产精品久久久久久久av大片 | 欧洲精品二区 | 91最新网址 | 久久中文字幕视频 | 国产剧情久久 | 久久精品视频一 | 五月天丁香 | 国产精品一区二区三区在线播放 | 国产精品美女视频网站 | 国产精品久久久久久久毛片 | 91丨九色丨91啦蝌蚪老版 | 久久超级碰视频 | 亚洲电影图片小说 | 色欧美成人精品a∨在线观看 | 免费亚洲视频 | 久草在线视频在线观看 | 黄色片网站av | 美女网站在线播放 | 91视视频在线直接观看在线看网页在线看 | 99热在 | 亚洲成av人片在线观看无 | 蜜臀久久99精品久久久无需会员 | 日韩专区 在线 | 国产精品99免视看9 国产精品毛片一区视频 | 丁香久久五月 | 97成人精品区在线播放 | 成人免费亚洲 | 精品美女久久久久 | 黄色电影小说 | 天天色宗合 | 97超碰人人澡人人爱 | 99精品视频免费在线观看 | 亚洲精品xxxx | 五月开心六月婷婷 | 黄色精品网站 | 黄色一级大片在线观看 | 麻豆传媒视频在线播放 | 成人免费观看网站 | 最新日韩视频 | 在线观看日韩专区 | av线上免费观看 | 99色在线 | 91av电影在线 | 欧美精品久久久久久久久久 | 视频一区二区国产 | 中文字幕资源网在线观看 | 91pony九色丨交换 | 精品国产99| 三级在线国产 | 高清久久久 | 婷婷久操| 国产精品久久99综合免费观看尤物 | 91自拍成人| 国产日韩精品在线观看 | 亚洲国产视频直播 | 国产精品久久久久久一区二区三区 | 中文字幕日本在线 | 亚洲天堂视频在线 | av免费福利| 久久99精品热在线观看 | 亚洲精品国产品国语在线 | 97视频人人免费看 | 91 在线视频播放 | 国产区免费 | 久久99精品国产91久久来源 | 日本久久精品 | 国产精品露脸在线 | 9久久精品 | 国产精品久久久久久久久久久久久久 | 午夜视频在线观看一区 | 日韩国产高清在线 | 中文资源在线观看 | 亚洲精品午夜久久久久久久久久久 | 99免费| 国产亚洲精品久久19p | 人人爽人人爽人人 | 欧美一级性生活片 | 国产精品一区二区三区观看 | 国产亚洲精品久久久久久电影 | 国产1级毛片 | 亚洲精品资源在线观看 | 狠狠操在线 | 狠狠操.com| 日韩精品视频在线观看免费 | 日本久久电影 | 在线观看黄av | 99精品国产99久久久久久97 | 亚洲国产免费看 | jizzjizzjizz亚洲 | 天堂av在线网站 | 丰满少妇一级 | 波多野结衣视频一区 | 国产一线二线三线性视频 | 成人免费91 | 亚洲最大av网站 | 欧美精彩视频在线观看 | 国产亚州精品视频 | 亚洲精品一区二区久 | 欧美在线视频一区二区 | 国产精品一级在线 | 午夜精品999 | 天天操偷偷干 | av在线a| www.色五月.com| 久草在线免费播放 | 久久久免费看 | 在线播放国产一区二区三区 | 免费看黄在线 | 国产手机在线观看 | 在线看片成人 | 婷婷精品国产欧美精品亚洲人人爽 | 久久久久久久久久亚洲精品 | 夜夜躁狠狠躁日日躁视频黑人 | 麻豆影视在线观看 | 国产特级毛片 | 国产专区一 | 国产精品一区二区电影 | 国产精品一区二区免费视频 | 四虎永久免费网站 | 久久tv视频 | 日韩二级毛片 | 黄色午夜| 久久久久久久久亚洲精品 | 国产精品久久久久国产精品日日 | 亚洲欧美国产精品18p | 国产中文字幕av | 国产精品久久久久久久久毛片 | 人人插人人舔 | 九九热精 | 美女视频久久久 | 日韩黄色一区 | 国产精品字幕 | 视频一区视频二区在线观看 | 天天干天天操天天搞 | a级片韩国 | 久草在线| 欧美黄在线 | 99精品久久精品一区二区 | 亚洲九九九在线观看 | 国产在线观看a | 国产在线国偷精品产拍免费yy | 国产字幕在线播放 | 欧美精品二区 | 久久情爱 | 天天添夜夜操 | 中文字幕在线视频网站 | 久久av网| 日本少妇高清做爰视频 | 天天干天天操天天搞 | 91福利社区在线观看 | 狠狠色狠狠色合久久伊人 | 欧美一区二区三区不卡 | 91精品国产三级a在线观看 | 亚洲精品视频在线播放 | 偷拍精偷拍精品欧洲亚洲网站 | 成人在线视频免费观看 | 久久99国产精品 | 欧美色噜噜噜 | 欧美日韩另类视频 | 国产精品欧美久久久久久 | 欧美激情视频一区二区三区免费 | 久久99久| 亚洲国产成人久久 | 国产精选在线 | 精品国产久 | 免费在线激情电影 | 女人魂免费观看 | 一本一本久久a久久精品综合妖精 | 国产高清不卡 | 婷婷激情欧美 | 五月天婷婷在线播放 | 欧美久久成人 | 日韩高清免费电影 | 国产精品九九久久99视频 | 日韩网站在线播放 | 欧美激情另类文学 | 99精品在线观看视频 | 成人免费看黄 | 久草综合在线观看 | 免费在线国产 | 四虎影视成人永久免费观看亚洲欧美 | 麻豆视频免费在线 | 成人动漫精品一区二区 | 五月婷婷一区二区三区 | 日韩理论影院 | 久久久久久欧美二区电影网 | 毛片.com| 天天色宗合 | 日韩免费观看高清 | 欧美成年网站 | 日本黄区免费视频观看 | 亚洲好视频 | 少妇bbw搡bbbb搡bbbb | 国产精品免费不卡 | 日韩mv欧美mv国产精品 | 久草精品网 | 欧美国产日韩在线视频 | 午夜精品久久久久久久久久久 | 亚洲激情视频在线观看 | 狠狠色噜噜狠狠 | 91麻豆精品国产自产在线 | 日本中文字幕电影在线免费观看 | 国产精品黄色影片导航在线观看 | 成人黄色电影在线观看 | 欧美日韩调教 | 国产在线日韩 | 午夜在线观看一区 | 久久久久中文 | 狠狠88综合久久久久综合网 | 黄av免费 | 久久人视频 | 四虎永久免费在线观看 | 在线观看免费黄色 | 亚洲天堂网站 | 最新国产精品久久精品 | 天天插视频 | 欧美日韩视频观看 | 色综合中文字幕 | 久久人91精品久久久久久不卡 | 亚洲精选视频在线 | 国产精品久久久久av免费 | 青草草在线 | 久久狠狠亚洲综合 | 国产91精品看黄网站 | www成人精品| 色综合久久中文字幕综合网 | 在线观看免费国产小视频 | 日韩在线观看精品 | 久久婷婷丁香 | 日韩精品91偷拍在线观看 | 亚洲精品网站在线 | av大全免费在线观看 | 国产91成人在在线播放 | 免费看片网站91 | 国产精品美女久久久久久久网站 | 天天干天天干天天射 | 日韩在线观看视频在线 | zzijzzij亚洲日本少妇熟睡 | 激情网站网址 | av在线免费播放网站 | 91在线产啪 | 成人国产精品久久久春色 | 免费国产在线精品 | 日韩大片在线看 | 亚洲免费一级电影 | 色婷婷导航 | 天天操天天操一操 | 四虎免费在线观看视频 | 99re亚洲国产精品 | 中文字幕在线观看完整 | 黄网站色视频 | 97精品国自产拍在线观看 | 婷婷丁香激情网 | 国产视频久久 | 射射色 | 五月天久久久久 | 久久久午夜影院 | 日本久热 | 亚洲人成人在线 | 日本中文字幕视频 | 精品久久久免费视频 | 国产精品国产三级国产aⅴ无密码 | 97国产情侣爱久久免费观看 | 日韩专区在线播放 | 色婷婷久久久综合中文字幕 | 麻豆激情电影 | 中文字幕免费观看视频 | 最新中文字幕在线观看视频 | 免费在线观看一区二区三区 | 夜色资源站国产www在线视频 | 91在线免费播放视频 | 国产亚洲视频系列 | 国产91勾搭技师精品 | 91麻豆文化传媒在线观看 | 正在播放国产精品 | 免费在线激情电影 | 国产不卡在线观看视频 | 久久久久国产视频 | 日韩av中文在线观看 | 久久综合九色综合久99 | 99视频国产在线 | 九色视频网址 | 日韩精品欧美精品 | 亚洲在线免费视频 | 国产高清精 | 国产亚洲婷婷免费 | av在线看网站 | 亚洲精品99 | 香蕉视频导航 | 一区二区三区电影在线播 | 久久久久久久久久久电影 | a视频在线观看免费 | 国产91综合一区在线观看 | www.色午夜.com| 久久久久久久久久久久99 | 一区在线观看 | 精品久久久久久久久中文字幕 | 91毛片视频| 国产美女精品视频 | 久久蜜臀一区二区三区av | 天天人人综合 | 国产视频一区在线播放 | 又黄又爽免费视频 | 久久成人一区二区 | 国产精品9999 | 国产精品一区二区三区久久 | 久草在线在线 | 国产日韩欧美自拍 | 国产污视频在线观看 | 国产男女爽爽爽免费视频 | 天天射综合| 国产盗摄精品一区二区 | 久久久久亚洲精品国产 | 国产伦精品一区二区三区照片91 | 91精品国自产拍天天拍 | 久久99视频 | 国产视频在线播放 | 国产色在线 | 国产一区二区在线免费播放 | 免费a视频在线 | 亚洲日b视频 | 精品免费一区二区三区 | 激情婷婷久久 | 99久久激情视频 | 久久免费视频在线观看30 | 成人9ⅰ免费影视网站 | 韩国av一区二区三区在线观看 | 中文字幕在线观看视频一区二区三区 | 久久伊人综合 | 国产日韩欧美在线免费观看 | 欧美日韩午夜 | 欧美精品乱码99久久影院 | 久久精品国产美女 | 成年人免费av | 丁香婷婷自拍 | 97人人模人人爽人人喊网 | 在线影院av | 日韩在线视频网址 | 久久人人爽视频 | 99视频在线精品免费观看2 | 91精品无人成人www | 五月婷婷丁香网 | 黄色高清视频在线观看 | www五月婷婷 | 久草视频中文在线 | 国产美女精品视频免费观看 | 欧美国产日韩激情 | 欧美激情精品久久久久久变态 | 久久久精品国产一区二区电影四季 | 久久久久免费 | 97精品国产 | 日韩a级黄色 | 亚洲精品国产麻豆 | 青春草免费在线视频 | 玖玖精品在线 | 91福利国产在线观看 | 国产区在线 | 精品96久久久久久中文字幕无 | 久久99精品国产99久久6尤 | 黄色片网站av | 美女网站在线观看 | 最近高清中文在线字幕在线观看 | 亚洲综合成人av | 四虎在线免费 | 9999精品| 奇米影视777四色米奇影院 | 欧美与欧洲交xxxx免费观看 | 国产精品久久影院 | 成人av在线看 | 亚洲国产美女精品久久久久∴ | 天堂资源在线观看视频 | 亚洲精品99 | 亚洲日韩中文字幕 | 一区二区三区 亚洲 | 9在线观看免费高清完整 | 色视频网站在线观看一=区 a视频免费在线观看 | 日韩高清激情 | 亚洲情影院| 国产精品精 | 日韩成人免费在线观看 | 在线免费观看欧美日韩 | 国产精成人品免费观看 | 美女在线免费观看视频 | 毛片二区 | 激情综合网五月激情 | 99在线高清视频在线播放 | 在线观看成人福利 | 91插插插免费视频 | 日韩电影在线看 | 日韩理论视频 | www在线观看视频 | 国产精品剧情在线亚洲 | 欧美日韩高清一区二区三区 | 亚洲国产精品久久久 | 婷婷色吧 | 免费能看的黄色片 | 免费成人黄色av | 亚洲va天堂va欧美ⅴa在线 | 久草在线网址 | av观看网站 | 日日夜夜天天久久 | 欧美一二三专区 | 中文字幕在线播放第一页 | 91九色在线视频观看 | 中文字幕高清免费日韩视频在线 | 狠狠狠色丁香综合久久天下网 | 九九在线播放 | 91成品人影院 | 午夜久久成人 | 最新中文字幕在线资源 | 91av资源网| 欧美性色网站 | 91精品在线视频观看 | 在线视频日韩精品 | 亚洲天天看| 中文字幕中文中文字幕 | 久久精品久久精品久久39 | 香蕉影院在线 | 亚洲经典视频在线观看 | 超碰在线人人97 | 国产精品麻豆99久久久久久 | 中文字幕一区二区三区四区 | 九色视频网站 | 91影视成人 | 爱情影院aqdy鲁丝片二区 | 久久久免费高清视频 | 人人干天天射 | 精品国产乱码久久久久久1区二区 | 久操视频在线观看 | 成人天堂网| 狠狠色狠狠色 | 精壮的侍卫呻吟h | www.黄色片网站 | 91手机电视 | 国产护士在线 | 欧美性粗大hdvideo | 亚洲精品视频一二三 | 九精品 | 免费成视频 | 久久精品亚洲国产 | 国产香蕉久久精品综合网 | 亚洲成色 | 免费69视频 | 成人黄色片在线播放 | 日韩理论片 | 欧美福利精品 | 日韩亚洲欧美中文字幕 | 97国产| 欧美精品国产精品 | 亚洲精品免费播放 | www狠狠 | 婷婷丁香色 | 色婷婷激情四射 | 亚洲精品中文在线资源 | 亚洲精品视频在线看 | 成人污视频在线观看 | 手机成人av在线 | 国产永久网站 | 成年人视频免费在线播放 | 日韩电影一区二区在线观看 | 亚洲视频1 | 国产一级视屏 | a黄在线观看| 日韩aa视频| 97超碰资源站 | 91精品少妇偷拍99 | 视频在线观看亚洲 | 久草在线视频看看 | 伊人色综合久久天天 | 国产亚洲精品久久网站 | 天天干夜夜操视频 | 四虎国产永久在线精品 | 国产精品成人av电影 |