日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

Redis Cluster集群搭建

發布時間:2023/12/18 数据库 47 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Redis Cluster集群搭建 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Redis Cluster集群

一、redis-cluster設計

Redis集群搭建的方式有多種,例如使用zookeeper等,但從redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用無中心結構,每個節點保存數據和整個集群狀態,每個節點都和其他所有 節點連接。其redis-cluster架構圖如下:

其結構特點:

? ? ?1、所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬。
? ? ?2、節點的fail是通過集群中超過半數的節點檢測失效時才生效。
? ? ?3、客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可。
? ? ?4、redis-cluster把所有的物理節點映射到[0-16383]slot上(不一定是平均分配),cluster 負責維護node<->slot<->value。

? ? ?5、Redis集群預分好16384個桶,當需要在 Redis 集群中放置一個 key-value 時,根據 CRC16(key) mod 16384的值,決定將一個key放到哪個桶中。

?

? ?1、redis cluster節點分配

?

? ?現在我們是三個主節點分別是:A, B, C 三個節點,它們可以是一臺機器上的三個端口,也可以是三臺不同的服務器。那么,采用哈希槽 (hash slot)的方式來分配16384個slot 的話,它們三個節點分別承擔的slot 區間是:


? ? ? 節點A覆蓋0-5460;
? ? ? 節點B覆蓋5461-10922;
? ? ? 節點C覆蓋10923-16383.

? ??

? ? ?獲取數據:

? ? ? 如果存入一個值,按照redis cluster哈希槽的算法:?CRC16('key')%16384 = 6782。 那么就會把這個key 的存儲分配到 B 上了。同樣,當我連接(A,B,C)任何一個節點想獲取'key'這個key時,也會這樣的算法,然后內部跳轉到B節點上獲取數據?

? ??

? ? ?新增一個主節點:

? ? ??新增一個節點D,redis cluster的這種做法是從各個節點的前面各拿取一部分slot到D上,我會在接下來的實踐中實驗。大致就會變成這樣:
??

? ? 節點A覆蓋1365-5460
? ? 節點B覆蓋6827-10922
? ? 節點C覆蓋12288-16383
? ? 節點D覆蓋0-1364,5461-6826,10923-12287


? ? ?同樣刪除一個節點也是類似,移動完成后就可以刪除這個節點了。

?

??? ?2、Redis Cluster主從模式

? ? ? ? ? redis cluster 為了保證數據的高可用性,加入了主從模式,一個主節點對應一個或多個從節點,主節點提供數據存取,從節點則是從主節點拉取數據備份,當這個主節點掛掉后,就會有這個從節點選取一個來充當主節點,從而保證集群不會掛掉。

? ? ? 上面那個例子里, 集群有ABC三個主節點, 如果這3個節點都沒有加入從節點,如果B掛掉了,我們就無法訪問整個集群了。A和C的slot也無法訪問。

? ? ?所以我們在集群建立的時候,一定要為每個主節點都添加了從節點, 比如像這樣, 集群包含主節點A、B、C, 以及從節點A1、B1、C1, 那么即使B掛掉系統也可以繼續正確工作。

? ? ?B1節點替代了B節點,所以Redis集群將會選擇B1節點作為新的主節點,集群將會繼續正確地提供服務。 當B重新開啟后,它就會變成B1的從節點。

? ? 不過需要注意,如果節點B和B1同時掛了,Redis集群就無法繼續正確地提供服務了。

?

二、redis集群的搭建

? ? 集群中至少應該有奇數個節點,所以至少有三個節點,每個節點至少有一個備份節點,所以下面使用6節點(主節點、備份節點由redis-cluster集群確定)。

? ?

? ? ?下面使用redis-3.2.0安裝,下載地址? ?

? ? ?1、安裝redis節點指定端口

? ? ? ? ?解壓redis壓縮包,編譯安裝

? ? ? ? ?

[plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-3.2.0]#?tar?xzf?redis-3.2.0.tar.gz??
  • [root@localhost?redis-3.2.0]#?cd?redis-3.2.0??
  • [root@localhost?redis-3.2.0]#?make??
  • [root@localhost?redis01]#?make?install?PREFIX=/usr/andy/redis-cluster??
  • ?

    ? ? ? ??在redis-cluster下?修改bin文件夾為redis01,復制redis.conf配置文件

    ? ? ? ?

    ? ? ?配置redis的配置文件redis.conf

    ?

    ? ? ? ? ?daemonize yes #后臺啟動

    ? ? ? ??port 7001 #修改端口號,從7001到7006

    ? ? ? ??cluster-enabled yes #開啟cluster,去掉注釋

    ? ? ? ? cluster-config-file nodes.conf

    ? ? ? ??cluster-node-timeout 15000

    ? ? ? ??appendonly yes

    ?

    ?

    ? ? ? ? 復制六份,修改對應的端口號

    ? ? ? ??

    ?

    ??? ?2、安裝redis-trib所需的 ruby腳本

    ? ? ? ? ? 復制redis解壓文件src下的redis-trib.rb文件到redis-cluster目錄

    ? ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cp?/usr/andy/redis/redis-3.2.0/src/redis-trib.rb?./??
  • ?

    ? ? ??? ?安裝ruby環境:

    ? ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?yum?install?ruby??
  • [root@localhost?redis-cluster]#?yum?install?rubygems??
  • ?

    ? ? ? ??安裝redis-trib.rb運行依賴的ruby的包redis-3.2.2.gem,下載

    ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?gem?install?redis-3.2.2.gem??
  • ?

    ? ? ?3、啟動所有的redis節點

    ? ? ? ?可以寫一個命令腳本start-all.sh

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • cd?redis01??
  • ./redis-server?redis.conf??
  • cd?..??
  • cd?redis02??
  • ./redis-server?redis.conf??
  • cd?..??
  • cd?redis03??
  • ./redis-server?redis.conf??
  • cd?..??
  • cd?redis04??
  • ./redis-server?redis.conf??
  • cd?..??
  • cd?redis05??
  • ./redis-server?redis.conf??
  • cd?..??
  • cd?redis06??
  • ./redis-server?redis.conf??
  • cd?..??
  • ?

    ? ? ?設置權限啟動

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?chmod?777?start-all.sh???
  • [root@localhost?redis-cluster]#?./start-all.sh???
  • ?

    ? ? ? ?查看redis進程啟動狀態

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?ps?-ef?|?grep?redis??
  • ??
  • root???????4547??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7001?[cluster]??
  • root???????4551??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7002?[cluster]??
  • root???????4555??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7003?[cluster]??
  • root???????4559??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7004?[cluster]??
  • root???????4563??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7005?[cluster]??
  • root???????4567??????1??0?23:12??????????00:00:00?./redis-server?127.0.0.1:7006?[cluster]??
  • root???????4840???4421??0?23:26?pts/1????00:00:00?grep?--color=auto?redis??
  • ? ?

    ? 可以看到redis的6個節點已經啟動成功

    ? ?

    ? ? 殺死全部的幾點:

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?pkill?-9?redis??
  • ?

    ? ? ?4、使用redis-trib.rb創建集群

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • ./redis-trib.rb?create?--replicas?1?127.0.0.1:7001?127.0.0.1:7002?127.0.0.1:7003?127.0.0.1:7004?127.0.0.1:7005?127.0.0.1:7006??
  • ?

    ? ? ???使用create命令 --replicas 1 參數表示為每個主節點創建一個從節點,其他參數是實例的地址集合。

    ? ? ??

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?create?--replicas?1?127.0.0.1:7001?127.0.0.1:7002?127.0.0.1:7003?127.0.0.1:7004?127.0.0.1:7005?127.0.0.1:7006??
  • >>>?Creating?cluster??
  • >>>?Performing?hash?slots?allocation?on?6?nodes...??
  • Using?3?masters:??
  • 127.0.0.1:7001??
  • 127.0.0.1:7002??
  • 127.0.0.1:7003??
  • Adding?replica?127.0.0.1:7004?to?127.0.0.1:7001??
  • Adding?replica?127.0.0.1:7005?to?127.0.0.1:7002??
  • Adding?replica?127.0.0.1:7006?to?127.0.0.1:7003??
  • M:?dfd510594da614469a93a0a70767ec9145aefb1a?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • M:?e02eac35110bbf44c61ff90175e04d55cca097ff?127.0.0.1:7002??
  • ???slots:5461-10922?(5462?slots)?master??
  • M:?4385809e6f4952ecb122dbfedbee29109d6bb234?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • S:?ec02c9ef3acee069e8849f143a492db18d4bb06c?127.0.0.1:7004??
  • ???replicates?dfd510594da614469a93a0a70767ec9145aefb1a??
  • S:?83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75?127.0.0.1:7005??
  • ???replicates?e02eac35110bbf44c61ff90175e04d55cca097ff??
  • S:?10c097c429ca24f8720986c6b66f0688bfb901ee?127.0.0.1:7006??
  • ???replicates?4385809e6f4952ecb122dbfedbee29109d6bb234??
  • Can?I?set?the?above?configuration??(type?'yes'?to?accept):?yes??
  • >>>?Nodes?configuration?updated??
  • >>>?Assign?a?different?config?epoch?to?each?node??
  • >>>?Sending?CLUSTER?MEET?messages?to?join?the?cluster??
  • Waiting?for?the?cluster?to?join......??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7001)??
  • M:?dfd510594da614469a93a0a70767ec9145aefb1a?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • M:?e02eac35110bbf44c61ff90175e04d55cca097ff?127.0.0.1:7002??
  • ???slots:5461-10922?(5462?slots)?master??
  • M:?4385809e6f4952ecb122dbfedbee29109d6bb234?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • M:?ec02c9ef3acee069e8849f143a492db18d4bb06c?127.0.0.1:7004??
  • ???slots:?(0?slots)?master??
  • ???replicates?dfd510594da614469a93a0a70767ec9145aefb1a??
  • M:?83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75?127.0.0.1:7005??
  • ???slots:?(0?slots)?master??
  • ???replicates?e02eac35110bbf44c61ff90175e04d55cca097ff??
  • M:?10c097c429ca24f8720986c6b66f0688bfb901ee?127.0.0.1:7006??
  • ???slots:?(0?slots)?master??
  • ???replicates?4385809e6f4952ecb122dbfedbee29109d6bb234??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • ?

    ? ? ???上面顯示創建成功,有3個主節點,3個從節點,每個節點都是成功連接狀態。

    ?

    ? ? ? ?3個主節點[M]以及分配的哈??ú廴缦?#xff1a;

    ??M: dfd510594da614469a93a0a70767ec9145aefb1a 127.0.0.1:7001
    ??? ???slots:0-5460 (5461 slots) master
    ??M: e02eac35110bbf44c61ff90175e04d55cca097ff 127.0.0.1:7002
    ??? ? ?slots:5461-10922 (5462 slots) master
    ??M: 4385809e6f4952ecb122dbfedbee29109d6bb234 127.0.0.1:7003
    ??? ???slots:10923-16383 (5461 slots) master

    ? ? ??

    ? ? ? ? ??3個從節點[S]以及附屬的主節點如下:

    ? ? ? ? ??S: ec02c9ef3acee069e8849f143a492db18d4bb06c 127.0.0.1:7004
    ? ? ? ? ? ? ?replicates dfd510594da614469a93a0a70767ec9145aefb1a
    ? ? ? ? ? S: 83e5a8bb94fb5aaa892cd2f6216604e03e4a6c75 127.0.0.1:7005
    ? ? ? ? ? ? ?replicates e02eac35110bbf44c61ff90175e04d55cca097ff
    ? ? ? ? ? S: 10c097c429ca24f8720986c6b66f0688bfb901ee 127.0.0.1:7006
    ? ? ? ? ? ? ?replicates 4385809e6f4952ecb122dbfedbee29109d6bb234

    ?

    ? ? ? ??以上集群安裝成功了,如果安裝未成功報如下錯誤
    ? ? ? ?>>> Creating cluster
    ? ? ? ?[ERR] Sorry, can't connect to node??....

    ? ? ? ? ? 需要安裝最新的ruby源碼,下載

    ? ? ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?tar?-zxvf?ruby-2.3.1.tar.gz???
  • [root@localhost?redis-cluster]#?cd????
  • [root@localhost?redis-cluster]#?./configure?--prefix=/usr/local/ruby-2.3.1????
  • [root@localhost?redis-cluster]#?make?&&?make?install???????
  • [root@localhost?redis-cluster]#gem?install?redis????
  • ? ? ? ? ?還有一種情況是,在VMware做測試的時間(都在一臺服務器時),ip應該使用127.0.0.1,如果使用局域網ip,也會報節點創建失敗。

    ? ? ? ??

    三、redis集群的測試

    ? ? ?1、測試存取值

    ? ? ? ? ?客戶端連接集群redis-cli需要帶上 -c ,redis-cli -c -p 端口號

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis01]#?./redis-cli?-c?-p?7001??
  • 127.0.0.1:7001>?set?name?andy??
  • ->?Redirected?to?slot?[5798]?located?at?127.0.0.1:7002??
  • OK??
  • 127.0.0.1:7002>?get?name??
  • "andy"??
  • 127.0.0.1:7002>???
  • ?

    ? ? ? ? 根據redis-cluster的key值分配,name應該分配到節點7002[5461-10922]上,上面顯示redis cluster自動從7001跳轉到了7002節點。

    ? ? ? ?我們可以測試一下7006從節點獲取name值

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis06]#?./redis-cli?-c?-p?7006??
  • 127.0.0.1:7006>?get?name??
  • ->?Redirected?to?slot?[5798]?located?at?127.0.0.1:7002??
  • "andy"??
  • 127.0.0.1:7002>???

  • ?

    ? ? ? ? 7006位7003的從節點,從上面也是自動跳轉至7002獲取值,這也是redis cluster的特點,它是去中心化,每個節點都是對等的,連接哪個節點都可以獲取和設置數據。

    ?

    ?

    四、集群節點選舉

    ? ? ? ? ?現在模擬將7002節點掛掉,按照redis-cluster原理會選舉會將 7002的從節點7005選舉為主節點。

    ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?ps?-ef?|?grep?redis??
  • root???????7950??????1??0?12:50??????????00:00:28?./redis-server?127.0.0.1:7001?[cluster]??
  • root???????7952??????1??0?12:50??????????00:00:29?./redis-server?127.0.0.1:7002?[cluster]??
  • root???????7956??????1??0?12:50??????????00:00:29?./redis-server?127.0.0.1:7003?[cluster]??
  • root???????7960??????1??0?12:50??????????00:00:29?./redis-server?127.0.0.1:7004?[cluster]??
  • root???????7964??????1??0?12:50??????????00:00:29?./redis-server?127.0.0.1:7005?[cluster]??
  • root???????7966??????1??0?12:50??????????00:00:29?./redis-server?127.0.0.1:7006?[cluster]??
  • root??????11346??10581??0?14:57?pts/2????00:00:00?grep?--color=auto?redis??
  • [root@localhost?redis-cluster]#?kill?7952??
  • ?

    ? ? ? ? 在查看集群中的7002節點

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#???
  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7002??
  • [ERR]?Sorry,?can't?connect?to?node?127.0.0.1:7002??
  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7005??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7005)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:5461-10922?(5462?slots)?master??
  • ???0?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???

  • ? ? ? 可以看到集群連接不了7002節點,而7005有原來的S轉換為M節點,代替了原來的7002節點。我們可以獲取name值:

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis01]#?./redis-cli?-c?-p?7001??
  • 127.0.0.1:7001>?get?name??
  • ->?Redirected?to?slot?[5798]?located?at?127.0.0.1:7005??
  • "andy"??
  • 127.0.0.1:7005>???
  • 127.0.0.1:7005>???

  • ? ?從7001節點連入,自動跳轉到7005節點,并且獲取name值。

    ?

    ? ? 現在我們將7002節點恢復,看是否會自動加入集群中以及充當的M還是S節點。

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cd?redis02??
  • [root@localhost?redis02]#?./redis-server?redis.conf???
  • [root@localhost?redis02]#???
  • ?

    ? ? ?在check一下7002節點

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7002??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7002)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:5461-10922?(5462?slots)?master??
  • ???1?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ? 可以看到7002節點變成了a5db243087d8bd423b9285fa8513eddee9bb59a6 7005的從節點。

    ?

    五、集群節點添加

    ? ?節點新增包括新增主節點、從節點兩種情況。以下分別做一下測試:

    ? ? 1、新增主節點

    ? ? ? ?新增一個節點7007作為主節點修改配置文件

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cp?-r??redis01?redis07??
  • [root@localhost?redis-cluster]#?cd?redis07/??
  • [root@localhost?redis07]#?sed?-i?"s/7001/7007/g"?./redis.conf???
  • ?

    ? ? ? 啟動7007redis服務

    ?

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis07]#?./redis-server?redis.conf???
  • [root@localhost?redis07]#?netstat?-anp?|?grep?7007??
  • tcp????????0??????0?127.0.0.1:17007?????????0.0.0.0:*???????????????LISTEN??????13441/./redis-serve???
  • tcp????????0??????0?127.0.0.1:7007??????????0.0.0.0:*???????????????LISTEN??????13441/./redis-serve???
  • [root@localhost?redis07]#???

  • ? 上面可以看到,7007已經啟動,現在加入集群中。添加使用redis-trib.rb的add-node命令

    ?

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • ./redis-trib.rb?add-node?127.0.0.1:7007?127.0.0.1:7002??

  • ? ? add-node是加入集群節點,127.0.0.1:7007為要加入的節點,127.0.0.1:7002 表示加入的集群的一個節點,用來辨識是哪個集群,理論上那個集群的節點都可以。

    ? ? 執行以下add-node

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?add-node?127.0.0.1:7007?127.0.0.1:7002??
  • >>>?Adding?node?127.0.0.1:7007?to?cluster?127.0.0.1:7002??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7002)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:5461-10922?(5462?slots)?master??
  • ???1?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • >>>?Send?CLUSTER?MEET?to?node?127.0.0.1:7007?to?make?it?join?the?cluster.??
  • [OK]?New?node?added?correctly.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ???可以看到7007加入這個Cluster,并成為一個新的節點。

    ? ? ?可以check以下7007節點狀態

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7007??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7007)??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?master??
  • ???0?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:5461-10922?(5462?slots)?master??
  • ???1?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???
  • ?

    ??M: ee3efb90e5ac0725f15238a64fc60a18a71205d7 127.0.0.1:7007
    ? ?slots: (0 slots) master
    ? ?0 additional replica(s)

    ??上面信息可以看到有4個M節點,3個S節點,7007成為了M主節點,它沒有附屬的從節點,而且Cluster并未給7007分配哈??ú?#xff08;0 slots)。

    ? ??

    ? ?可以從客戶端連接集群查看一下,集群節點的連接情況

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cd?redis07/??
  • [root@localhost?redis07]#?./redis-cli?-c?-p?7007??
  • 127.0.0.1:7007>?cluster?nodes??
  • 8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006?slave?f9886c71e98a53270f7fda961e1c5f730382d48f?0?1462955393326?3?connected??
  • dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001?master?-?0?1462955388247?1?connected?0-5460??
  • ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007?myself,master?-?0?0?0?connected??
  • f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003?master?-?0?1462955390270?3?connected?10923-16383??
  • 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002?slave?a5db243087d8bd423b9285fa8513eddee9bb59a6?0?1462955394334?7?connected??
  • a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005?master?-?0?1462955392309?7?connected?5461-10922??
  • 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004?slave?dd19221c404fb2fc4da37229de56bab755c76f2b?0?1462955389663?1?connected??
  • 127.0.0.1:7007>???
  • ?

    ? ? ?redis-cluster在新增節點時并未分配卡槽,需要我們手動對集群進行重新分片遷移數據,需要重新分片命令 reshard

    ? ??

    ? ? ? ? ? ? ? redis-trib.rb reshard 127.0.0.1:7005

    ?

    ? ? ?這個命令是用來遷移slot節點的,后面的127.0.0.1:7005是表示是哪個集群,端口填[7000-7007]都可以,執行結果如下:

    ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?reshard?127.0.0.1:7005??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7005)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:5461-10922?(5462?slots)?master??
  • ???1?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:10923-16383?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?master??
  • ???0?additional?replica(s)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:0-5460?(5461?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • How?many?slots?do?you?want?to?move?(from?1?to?16384)????
  • ?

    ? ? ? 它提示我們需要遷移多少slot到7007上,我們平分16384個哈希槽給4個節點:16384/4 = 4096,我們需要移動4096個槽點到7007上。

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [OK]?All?16384?slots?covered.??
  • How?many?slots?do?you?want?to?move?(from?1?to?16384)??4096??
  • What?is?the?receiving?node?ID????
  • ?

    ? ? ?需要輸入7007的節點id,ee3efb90e5ac0725f15238a64fc60a18a71205d7
    ?

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • Please?enter?all?the?source?node?IDs.??
  • ??Type?'all'?to?use?all?the?nodes?as?source?nodes?for?the?hash?slots.??
  • ??Type?'done'?once?you?entered?all?the?source?nodes?IDs.??
  • Source?node?#1:??
  • ?

    ? ? ??redis-trib 會向你詢問重新分片的源節點(source node),即,要從特點的哪個節點中取出 4096 個哈希槽,還是從全部節點提取4096個哈希槽, 并將這些槽移動到7007節點上面。

    ? ? ?如果我們不打算從特定的節點上取出指定數量的哈希槽,那么可以向redis-trib輸入 all,這樣的話, 集群中的所有主節點都會成為源節點,redis-trib從各個源節點中各取出一部分哈希槽,湊夠4096個,然后移動到7007節點上:

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • Source?node?#1:all??
  • ?

    ? ? 然后開始從別的主節點遷移哈希槽,并且確認。

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • ????Moving?slot?1343?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1344?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1345?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1346?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1347?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1348?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1349?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1350?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1351?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1352?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1353?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1354?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1355?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1356?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1357?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1358?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1359?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1360?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1361?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1362?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1363?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • ????Moving?slot?1364?from?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • Do?you?want?to?proceed?with?the?proposed?reshard?plan?(yes/no)??yes??

  • ? ? ?確認之后,redis-trib就開始執行分片操作,將哈希槽一個一個從源主節點移動到7007目標主節點。

    ? ? ?重新分片結束后我們可以check以下節點的分配情況。

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7001??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7001)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:1365-5460?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:0-1364,5461-6826,10923-12287?(4096?slots)?master??
  • ???0?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ?slots:0-1364,5461-6826,10923-12287 (4096 slots) master

    ? ?可以看到7007節點分片的哈希槽片不是連續的,間隔的移動。

    ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cd?redis07/??
  • [root@localhost?redis07]#?./redis-cli?-c?7007??
  • Could?not?connect?to?Redis?at?127.0.0.1:6379:?Connection?refused??
  • [root@localhost?redis07]#?./redis-cli?-c?-p?7007??
  • 127.0.0.1:7007>?keys?*??
  • 1)?"name"??
  • 2)?"age"??
  • 127.0.0.1:7007>???
  • 127.0.0.1:7007>???
  • ?

    ? ? 可以看到將7001的age[741]和name[5798]移動到7007節點上,

    ? ? 主節點7007添加成功。

    ?

    ? ? 2、新增從節點

    ? ? ? ?新增一個節點7008節點,使用add-node --slave命令。

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cp?-r?redis01/?redis08??
  • [root@localhost?redis-cluster]#?cd?redis08/??
  • [root@localhost?redis08]#?sed?-i?"s/7001/7008/g"?./redis.conf??
  • [root@localhost?redis08]#?./redis-server?redis.conf???

  • ? ?redis-trib增加從節點的命令為:

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • ./redis-trib.rb?add-node?--slave?--master-id?$[nodeid]?127.0.0.1:7008?127.0.0.1:7000??
  • ?

    ? ? nodeid為要加到master主節點的node id,127.0.0.1:7008為新增的從節點,127.0.0.1:7000為集群的一個節點(集群的任意節點都行),用來辨識是哪個集群;如果沒有給定那個主節點--master-id的話,redis-trib將會將新增的從節點隨機到從節點較少的主節點上。

    ?

    ? ? 現在我們添加一下7008,看是否會自動加到沒有從節點的7007主節點上。

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?add-node?--slave?127.0.0.1:7008?127.0.0.1:7001>>>?Adding?node?127.0.0.1:7008?to?cluster?127.0.0.1:7001??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7001)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:1365-5460?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:0-1364,5461-6826,10923-12287?(4096?slots)?master??
  • ???0?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • Automatically?selected?master?127.0.0.1:7007??
  • >>>?Send?CLUSTER?MEET?to?node?127.0.0.1:7008?to?make?it?join?the?cluster.??
  • Waiting?for?the?cluster?to?join.??
  • >>>?Configure?node?as?replica?of?127.0.0.1:7007.??
  • [OK]?New?node?added?correctly.??
  • [root@localhost?redis-cluster]#???

  • ? ? ?可以看到自動選擇了127.0.0.1:7007為master主節點,并且添加成功。

    ? ? ?可以check一下7008:

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7008??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7008)??
  • S:?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008??
  • ???slots:?(0?slots)?slave??
  • ???replicates?ee3efb90e5ac0725f15238a64fc60a18a71205d7??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:1365-5460?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:0-1364,5461-6826,10923-12287?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ? ? ?可以看到7008作為了7007的從節點。

    ? ? ? ??

    ? ? ? ?再測試一下指定主節點添加從節點,給7007增加7009從節點。

    ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cp?-r?redis01/?redis09??
  • [root@localhost?redis-cluster]#?cd?redis09??
  • [root@localhost?redis09]#?sed?-i?"s/7001/7009/g"?./redis.conf??
  • [root@localhost?redis09]#?./redis-server?redis.conf???
  • ?

    ? ? ? ?添加7007主節點上

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?add-node?--slave?--master-id?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7009?127.0.0.1:7001??
  • >>>?Adding?node?127.0.0.1:7009?to?cluster?127.0.0.1:7001??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7001)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:1365-5460?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008??
  • ???slots:?(0?slots)?slave??
  • ???replicates?ee3efb90e5ac0725f15238a64fc60a18a71205d7??
  • M:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:0-1364,5461-6826,10923-12287?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • >>>?Send?CLUSTER?MEET?to?node?127.0.0.1:7009?to?make?it?join?the?cluster.??
  • Waiting?for?the?cluster?to?join.??
  • >>>?Configure?node?as?replica?of?127.0.0.1:7007.??
  • [OK]?New?node?added?correctly.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ? ?顯示從節點7009節點添加到7007主節點,可以看一下7007的從節點,如下:

    ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cd?./redis07??
  • [root@localhost?redis07]#?./redis-cli?-c?-p?7007?cluster?nodes?|?grep?ee3efb90e5ac0725f15238a64fc60a18a71205d7???
  • 1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009?slave?ee3efb90e5ac0725f15238a64fc60a18a71205d7?0?1462962710266?8?connected??
  • ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007?myself,master?-?0?0?8?connected?0-1364?5461-6826?10923-12287??
  • 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008?slave?ee3efb90e5ac0725f15238a64fc60a18a71205d7?0?1462962711607?8?connected??
  • [root@localhost?redis07]#???

  • ? ? ?maser 7007有2個slave 7008,7009。

    ?

    ? ? ?我們測試一下7007節點掛掉,看7008和7009那個成為主節點。

    ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?ps?-ef?|?grep?redis??
  • root???????7950??????1??0?12:50??????????00:02:05?./redis-server?127.0.0.1:7001?[cluster]??
  • root???????7956??????1??0?12:50??????????00:02:11?./redis-server?127.0.0.1:7003?[cluster]??
  • root???????7960??????1??0?12:50??????????00:01:47?./redis-server?127.0.0.1:7004?[cluster]??
  • root???????7964??????1??0?12:50??????????00:02:07?./redis-server?127.0.0.1:7005?[cluster]??
  • root???????7966??????1??0?12:50??????????00:01:46?./redis-server?127.0.0.1:7006?[cluster]??
  • root??????12070??????1??0?15:14??????????00:01:08?./redis-server?127.0.0.1:7002?[cluster]??
  • root??????13441??????1??0?16:09??????????00:01:25?./redis-server?127.0.0.1:7007?[cluster]??
  • root??????15939??????1??0?17:41??????????00:00:20?./redis-server?127.0.0.1:7008?[cluster]??
  • root??????16623??????1??0?18:07??????????00:00:10?./redis-server?127.0.0.1:7009?[cluster]??
  • root??????17295??10581??0?18:37?pts/2????00:00:00?grep?--color=auto?redis??
  • [root@localhost?redis-cluster]#?kill?-9?13441??
  • [root@localhost?redis-cluster]#?cd?./redis08??
  • [root@localhost?redis08]#?./redis-cli?-c?-p?7008??
  • 127.0.0.1:7008>?get?name??
  • ->?Redirected?to?slot?[5798]?located?at?127.0.0.1:7009??
  • "andy"??
  • 127.0.0.1:7009>?cluster?nodes??
  • ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007?master,fail?-?1462963082317?1462963080194?8?disconnected??
  • 50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004?slave?dd19221c404fb2fc4da37229de56bab755c76f2b?0?1462963170968?1?connected??
  • f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003?master?-?0?1462963168525?3?connected?12288-16383??
  • dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001?master?-?0?1462963164466?1?connected?1365-5460??
  • 2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008?slave?1f51443ede952b98724fea2a12f61fe710ab6cb1?0?1462963167508?9?connected??
  • 1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009?myself,master?-?0?0?9?connected?0-1364?5461-6826?10923-12287??
  • 1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002?slave?a5db243087d8bd423b9285fa8513eddee9bb59a6?0?1462963170564?7?connected??
  • 8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006?slave?f9886c71e98a53270f7fda961e1c5f730382d48f?0?1462963167915?3?connected??
  • a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005?master?-?0?1462963169538?7?connected?6827-10922??
  • 127.0.0.1:7009>???
  • ?

    ? ? ? 可以看到7009代替7007成了主節點。

    ? ? ? ?重啟7007之后,會自動變成7009的從節點。

    ? ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?cd?redis07??
  • [root@localhost?redis07]#?./redis-server?redis.conf???
  • [root@localhost?redis07]#?cd?../??
  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7007??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7007)??
  • S:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • M:?1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009??
  • ???slots:0-1364,5461-6826,10923-12287?(4096?slots)?master??
  • ???2?additional?replica(s)??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:1365-5460?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ? 驗證了之前的測試。

    ?

    六、節點的移除

    ? ?和節點添加一樣,移除節點也有移除主節點,從節點。

    ? ?1、移除主節點

    ? ? ? ?移除節點使用redis-trib的del-node命令,

    ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • redis-trib?del-node?127.0.0.1:7002??${node-id}??
  • ?

    ? ? 127.0.0.1:7002位集群節點,node-id為要刪除的主節點。 和添加節點不同,移除節點node-id是必需的,測試刪除7001主節點:

    ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?del-node?127.0.0.1:7001?<span?style="font-size:?14px;">dd19221c404fb2fc4da37229de56bab755c76f2b</span>??
  • >>>?Removing?node?<span?style="font-size:?14px;">dd19221c404fb2fc4da37229de56bab755c76f2b</span>?from?cluster?127.0.0.1:7002??
  • [ERR]?Node?127.0.0.1:7001?is?not?empty!?Reshard?data?away?and?try?again.??
  • [root@localhost?redis-cluster]#???
  • ?

    ? redis cluster提示7001已經有數據了,不能夠被刪除,需要將他的數據轉移出去,也就是和新增主節點一樣需重新分片。

    ? ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?reshard?127.0.0.1:7002??
  • ?

    ? 執行以后會提示我們移除的大小,因為7001占用了4096個槽點

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • How?many?slots?do?you?want?to?move?(from?1?to?16384)????

  • ? 輸入4096

    ? 提示移動的node id,填寫7009的node id。

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • How?many?slots?do?you?want?to?move?(from?1?to?16384)??4096??
  • What?is?the?receiving?node?ID????
  • ? ?

    ? ?需要移動到全部主節點上還是單個主節點

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • Please?enter?all?the?source?node?IDs.??
  • ??Type?'all'?to?use?all?the?nodes?as?source?nodes?for?the?hash?slots.??
  • ??Type?'done'?once?you?entered?all?the?source?nodes?IDs.??
  • Source?node?#1:??

  • ? ?將4096個槽點移動到7009上,填寫7001的node id :dd19221c404fb2fc4da37229de56bab755c76f2b

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • Source?node?#1:dd19221c404fb2fc4da37229de56bab755c76f2b??
  • Source?node?#2:done??
  • Do?you?want?to?proceed?with?the?proposed?reshard?plan?(yes/no)??yes??
  • ?

    ? ?確認之后會一個一個將7001的卡槽移到到7009上。

    ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7009??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7009)??
  • M:?1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009??
  • ???slots:0-6826,10923-12287?(8192?slots)?master??
  • ???3?additional?replica(s)??
  • S:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • M:?dd19221c404fb2fc4da37229de56bab755c76f2b?127.0.0.1:7001??
  • ???slots:?(0?slots)?master??
  • ???0?additional?replica(s)??
  • S:?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???

  • ? ? ?可以看到7001有0個卡槽,而7009有8192個卡槽。

    ?

    ? ? ?在執行移除操作

    ? ? ?

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?del-node?127.0.0.1:7002?dd19221c404fb2fc4da37229de56bab755c76f2b??
  • >>>?Removing?node?dd19221c404fb2fc4da37229de56bab755c76f2b?from?cluster?127.0.0.1:7002??
  • >>>?Sending?CLUSTER?FORGET?messages?to?the?cluster...??
  • >>>?SHUTDOWN?the?node.??
  • [root@localhost?redis-cluster]#???

  • ? ? 已經刪除了7001節點。

    ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7001??
  • [ERR]?Sorry,?can't?connect?to?node?127.0.0.1:7001??
  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7009??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7009)??
  • M:?1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009??
  • ???slots:0-6826,10923-12287?(8192?slots)?master??
  • ???3?additional?replica(s)??
  • S:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?127.0.0.1:7008??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???

  • ? 可以看到7001已經連接不了;而7001的從節點7004自動分配到了7009主節點中,7009現在3個從節點。

    ?

    ?2、移除從節點

    ? ? ?比如刪除7009的7008節點:

    ? ? ??

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?del-node?127.0.0.1:7009?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5??
  • >>>?Removing?node?2ab1b061c36f30ae35604e9a171ae3afdc3c87e5?from?cluster?127.0.0.1:7009??
  • >>>?Sending?CLUSTER?FORGET?messages?to?the?cluster...??
  • >>>?SHUTDOWN?the?node.??
  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7008??
  • [ERR]?Sorry,?can't?connect?to?node?127.0.0.1:7008??
  • [root@localhost?redis-cluster]#???
  • ?

    ? ? ?刪除從節點比較方便,現在redis-cluster中有3個主節點,4個從節點,如下:

    [plain]?view plain?copy?轉存失敗重新上傳取消轉存失敗重新上傳取消

  • [root@localhost?redis-cluster]#?./redis-trib.rb?check?127.0.0.1:7009??
  • >>>?Performing?Cluster?Check?(using?node?127.0.0.1:7009)??
  • M:?1f51443ede952b98724fea2a12f61fe710ab6cb1?127.0.0.1:7009??
  • ???slots:0-6826,10923-12287?(8192?slots)?master??
  • ???2?additional?replica(s)??
  • S:?ee3efb90e5ac0725f15238a64fc60a18a71205d7?127.0.0.1:7007??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • S:?50ce1ea59106b4c2c6bc502593a6a7a7dabf5041?127.0.0.1:7004??
  • ???slots:?(0?slots)?slave??
  • ???replicates?1f51443ede952b98724fea2a12f61fe710ab6cb1??
  • M:?f9886c71e98a53270f7fda961e1c5f730382d48f?127.0.0.1:7003??
  • ???slots:12288-16383?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • S:?1f07d76585bfab35f91ec711ac53ab4bc00f2d3a?127.0.0.1:7002??
  • ???slots:?(0?slots)?slave??
  • ???replicates?a5db243087d8bd423b9285fa8513eddee9bb59a6??
  • S:?8bb3ede48319b46d0015440a91ab277da9353c8b?127.0.0.1:7006??
  • ???slots:?(0?slots)?slave??
  • ???replicates?f9886c71e98a53270f7fda961e1c5f730382d48f??
  • M:?a5db243087d8bd423b9285fa8513eddee9bb59a6?127.0.0.1:7005??
  • ???slots:6827-10922?(4096?slots)?master??
  • ???1?additional?replica(s)??
  • [OK]?All?nodes?agree?about?slots?configuration.??
  • >>>?Check?for?open?slots...??
  • >>>?Check?slots?coverage...??
  • [OK]?All?16384?slots?covered.??
  • [root@localhost?redis-cluster]#???

  • ? ?ok,測試到這兒吧。

    總結

    以上是生活随笔為你收集整理的Redis Cluster集群搭建的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    日韩av男人的天堂 | 天天躁天天狠天天透 | 婷婷丁香激情网 | 欧美 激情 国产 91 在线 | 狠日日| 成人免费观看视频大全 | 国产一级片免费播放 | 这里只有精彩视频 | 中文字幕av免费在线观看 | 99热最新在线 | 成人h动漫精品一区二 | 日韩中文字幕视频在线观看 | 日韩成人av在线 | 在线天堂v | 婷婷在线免费 | 午夜av激情 | 在线中文字幕观看 | 日韩在线精品 | 色婷婷骚婷婷 | 国产美女精品视频免费观看 | 少妇bbb| 免费av视屏 | 美女在线观看网站 | 黄色动态图xx | 亚洲国产中文字幕在线观看 | 91精品国产自产老师啪 | 91新人在线观看 | .国产精品成人自产拍在线观看6 | 国产成人一区二区三区 | 欧美综合色在线图区 | 久久婷婷国产色一区二区三区 | 欧美一进一出抽搐大尺度视频 | 免费看成人 | 日本久久片 | www.夜夜操.com| 国产一区二区免费 | 少妇精品久久久一区二区免费 | 色婷婷福利 | а中文在线天堂 | 蜜臀久久99静品久久久久久 | 在线观看午夜av | 国产精品久久久久久久久久不蜜月 | www.夜夜干.com | 国产999在线观看 | 国产精品久久久久三级 | 国产白浆在线观看 | 日韩1页| 免费欧美高清视频 | 久久久久黄| 一区二区三区四区五区在线视频 | 一级黄色在线免费观看 | 国产中文字幕在线视频 | 欧美午夜a | 国产精品永久久久久久久久久 | 国产精品尤物视频 | 中文字幕高清视频 | 综合天天色 | 久久黄色小说 | 久久综合欧美精品亚洲一区 | 国产精品日韩在线 | 曰本免费av| 日韩精品视频久久 | 在线观看成人毛片 | 婷婷在线看 | 久久国产经典视频 | 又色又爽又黄高潮的免费视频 | 精品国产一区二区三区四区vr | 91视频高清免费 | 国产精品一区二区久久精品爱微奶 | 久久久久久久久免费视频 | 久章草在线 | 精品中文字幕在线播放 | 在线免费观看不卡av | 伊人狠狠色丁香婷婷综合 | 五月婷婷免费 | 中文字幕免费高清在线 | 在线观看亚洲精品视频 | 国产精品国产三级国产aⅴ入口 | 爱情影院aqdy鲁丝片二区 | 欧美a级成人淫片免费看 | 欧美最新另类人妖 | 操操操av | 美女国产 | 欧美a视频 | 国产麻豆精品久久一二三 | 97在线观视频免费观看 | 色偷偷88欧美精品久久久 | 欧美日韩一二三四区 | 91久久丝袜国产露脸动漫 | 国产在线高清视频 | 国产精品久久久久一区 | 91传媒在线 | 久精品视频在线 | 人人艹人人 | 热久在线 | 精品国产一区二区三区久久影院 | 天堂中文在线视频 | 国产爽妇网 | 狠狠色丁香婷综合久久 | 亚洲欧美日韩一区二区三区在线观看 | 91av中文| 国产精品高清免费在线观看 | 奇米影视在线99精品 | 亚洲专区 国产精品 | 亚洲区另类春色综合小说校园片 | 国产99久久久国产精品免费看 | 国产精品日韩在线 | 99国产在线视频 | 久久全国免费视频 | 精品久久在线 | 999国产在线 | 久久精品导航 | 日韩性片 | a久久免费视频 | 中文字幕在线影院 | 久久久久久久久久久久久国产精品 | 亚洲在线视频免费 | 欧美日韩一级在线 | 日产乱码一二三区别免费 | 午夜美女视频 | 成人精品99 | 中文字幕亚洲五码 | 97在线视频免费观看 | 超碰久热 | 日韩字幕在线 | 人人看黄色 | www在线观看国产 | 91porny九色在线播放 | 黄色av一区二区 | 久久免费视频2 | 色之综合网 | 五月亚洲婷婷 | 久艹在线免费观看 | 成人免费中文字幕 | 日日干网| 日韩视频二区 | 天天操天天添 | 成人黄色国产 | 婷婷色狠狠 | 91av蜜桃 | www天天干com| 伊人色**天天综合婷婷 | 99免费在线视频 | 国产精品第10页 | 久久影院一区 | 日本狠狠干 | 国产原创在线观看 | 丁香婷婷激情国产高清秒播 | 97精品国产一二三产区 | 天天操操操操操操 | 黄色三级免费 | 国产精品久久久久久久久久尿 | 一区二区三区在线免费观看视频 | 国产99精品 | 亚洲欧洲成人精品av97 | 中文一区二区三区在线观看 | 国产午夜精品一区 | 很污的网站 | 日韩av资源在线观看 | 国产精品99久久免费观看 | 国产精品久久久久久久久费观看 | 久久se视频 | 91精品在线免费观看视频 | 亚洲精品videossex少妇 | a级一a一级在线观看 | 91精品啪 | 国产一区二区精品 | 在线国产一区 | 日韩精品久久久免费观看夜色 | 人人草在线视频 | 国产96在线观看 | 激情 婷婷 | 一区二区 不卡 | av7777777 | 一区二区三区免费在线观看视频 | 激情丁香综合五月 | 高清久久久久久 | 操夜夜操 | 国产一级片网站 | 欧美精品你懂的 | 精品国产成人av在线免 | 国产精品麻豆99久久久久久 | 欧美一区成人 | 久久久久久综合 | 综合色伊人 | 91在线观看黄 | 国产综合久久 | 日韩a级免费视频 | 久久在草 | 亚洲精品国产精品国自产观看浪潮 | 美女网站视频一区 | 国产精品久久视频 | 午夜精品一区二区国产 | 欧美日韩国产一区二区三区在线观看 | 国产一区二区在线播放 | 在线成人免费av | 久久免费国产精品 | 青春草免费在线视频 | 激情开心网站 | 亚洲a免费 | 久久少妇免费视频 | 国产精品视频不卡 | 天天天天天天天操 | 亚洲黑丝少妇 | 久艹视频在线观看 | 91在线免费观看国产 | 免费看国产曰批40分钟 | 97香蕉超级碰碰久久免费软件 | 久久久天堂 | www婷婷| 狠狠狠狠狠狠操 | 国产精品av一区二区 | 九色自拍视频 | 国产又粗又长的视频 | 久久夜夜操 | 久久欧洲视频 | 日本久久久久久 | 五月天婷婷视频 | 黄色一级免费 | 久久av免费 | 免费高清在线观看电视网站 | 国产亚洲观看 | 久久专区 | 视频 天天草 | 国产99久久久久 | 日韩av成人免费看 | 欧美日韩另类视频 | 日韩av在线影视 | 欧美激情精品久久久久 | 99热手机在线观看 | 日韩av成人免费看 | 在线蜜桃视频 | 欧美三级高清 | 久久人人爽人人爽人人片 | 欧美久久久一区二区三区 | 亚洲精品久久久久久久不卡四虎 | 国产成人精品999 | 香蕉视频一级 | 久久在现| 超碰97免费 | 国产精品99久久久久 | 欧美最猛性xxxxx免费 | 国产精品免费不 | 国产精品亚洲a | 欧美激情综合五月色丁香 | 久久久国产精品麻豆 | 99热这里只有精品在线观看 | 亚洲天堂网在线播放 | 在线国产片 | 日韩大陆欧美高清视频区 | 国产一区二三区好的 | 又湿又紧又大又爽a视频国产 | 成人精品99 | 在线视频 区 | 国产精久久久久久妇女av | 久久久久成人精品免费播放动漫 | 国产精品手机在线观看 | 伊人干综合 | 久久亚洲私人国产精品 | 久久久午夜视频 | 久久综合之合合综合久久 | 日黄网站 | 91完整版在线观看 | 国产精品一区专区欧美日韩 | 色婷婷亚洲综合 | 日韩一区二区三区不卡 | 91高清不卡| 久久久久久久av麻豆果冻 | 天天操比 | 综合网成人 | 成人国产精品免费 | 国产精品久久久久久久7电影 | 亚洲在线a | 亚洲不卡av一区二区三区 | 91网站观看 | 毛片基地黄久久久久久天堂 | 少妇bbbb| 亚洲免费成人av电影 | av三级在线免费观看 | 狠狠综合 | 麻豆一二| 少妇高潮冒白浆 | 天堂入口网站 | 国产一区电影在线观看 | free. 性欧美.com | 久久综合色一综合色88 | 国产精品自产拍在线观看网站 | 三级黄色免费 | 狠狠网亚洲精品 | 日本中文一区二区 | 久久艹国产视频 | 综合色在线观看 | 国产午夜一区二区 | 亚洲三级在线免费观看 | a级片网站| 一级全黄毛片 | 三级黄色免费片 | 欧美激情精品久久久久久变态 | 午夜视频在线观看欧美 | 久久黄色网址 | 国产精品人人做人人爽人人添 | 激情网第四色 | 国内精品久久久久影院一蜜桃 | av成人在线电影 | 久久久久久久福利 | 最近中文字幕国语免费高清6 | 最近中文字幕大全 | 日本中文字幕在线免费观看 | 伊人手机在线 | 成人精品一区二区三区中文字幕 | 免费视频久久久久 | 日韩av不卡播放 | 91福利视频网站 | 九九视频在线 | 91国内在线视频 | 日韩激情久久 | 99精品久久99久久久久 | 亚洲精品久久久久久久蜜桃 | 欧美激情精品久久久久 | 99av在线视频 | 99re久久精品国产 | 美女精品国产 | 天天射天天搞 | 夜夜躁狠狠躁日日躁 | 午夜精品影院 | av电影中文 | 97免费在线观看视频 | 五月天婷婷丁香花 | 亚洲日本在线一区 | 天天草天天操 | 一区二区三区在线免费 | 免费亚洲婷婷 | 欧美成人亚洲 | 在线不卡的av | av成人动漫在线观看 | 国产天天爽 | 人人添人人澡人人澡人人人爽 | 久久久久久久国产精品 | 国产99久久九九精品 | 在线观看国产麻豆 | 91av电影在线 | 91香蕉视频好色先生 | 日韩二区精品 | 午夜狠狠干 | 在线不卡a | www.com操| 五月天婷亚洲天综合网精品偷 | 国产黄色电影 | 四虎免费在线观看 | 狠狠躁夜夜a产精品视频 | 久久人人插| 国产婷婷一区二区 | 激情五月播播久久久精品 | 国产精品伦一区二区三区视频 | 玖玖视频在线 | 日本中文字幕视频 | 天天干视频在线 | 欧美一区二区精美视频 | www.成人sex| 性色在线视频 | 日韩高清在线观看 | 奇米影视999| 公开超碰在线 | 国内精品久久久久久久久久久久 | 中文 一区二区 | 国产日本亚洲 | 在线观看日韩中文字幕 | 国产精品嫩草影院99网站 | 国产精品亚洲a | a天堂一码二码专区 | 91九色网站 | 国产一级免费在线观看 | 又湿又紧又大又爽a视频国产 | 日韩欧美网址 | 久久99精品国产99久久6尤 | 天天射,天天干 | 国产黄色在线网站 | 91精品国产乱码 | 成人91免费视频 | 国产高清一 | 国产视频一区二区三区在线 | 亚洲综合成人婷婷小说 | 成人在线观看av | 国产午夜在线观看 | 欧美成a人片在线观看久 | 在线播放你懂 | 四虎成人精品在永久免费 | 美女视频一区二区 | 综合天天色 | 欧美日韩国产精品一区二区三区 | 在线观看av大片 | 精品免费视频 | 国产天天综合 | 狠狠色丁香婷婷综合基地 | 国产一区二区精 | 成 人 黄 色 视频播放1 | 九九免费精品视频在线观看 | 中文字幕在线播放一区二区 | 激情网第四色 | 欧美少妇xxx| 最新色站 | 久久国产电影院 | 91日韩在线视频 | 国产日韩精品在线观看 | 免费黄在线观看 | 一区二区三区电影大全 | 人人爽人人爽人人爽 | 欧美婷婷综合 | 一区二区三区影院 | 午夜精品久久久久久中宇69 | 手机版av在线 | 亚洲美女视频网 | 日韩在线观看一区二区 | 久久久在线 | 亚洲精品视频 | 伊人天堂av | 在线国产激情视频 | 日韩电影在线一区二区 | 亚洲成人av影片 | 日韩精品免费在线观看视频 | 国产视频亚洲精品 | 国产麻豆果冻传媒在线观看 | 亚洲经典视频在线观看 | 播五月综合 | 天天干天天做天天操 | 国产 欧美 日产久久 | 四虎在线观看精品视频 | 一级成人免费视频 | 天天干天天操天天射 | 亚洲在线a | 色婷av | 久久精品一区二区三区国产主播 | av在线播放免费 | 天堂av在线网址 | 色婷婷精品大在线视频 | 国产a级片免费观看 | 特级黄色视频毛片 | 国产精品视频app | 免费看搞黄视频网站 | 日日干天天操 | 久久久久久久久久久久久久免费看 | 天天操天天插 | 亚洲一二三久久 | 免费在线观看黄色网 | 婷婷伊人五月天 | 婷婷丁香av | 日日摸日日添夜夜爽97 | 国产日韩精品在线观看 | 91资源在线免费观看 | 亚州中文av | 国产视频中文字幕在线观看 | 中文字幕在线日 | 国内揄拍国产精品 | 免费a v视频 | 在线观看久久 | 96久久| 美女视频黄免费的久久 | 天天综合亚洲 | 欧美日韩高清一区二区 国产亚洲免费看 | 日韩精品久久中文字幕 | 免费观看www7722午夜电影 | 在线观看午夜av | 亚洲理论在线 | 亚洲不卡在线 | 久久精品国产成人 | 日本中文字幕在线观看 | 99久久精品免费一区 | 日日夜夜爱 | 色婷婷成人网 | 91色国产| 日韩在线影视 | 国产在线观看网站 | 96av视频| 国产福利一区二区三区视频 | 粉嫩av一区二区三区入口 | 狠狠干中文字幕 | 久久久蜜桃一区二区 | 国产在线观看xxx | 亚洲综合色婷婷 | 视频国产区 | 狠狠干夜夜操天天爽 | 国产黄色视 | 婷婷激情网站 | 亚洲精品在线免费看 | 美女精品 | 九九热视频在线播放 | 麻豆影视在线观看 | 精品久久久999 | 精品久久久久久久 | 日本天天色 | 亚洲成av| 成人黄色电影免费观看 | 亚洲第一区在线观看 | 日韩中文字幕91 | 久久精品视频网站 | 99久久夜色精品国产亚洲 | 亚洲国产经典视频 | 在线看片中文字幕 | 91尤物国产尤物福利在线播放 | 91完整版在线观看 | 欧美日韩在线观看一区二区 | 欧美视频99 | 天天se天天cao天天干 | 视频在线观看入口黄最新永久免费国产 | 午夜精品久久久久久99热明星 | 在线视频一二区 | 一区二区成人国产精品 | 国产精品麻豆三级一区视频 | 日本黄色免费电影网站 | 91av短视频| 欧美久久影院 | 免费观看全黄做爰大片国产 | 亚洲一区二区黄色 | 99精品国产成人一区二区 | 国产精品视频你懂的 | 成人免费观看大片 | 一本一本久久aa综合精品 | 国内精品久久久久久久久久久久 | 波多野结衣资源 | 久久色亚洲 | 九九影视理伦片 | 日韩精品一区二区在线观看视频 | 最新国产一区二区三区 | 草久中文字幕 | 国产午夜精品一区二区三区欧美 | 国产黄在线观看 | 一区二区精品在线观看 | 黄色免费在线视频 | 欧美孕交vivoestv另类 | 久久精品一区二区国产 | 久久不卡免费视频 | 色夜影院| 国产夫妻自拍av | 狠狠色狠狠色合久久伊人 | 99在线精品视频在线观看 | 色综合久久88色综合天天人守婷 | 狠狠色丁香久久综合网 | 婷婷日 | 在线看日韩 | 狠狠操天天射 | 亚洲天堂精品视频在线观看 | 日韩影视在线 | 亚洲黄色一级大片 | 日本在线视频一区二区三区 | 精品国产_亚洲人成在线 | 在线电影日韩 | 久久久久久久久久久久久久免费看 | 国产在线精品二区 | 色婷婷激情五月 | 91自拍视频在线 | 日韩成人精品在线观看 | 在线视频1卡二卡三卡 | 久久96| 亚洲欧美婷婷六月色综合 | 免费在线观看av网站 | 日韩电影一区二区三区在线观看 | 国产亚洲日本 | 精品国产123 | 国产丝袜| 日韩精品视频在线观看网址 | 色视频网站免费观看 | 99热99re6国产在线播放 | 久久国产精品99久久久久 | 久久久久www | 黄a在线| 日本大片免费观看在线 | 亚洲精品资源 | a视频免费在线观看 | 懂色av一区二区在线播放 | 国产综合久久 | 婷婷综合成人 | 久久黄色片 | 国产一级电影网 | 91手机电影 | 久久最新网址 | 丰满少妇在线观看 | 久草在线视频首页 | 91激情视频在线观看 | 日韩av伦理片 | 天天干天天干天天射 | 2024国产精品视频 | 国产1区2区| 久久国产精品精品国产色婷婷 | 天天曰天天干 | 国产黑丝袜在线 | 中文一区二区三区在线观看 | 中文在线字幕免费观看 | 天天射成人| 久久国产精品二国产精品中国洋人 | 国产丝袜一区二区三区 | 天天se天天cao天天干 | 日韩a在线看 | 夜夜视频| 亚洲综合婷婷 | 色综合天天色综合 | 免费在线日韩 | 狠狠干狠狠插 | 欧美va天堂va视频va在线 | 国产黄色片久久 | 国产资源网站 | 亚洲精品乱码久久久久久按摩 | 超碰国产在线 | 国产精品日韩在线观看 | 欧美福利在线播放 | 中文字幕乱视频 | 成年人在线电影 | 久久久久久久久久久免费视频 | 日本公妇在线观看高清 | 国产a国产a国产a | 免费观看性生交大片3 | 青春草视频在线播放 | 一区二区三区中文字幕在线观看 | 91九色蝌蚪国产 | 欧美日韩裸体免费视频 | 国产一区二区不卡视频 | 人人干在线观看 | 欧美日韩国产二区三区 | 狠狠干网站 | 亚洲精品一区中文字幕乱码 | 大荫蒂欧美视频另类xxxx | 久草在线免费色站 | 一区二区精品在线观看 | 欧美一级性生活视频 | 久久这里只有精品视频99 | 国产乱码精品一区二区三区介绍 | 国产精品美女在线 | 久久精品久久综合 | 日韩免费电影一区二区三区 | 久青草影院 | 欧美精品在线一区 | 日日夜夜综合网 | 国产高清在线免费 | 国产高清不卡在线 | 天天色综合久久 | 九九热在线视频 | 精品在线观看一区二区 | 久久综合电影 | 久久久免费视频播放 | adn—256中文在线观看 | 成人小电影在线看 | 黄污视频大全 | a爱爱视频 | 日韩一区精品 | 婷婷在线免费视频 | 国产剧情一区二区 | 婷五月天激情 | 在线免费性生活片 | 中文字幕你懂的 | 国产在线观看一区 | 91精品国自产在线偷拍蜜桃 | 久草国产在线观看 | 操一草 | 国产福利av | 色综合天天在线 | 久久激情综合 | 久久亚洲综合色 | 久久伦理| 在线观看亚洲国产 | 在线三级av | 日本久久精品视频 | 婷婷丁香花五月天 | 欧美日韩国产二区三区 | 麻豆视频国产精品 | 国产午夜亚洲精品 | 午夜影视一区 | 波多野结衣在线观看一区二区三区 | 911免费视频 | 中文字幕在线播放日韩 | 亚洲成aⅴ人片久久青草影院 | 婷婷网在线 | 久久高清免费视频 | 国产精品99久久久久久宅男 | 999视频在线播放 | 天天操欧美 | 日日夜夜天天久久 | 天天操天天操天天爽 | 天天弄天天操 | 亚洲第一区精品 | 久久亚洲精品电影 | 国产精品va在线观看入 | 在线性视频日韩欧美 | 国产1区2区3区在线 亚洲自拍偷拍色图 | 激情av网址| 久久久久久久久影视 | 国产91小视频 | av在线网站大全 | 91伊人影院| 色综合狠狠干 | 日韩黄色在线观看 | 久99精品 | 在线视频一区观看 | 亚洲最新av在线网站 | 国产精品精品 | 日韩免费观看av | 97精品一区 | 日韩网站在线免费观看 | 国产在线视频资源 | 久久久999免费视频 日韩网站在线 | 久久公开视频 | 99精品视频免费观看 | 亚洲在线国产 | 一区二区三区精品在线视频 | 五月婷婷六月丁香 | 高清一区二区三区av | 精品在线你懂的 | 亚洲精品在线视频 | 亚洲精品美女在线观看 | 狠狠的日| 黄色美女免费网站 | 亚洲 欧洲 国产 精品 | 在线精品在线 | 国内精品久久久久影院优 | 在线观看国产亚洲 | 五月综合激情 | 99精彩视频在线观看免费 | 国产欧美精品一区二区三区四区 | 91亚洲国产成人久久精品网站 | 欧美日韩3p | www亚洲一区| 五月天色综合 | 亚洲精品午夜久久久久久久久久久 | 色com网| 91网免费观看 | 人人搞人人爽 | 国产精品 中文字幕 亚洲 欧美 | 人人舔人人爱 | 操操操天天操 | 热久久99这里有精品 | 欧美91av| 亚洲第二色 | 久久久91精品国产一区二区三区 | 亚洲3级 | 99国产免费网址 | 久久久国产精品免费 | 91传媒在线看| 99精品久久久久 | 人人爽人人 | 久久午夜网 | 日韩中文在线字幕 | 免费av高清 | 成人精品一区二区三区电影免费 | 在线视频国产区 | 麻豆一区二区 | 久久久福利 | 久久艹国产视频 | 国产香蕉视频 | 午夜精品久久久久久久久久 | 一级黄色网址 | 欧美一级久久久 | 99精品国产亚洲 | 成人黄色在线视频 | 色干综合| 日韩大片免费在线观看 | 国产精品va在线观看入 | 国产亚洲婷婷 | 一区二区三区四区五区在线 | 日本在线精品视频 | www.狠狠操.com| 久久激情五月婷婷 | 视频在线观看91 | 插插插色综合 | 久久久免费看视频 | 色婷婷亚洲综合 | 热久久在线视频 | 91成人亚洲 | 国产成人久久精品 | 成人av片免费看 | 久久精品国产亚洲 | 日日躁你夜夜躁你av蜜 | 久久精品毛片基地 | 在线高清av | 免费三级骚 | 亚洲精品免费观看视频 | 久久久2o19精品| 日韩二区在线播放 | 波多野结衣精品视频 | 一级片免费视频 | 999免费视频 | 日韩精品久久中文字幕 | 99精品视频一区二区 | 99久久综合国产精品二区 | 久久成人麻豆午夜电影 | 久久伊人精品天天 | 中文字幕在线看视频国产 | 久草在线视频在线观看 | 天天草天天干天天 | 亚洲闷骚少妇在线观看网站 | 日韩免费视频一区二区 | 国产精品一区二区 91 | 日韩高清www| 狂野欧美激情性xxxx欧美 | 免费在线黄色av | 99久久精品国产欧美主题曲 | 天天透天天插 | 久久视奸| 美女露久久 | 欧美精品一区二区在线观看 | 狠狠色丁香婷婷综合久久片 | 精品国产一区二区三区日日嗨 | 亚洲欧洲中文日韩久久av乱码 | 国产尤物在线 | 久久久久久久久福利 | 免费视频黄色 | 最近日韩免费视频 | 丁香五月网久久综合 | 国产亚洲日本 | 久久午夜色播影院免费高清 | 亚洲欧美日韩国产一区二区三区 | 国产色秀视频 | 91免费视频网站在线观看 | 国产精品美女www爽爽爽视频 | 日韩高清在线观看 | www.五月婷 | 黄色网址a | 欧美精品午夜 | 精品综合久久久 | 高清不卡一区二区三区 | 亚洲一区动漫 | 成人在线免费av | 欧美91在线 | 美女网站在线免费观看 | 久久久五月天 | 在线观看黄色的网站 | 男女啪啪免费网站 | 看av免费网站 | 久久久久免费观看 | 中文字幕色在线视频 | 久久综合久久综合九色 | 日韩精品免费一区二区三区 | 黄色免费网站 | 亚洲经典中文字幕 | 久久久久久精 | 在线色亚洲 | 日韩久久精品一区二区三区下载 | 人人插人人草 | 91精品视频免费观看 | 欧美日韩伦理在线 | 久久丝袜视频 | 日韩一区二区三区视频在线 | 激情在线免费视频 | 97在线公开视频 | 黄色av电影在线 | 国产品久精国精产拍 | 超碰日韩在线 | 国产视频午夜 | 天天操夜夜操 | 久久久久亚洲精品成人网小说 | 77国产精品 | 人人狠狠综合久久亚洲 | 欧美一区二区三区四区夜夜大片 | 美女久久久久久久久久久 | 不卡电影一区二区三区 | 午夜精品视频在线 | 99中文字幕在线观看 | 三级a视频| 亚洲欧美日韩国产一区二区 | 中文字幕av电影下载 | 中文字幕免| 91桃色在线播放 | 精品视频在线免费 | 日韩精品一二三 | 日韩专区在线观看 | 久久久久久久综合色一本 | 免费观看www视频 | 亚洲一区二区三区精品在线观看 | 国产一区免费在线 | 欧美一级在线看 | 日韩在线观看中文 | 色.com| 免费观看版 | 91一区二区三区在线观看 | 久久不射电影院 | 久久国产精品一区二区三区 | 国产精品色视频 | 免费a v网站 | 97超碰在线久草超碰在线观看 | 伊人久久五月天 | 91精品对白一区国产伦 | 97精品视频在线 | 中文在线天堂资源 | 久久这里只有精品1 | 欧美一级片在线播放 | 日韩av图片 | 国产亚州精品视频 | 久久久精品网站 | 夜夜爽www | 婷婷在线网站 | 久久久福利 | 欧美伦理电影一区二区 | 日韩电影精品 | 在线观看一区二区视频 | 久久在线看| 国产主播大尺度精品福利免费 | 欧美视频日韩视频 | 国产黄色精品在线 | 成人国产精品电影 | 精品国产乱码一区二区三区在线 | 亚洲黄色在线观看 | 亚洲日本国产 | 欧美日韩免费一区二区三区 | 国产精品免费久久久久影院仙踪林 | 成人av网站在线观看 | 免费观看一级 | 在线观看mv的中文字幕网站 | 91喷水 | 中文字幕字幕中文 | 国产 日韩 中文字幕 | 日本性久久 | 中文字幕在线视频一区二区 | 久久精品一区二区国产 | 亚洲国产精品电影在线观看 | 波多野结衣理论片 | 亚洲国产三级 | 国产精品爽爽久久久久久蜜臀 | 免费在线日韩 | 日韩欧美一区二区三区黑寡妇 | 欧美视频日韩 | 欧美午夜性生活 | 午夜精品电影 | 麻豆 videos| 99视频播放| 免费观看一区二区 | 深夜免费福利在线 | 偷拍视频一区 | 91精品国产综合久久福利 | 亚洲欧洲国产日韩精品 | 国产午夜影院 | 国产午夜精品福利视频 | 久草视频资源 | 国产精品中文久久久久久久 | 黄色大全在线观看 | 成年人视频在线免费观看 | 日韩免费不卡视频 | 成人av地址 | 欧美激情视频免费看 | 国产精品免费小视频 | 日韩av一区在线观看 | 中文字幕在线影视资源 | 成人午夜免费福利 | 久久午夜精品 | 激情五月伊人 | 婷婷网址 | 欧美久久久影院 | 久久人人爽人人人人片 | 91色一区二区三区 | 亚洲精品国产精品久久99 | 超碰免费成人 | 久久99精品国产麻豆宅宅 | 99国产在线观看 | 天天激情天天干 | 日韩在线观看视频在线 | 国内99视频 | 国产精品成久久久久 | 看全黄大色黄大片 | 久久伊人操 | 亚洲视频在线视频 | 日韩成人中文字幕 | 亚洲一区黄色 | 久久精品99国产精品 | 99精彩视频在线观看免费 | 尤物97国产精品久久精品国产 | 国产精品高清在线观看 | 久久影视网| 色资源二区在线视频 | 特级a毛片| 久久免费成人网 | 免费成人在线观看 | 特级a毛片| 国产成人精品一区二区三区福利 | 久草网视频在线观看 | 国产精品婷婷午夜在线观看 | 亚洲综合成人婷婷小说 | 99久久久国产精品美女 | av免费在线看网站 | 亚洲高清不卡av | 久久午夜视频 | 欧美国产一区二区 | 狠狠躁夜夜躁人人爽视频 | 欧美片一区二区三区 | 精品一区 在线 | 久久久国产视频 | 亚洲久草在线视频 | 国产精品永久在线观看 | 久草视频在线播放 | 欧美在线aa | 久久精品专区 | 亚洲成年人免费网站 | 黄色软件在线观看免费 | 久久草在线免费 | www久久久| 色视频在线免费 | 激情五月播播久久久精品 | 91中文字幕网 | 人人爽人人爽人人片 | 中文字幕字幕中文 | 香蕉视频在线播放 | 欧美日韩视频在线播放 | 久久久国产成人 |