日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

Redis|Sentinel 高可用架构

發布時間:2024/4/15 数据库 40 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Redis|Sentinel 高可用架构 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一 前言

Redis-Sentinel是Redis官方推薦的高可用性(HA)解決方案,當用Redis做Master-slave的高可用方案時,假如master宕機了,Redis本身(包括它的很多客戶端)都沒有實現自動進行主備切換,而Redis-sentinel本身也是一個獨立運行的進程,它能監控多個master-slave集群,發現master宕機后能進行自懂切換。它的主要功能有:
1 不時地監控redis是否按照預期良好地運行;
2 如果發現某個redis節點運行出現狀況,能夠通知另外一個進程(例如它的客戶端);
3 能夠進行自動切換。當一個master節點不可用時,能夠選舉出master的多個slave(如果有超過一個slave的話)中的一個來作為新的master,其它的slave節點會將它所追隨的master的地址改為被提升為master的slave的新地址。

二 實踐

本文介紹搭建主從復制以及三節點的sentinel 構建redis的高可用系統。其中 redis 一套主從 ,sentinel 三個節點 因為機器資源限制 ,兩個sentinel 節點和 redis復用。

2.1 環境準備

Redis版本:Redis-3.2.8 OS 版本 CentOS 6 redis、sentinel 10.9.34.172 reids master 10.9.43.207 reids slave sentinel 10.9.34.252 sentinel

2.2 軟件安裝

wget http://download.redis.io/releases/redis-3.2.8.tar.gz tar zxvf redis-3.2.8.tar.gz mv redis-3.2.8 /usr/local/redis cd /usr/local/redis make PREFIX=/usr/local/redis install cd src && make test

創建軟連接

ln -s /usr/local/redis/bin/redis-cli /usr/local/bin/redis-cli ; ln -s /usr/local/redis/bin/redis-sentinel /usr/local/bin/redis-sentinel ; ln -s /usr/local/redis/bin/redis-server /usr/local/bin/redis-server ;

2.3 配置文件

復制源碼包里中的sentinel.conf和redis.conf文件到 /etc/redis 目錄,我們需要重寫編寫配置文件,進行配置主從.

mkdir -p /etc/redis cp /usr/local/redis/redis.conf /etc/redis/redis_7021.conf cp /usr/local/redis/sentinel.conf /etc/redis/sentinel_17021.conf cp /usr/local/redis/utils/redis_init_script /etc/init.d/redis

當然如果是想MySQL單機多實例那樣,redis配置文件還可以放到redis 的實例里面 比如 /data/redis7021/redis.conf ,跟著redis實例走。
redis_7021.conf 的內容
需要注意的是 本人為了圖方便 去掉了權限以及 bind 并且設置了protected-mode 為no ,安裝測試的過程中因為這兩個參數導致額外的幾個問題。生產上還是建議啟用這兩個參數的。還要記得本例子是主庫,從庫還要加上
slaveof master_ip port

redis.conf

#Redis configuration file example. #./redis-server /path/to/redis.conf ################################## INCLUDES ################################### #這在你有標準配置模板但是每個redis服務器又需要個性設置的時候很有用。 # include /path/to/local.conf # include /path/to/other.conf ################################ GENERAL ##################################### #是否在后臺執行,yes:后臺運行;no:不是后臺運行(老版本默認) daemonize yes #3.2里的參數,是否開啟保護模式,默認開啟。要是配置里沒有指定bind和密碼。開啟該參數后,redis只會本地進行訪問,拒絕外部訪問。要是開啟了密碼 和bind,可以開啟。否 則最好關閉,設置為no。 protected-mode no#redis的進程文件 pidfile "/data/redis_7021/run/redis.pid"#redis監聽的端口號。 port 7021#此參數確定了TCP連接中已完成隊列(完成三次握手之后)的長度, 當然此值必須不大于Linux系統定義的/proc/sys/net/core/somaxconn值,默認是511,而Linux的默認參數值是128。當系統并發量大并且客戶端速度緩慢的時候,可以將這二個參數一起參考設定。該內核參數默認值一般是128,對于負載很大的服務程序來說大大的不夠。一般會將它修改為2048或者更大。在/etc/sysctl.conf中添加:net.core.somaxconn = 2048,然后在終端中執行sysctl -p。 tcp-backlog 511#指定 redis 只接收來自于該 IP 地址的請求,如果不進行設置,那么將處理所有請求 #bind 10.9.34.172#配置unix socket來讓redis支持監聽本地連接。 unixsocket "/data/redis_7021/run/redis.sock" #配置unix socket使用文件的權限 # unixsocketperm 700# 此參數為設置客戶端空閑超過timeout,服務端會斷開連接,為0則服務端不會主動斷開連接,不能小于0。 timeout 0#tcp keepalive參數。如果設置不為0,就使用配置tcp的SO_KEEPALIVE值,使用keepalive有兩個好處:檢測掛掉的對端。降低中間設備出問題而導致網絡看似連接卻已經與對端端口的問題。在Linux內核中,設置了keepalive,redis會定時給對端發送ack。檢測到對端關閉需要兩倍的設置值。 tcp-keepalive 0#指定了服務端日志的級別。級別包括:debug(很多信息,方便開發、測試),verbose(許多有用的信息,但是沒有debug級別信息多),notice(適當的日志級別,適合生產環境),warn(只有非常重要的信息) loglevel notice#指定了記錄日志的文件。空字符串的話,日志會打印到標準輸出設備。后臺運行的redis標準輸出是/dev/null。 logfile "/data/redis_7021/log/alert.log"#是否打開記錄syslog功能 # syslog-enabled no#syslog的標識符。 # syslog-ident redis#日志的來源、設備 # syslog-facility local0#數據庫的數量,默認使用的數據庫是DB 0。可以通過”SELECT “命令選擇一個db databases 16################################ SNAPSHOTTING ################################ # 快照配置 # 注釋掉“save”這一行配置項就可以讓保存數據庫功能失效 # 設置sedis進行數據庫鏡像的頻率。 # 900秒(15分鐘)內至少1個key值改變(則進行數據庫保存--持久化) # 300秒(5分鐘)內至少10個key值改變(則進行數據庫保存--持久化) # 60秒(1分鐘)內至少10000個key值改變(則進行數據庫保存--持久化) #save 900 1 #save 300 10 #save 60 10000#當RDB持久化出現錯誤后,是否依然進行繼續進行工作,yes:不能進行工作,no:可以繼續進行工作,可以通過info中的rdb_last_bgsave_status了解RDB持久化是否有錯誤 stop-writes-on-bgsave-error yes#使用壓縮rdb文件,rdb文件壓縮使用LZF壓縮算法,yes:壓縮,但是需要一些cpu的消耗。no:不壓縮,需要更多的磁盤空間 rdbcompression yes#是否校驗rdb文件。從rdb格式的第五個版本開始,在rdb文件的末尾會帶上CRC64的校驗和。這跟有利于文件的容錯性,但是在保存rdb文件的時候,會有大概10%的性能損耗,所以如果你追求高性能,可以關閉該配置。 rdbchecksum no#rdb文件的名稱 dbfilename "dump.rdb"#數據目錄,數據庫的寫入會在這個目錄。rdb、aof文件也會寫在這個目錄 dir "/data/redis_7021/data"################################# REPLICATION ################################# #復制選項,slave復制對應的master。 # slaveof <masterip> <masterport>#如果master設置了requirepass,那么slave要連上master,需要有master的密碼才行。masterauth就是用來配置master的密碼,這樣可以在連上master后進行認證。 #masterauth "youzan"#當從庫同主機失去連接或者復制正在進行,從機庫有兩種運行方式:1) 如果slave-serve-stale-data設置為yes(默認設置),從庫會繼續響應客戶端的請求。2) 如果slave-serve-stale-data設置為no,除去INFO和SLAVOF命令之外的任何請求都會返回一個錯誤”SYNC with master in progress”。 slave-serve-stale-data yes#作為從服務器,默認情況下是只讀的(yes),可以修改成NO,用于寫(不建議)。 slave-read-only yes#是否使用socket方式復制數據。目前redis復制提供兩種方式,disk和socket。如果新的slave連上來或者重連的slave無法部分同步,就會執行全量同步,master會生成rdb文件。有2種方式:disk方式是master創建一個新的進程把rdb文件保存到磁盤,再把磁盤上的rdb文件傳遞給slave。socket是master創建一個新的進程,直接把rdb文件以socket的方式發給slave。disk方式的時候,當一個rdb保存的過程中,多個slave都能共享這個rdb文件。socket的方式就的一個個slave順序復制。在磁盤速度緩慢,網速快的情況下推薦用socket方式。 repl-diskless-sync no#diskless復制的延遲時間,防止設置為0。一旦復制開始,節點不會再接收新slave的復制請求直到下一個rdb傳輸。所以最好等待一段時間,等更多的slave連上來。 repl-diskless-sync-delay 5#slave根據指定的時間間隔向服務器發送ping請求。時間間隔可以通過 repl_ping_slave_period 來設置,默認10秒。 repl-ping-slave-period 5#復制連接超時時間。master和slave都有超時時間的設置。master檢測到slave上次發送的時間超過repl-timeout,即認為slave離線,清除該slave信息。slave檢測到上次和master交互的時間超過repl-timeout,則認為master離線。需要注意的是repl-timeout需要設置一個比repl-ping-slave-period更大的值,不然會經常檢測到超時。 repl-timeout 60#是否禁止復制tcp鏈接的tcp nodelay參數,可傳遞yes或者no。默認是no,即使用tcp nodelay。如果master設置了yes來禁止tcp nodelay設置,在把數據復制給slave的時候,會減少包的數量和更小的網絡帶寬。但是這也可能帶來數據的延遲。默認我們推薦更小的延遲,但是在數據量傳輸很大的場景下,建議選擇yes。 repl-disable-tcp-nodelay no#復制緩沖區大小,這是一個環形復制緩沖區,用來保存最新復制的命令。這樣在slave離線的時候,不需要完全復制master的數據,如果可以執行部分同步,只需要把緩沖區的部分數據復制給slave,就能恢復正常復制狀態。緩沖區的大小越大,slave離線的時間可以更長,復制緩沖區只有在有slave連接的時候才分配內存。沒有slave的一段時間,內存會被釋放出來,默認1m。 repl-backlog-size 32mb#master沒有slave一段時間會釋放復制緩沖區的內存,repl-backlog-ttl用來設置該時間長度。單位為秒。 repl-backlog-ttl 3600#當master不可用,Sentinel會根據slave的優先級選舉一個master。最低的優先級的slave,當選master。而配置成0,永遠不會被選舉。 slave-priority 100#redis提供了可以讓master停止寫入的方式,如果配置了min-slaves-to-write,健康的slave的個數小于N,mater就禁止寫入。master最少得有多少個健康的slave存活才能執行寫命令。這個配置雖然不能保證N個slave都一定能接收到master的寫操作,但是能避免沒有足夠健康的slave的時候,master不能寫入來避免數據丟失。設置為0是關閉該功能。 # min-slaves-to-write 3#延遲小于min-slaves-max-lag秒的slave才認為是健康的slave。 # min-slaves-max-lag 10# 設置1或另一個設置為0禁用這個特性。 # Setting one or the other to 0 disables the feature. # By default min-slaves-to-write is set to 0 (feature disabled) and # min-slaves-max-lag is set to 10.################################## SECURITY ################################### #requirepass配置可以讓用戶使用AUTH命令來認證密碼,才能使用其他命令。這讓redis可以使用在不受信任的網絡中。為了保持向后的兼容性,可以注釋該命令,因為大部分用戶也不需要認證。使用requirepass的時候需要注意,因為redis太快了,每秒可以認證15w次密碼,簡單的密碼很容易被攻破,所以最好使用一個更復雜的密碼。 #requirepass "youzan"#把危險的命令給修改成其他名稱。比如CONFIG命令可以重命名為一個很難被猜到的命令,這樣用戶不能使用,而內部工具還能接著使用。 # rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52 rename-command SHUTDOWN REDIS_SHUTDOWN rename-command FLUSHDB REDIS_FLUSHDB rename-command FLUSHALL REDIS_FLUSHALL rename-command KEYS REDIS_KEYS #rename-command CONFIG REDIS_CONFIG #rename-command SLAVEOF REDIS_SLAVEOF #設置成一個空的值,可以禁止一個命令 # rename-command CONFIG "" ################################### LIMITS ##################################### 設置能連上redis的最大客戶端連接數量。默認是10000個客戶端連接。由于redis不區分連接是客戶端連接還是內部打開文件或者和slave連接等,所以maxclients最小建議設置到32。如果超過了maxclients,redis會給新的連接發送’max number of clients reached’,并關閉連接。 # maxclients 10000#redis配置的最大內存容量。當內存滿了,需要配合maxmemory-policy策略進行處理。注意slave的輸出緩沖區是不計算在maxmemory內的。所以為了防止主機內存使用完,建議設置的maxmemory需要更小一些。 maxmemory 512mb#內存容量超過maxmemory后的處理策略。 #volatile-lru:利用LRU算法移除設置過過期時間的key。 #volatile-random:隨機移除設置過過期時間的key。 #volatile-ttl:移除即將過期的key,根據最近過期時間來刪除(輔以TTL) #allkeys-lru:利用LRU算法移除任何key。 #allkeys-random:隨機移除任何key。 #noeviction:不移除任何key,只是返回一個寫錯誤。 #上面的這些驅逐策略,如果redis沒有合適的key驅逐,對于寫命令,還是會返回錯誤。redis將不再接收寫請求,只接收get請求。寫命令包括:set setnx setex append incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby getset mset msetnx exec sort。 maxmemory-policy allkeys-lru#lru檢測的樣本數。使用lru或者ttl淘汰算法,從需要淘汰的列表中隨機選擇sample個key,選出閑置時間最長的key移除。 # maxmemory-samples 5############################## APPEND ONLY MODE ############################### #默認redis使用的是rdb方式持久化,這種方式在許多應用中已經足夠用了。但是redis如果中途宕機,會導致可能有幾分鐘的數據丟失,根據save來策略進行持久化,Append Only File是另一種持久化方式,可以提供更好的持久化特性。Redis會把每次寫入的數據在接收后都寫入 appendonly.aof 文件,每次啟動時Redis都會先把這個文件的數據讀入內存里,先忽略RDB文件。 appendonly no#aof文件名 appendfilename "appendonly.aof"#aof持久化策略的配置 #no表示不執行fsync,由操作系統保證數據同步到磁盤,速度最快。 #always表示每次寫入都執行fsync,以保證數據同步到磁盤。 #everysec表示每秒執行一次fsync,可能會導致丟失這1s數據。 appendfsync everysec# 在aof重寫或者寫入rdb文件的時候,會執行大量IO,此時對于everysec和always的aof模式來說,執行fsync會造成阻塞過長時間,no-appendfsync-on-rewrite字段設置為默認設置為no。如果對延遲要求很高的應用,這個字段可以設置為yes,否則還是設置為no,這樣對持久化特性來說這是更安全的選擇。設置為yes表示rewrite期間對新寫操作不fsync,暫時存在內存中,等rewrite完成后再寫入,默認為no,建議yes。Linux的默認fsync策略是30秒。可能丟失30秒數據。 no-appendfsync-on-rewrite yes#aof自動重寫配置。當目前aof文件大小超過上一次重寫的aof文件大小的百分之多少進行重寫,即當aof文件增長到一定大小的時候Redis能夠調用bgrewriteaof對日志文件進行重寫。當前AOF文件大小是上次日志重寫得到AOF文件大小的二倍(設置為100)時,自動啟動新的日志重寫過程。 auto-aof-rewrite-percentage 100 #設置允許重寫的最小aof文件大小,避免了達到約定百分比但尺寸仍然很小的情況還要重寫 auto-aof-rewrite-min-size 64mb#aof文件可能在尾部是不完整的,當redis啟動的時候,aof文件的數據被載入內存。重啟可能發生在redis所在的主機操作系統宕機后,尤其在ext4文件系統沒有加上data=ordered選項(redis宕機或者異常終止不會造成尾部不完整現象。)出現這種現象,可以選擇讓redis退出,或者導入盡可能多的數據。如果選擇的是yes,當截斷的aof文件被導入的時候,會自動發布一個log給客戶端然后load。如果是no,用戶必須手動redis-check-aof修復AOF文件才可以。 aof-load-truncated yes################################ LUA SCRIPTING ############################### # 如果達到最大時間限制(毫秒),redis會記個log,然后返回error。當一個腳本超過了最大時限。只有SCRIPT KILL和SHUTDOWN NOSAVE可以用。第一個可以殺沒有調write命令的東西。要是已經調用了write,只能用第二個命令殺。 lua-time-limit 5000################################ REDIS CLUSTER ############################### #集群開關,默認是不開啟集群模式。 #cluster-enabled yes#集群配置文件的名稱,每個節點都有一個集群相關的配置文件,持久化保存集群的信息。這個文件并不需要手動配置,這個配置文件有Redis生成并更新,每個Redis集群節點需要一個單獨的配置文件,請確保與實例運行的系統中配置文件名稱不沖突 #cluster-config-file nodes-7021.conf#節點互連超時的閥值。集群節點超時毫秒數 #cluster-node-timeout 30000#在進行故障轉移的時候,全部slave都會請求申請為master,但是有些slave可能與master斷開連接一段時間了,導致數據過于陳舊,這樣的slave不應該被提升為master。該參數就是用來判斷slave節點與master斷線的時間是否過長。判斷方法是: #比較slave斷開連接的時間和(node-timeout * slave-validity-factor) + repl-ping-slave-period #如果節點超時時間為三十秒, 并且slave-validity-factor為10,假設默認的repl-ping-slave-period是10秒,即如果超過310秒slave將不會嘗試進行故障轉移 #可能出現由于某主節點失聯卻沒有從節點能頂上的情況,從而導致集群不能正常工作,在這種情況下,只有等到原來的主節點重新回歸到集群,集群才恢復運作 #如果設置成0,則無論從節點與主節點失聯多久,從節點都會嘗試升級成主節 #cluster-slave-validity-factor 10#master的slave數量大于該值,slave才能遷移到其他孤立master上,如這個參數若被設為2,那么只有當一個主節點擁有2 個可工作的從節點時,它的一個從節點會嘗試遷移。 #主節點需要的最小從節點數,只有達到這個數,主節點失敗時,它從節點才會進行遷移。 # cluster-migration-barrier 1#默認情況下,集群全部的slot有節點分配,集群狀態才為ok,才能提供服務。設置為no,可以在slot沒有全部分配的時候提供服務。不建議打開該配置,這樣會造成分區的時候,小分區的master一直在接受寫請求,而造成很長時間數據不一致。 #在部分key所在的節點不可用時,如果此參數設置為”yes”(默認值), 則整個集群停止接受操作;如果此參數設置為”no”,則集群依然為可達節點上的key提供讀操作 #cluster-require-full-coverage yes################################## LOG ################################### ###slog log是用來記錄redis運行中執行比較慢的命令耗時。當命令的執行超過了指定時間,就記錄在slow log中,slog log保存在內存中,所以沒有IO操作。 #執行時間比slowlog-log-slower-than大的請求記錄到slowlog里面,單位是微秒,所以1000000就是1秒。注意,負數時間會禁用慢查詢日志,而0則會強制記錄所有命令。 slowlog-log-slower-than 10000#慢查詢日志長度。當一個新的命令被寫進日志的時候,最老的那個記錄會被刪掉。這個長度沒有限制。只要有足夠的內存就行。你可以通過 SLOWLOG RESET 來釋放內存。 slowlog-max-len 128################################ LATENCY MONITOR ############################## #延遲監控功能是用來監控redis中執行比較緩慢的一些操作,用LATENCY打印redis實例在跑命令時的耗時圖表。只記錄大于等于下邊設置的值的操作。0的話,就是關閉監視。默認延遲監控功能是關閉的,如果你需要打開,也可以通過CONFIG SET命令動態設置。 latency-monitor-threshold 0############################# EVENT NOTIFICATION ############################## #鍵空間通知使得客戶端可以通過訂閱頻道或模式,來接收那些以某種方式改動了 Redis 數據集的事件。因為開啟鍵空間通知功能需要消耗一些 CPU ,所以在默認配置下,該功能處于關閉狀態。 #notify-keyspace-events 的參數可以是以下字符的任意組合,它指定了服務器該發送哪些類型的通知: ##K 鍵空間通知,所有通知以 __keyspace@__ 為前綴 ##E 鍵事件通知,所有通知以 __keyevent@__ 為前綴 ##g DEL 、 EXPIRE 、 RENAME 等類型無關的通用命令的通知 ##$ 字符串命令的通知 ##l 列表命令的通知 ##s 集合命令的通知 ##h 哈希命令的通知 ##z 有序集合命令的通知 ##x 過期事件:每當有過期鍵被刪除時發送 ##e 驅逐(evict)事件:每當有鍵因為 maxmemory 政策而被刪除時發送 ##A 參數 g$lshzxe 的別名 #輸入的參數中至少要有一個 K 或者 E,否則的話,不管其余的參數是什么,都不會有任何 通知被分發。詳細使用可以參考http://redis.io/topics/notificationsnotify-keyspace-events "e"############################### ADVANCED CONFIG ############################### #數據量小于等于hash-max-ziplist-entries的用ziplist,大于hash-max-ziplist-entries用hash hash-max-ziplist-entries 512 #value大小小于等于hash-max-ziplist-value的用ziplist,大于hash-max-ziplist-value用hash。 hash-max-ziplist-value 64#數據量小于等于list-max-ziplist-entries用ziplist,大于list-max-ziplist-entries用list。 list-max-ziplist-entries 512 #value大小小于等于list-max-ziplist-value的用ziplist,大于list-max-ziplist-value用list。 list-max-ziplist-value 64#數據量小于等于set-max-intset-entries用iniset,大于set-max-intset-entries用set。 set-max-intset-entries 512#數據量小于等于zset-max-ziplist-entries用ziplist,大于zset-max-ziplist-entries用zset。 zset-max-ziplist-entries 128 #value大小小于等于zset-max-ziplist-value用ziplist,大于zset-max-ziplist-value用zset。 zset-max-ziplist-value 64#value大小小于等于hll-sparse-max-bytes使用稀疏數據結構(sparse),大于hll-sparse-max-bytes使用稠密的數據結構(dense)。一個比16000大的value是幾乎沒用的,建議的value大概為3000。如果對CPU要求不高,對空間要求較高的,建議設置到10000左右。 hll-sparse-max-bytes 3000#Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash,可以降低內存的使用。當你的使用場景中,有非常嚴格的實時性需要,不能夠接受Redis時不時的對請求有2毫秒的延遲的話,把這項配置為no。如果沒有這么嚴格的實時性要求,可以設置為yes,以便能夠盡可能快的釋放內存。 activerehashing yes##對客戶端輸出緩沖進行限制可以強迫那些不從服務器讀取數據的客戶端斷開連接,用來強制關閉傳輸緩慢的客戶端。 #對于normal client,第一個0表示取消hard limit,第二個0和第三個0表示取消soft limit,normal client默認取消限制,因為如果沒有尋問,他們是不會接收數據的。 client-output-buffer-limit normal 0 0 0 #對于slave client和MONITER client,如果client-output-buffer一旦超過256mb,又或者超過64mb持續60秒,那么服務器就會立即斷開客戶端連接。 client-output-buffer-limit slave 256mb 64mb 60 #對于pubsub client,如果client-output-buffer一旦超過32mb,又或者超過8mb持續60秒,那么服務器就會立即斷開客戶端連接。 client-output-buffer-limit pubsub 32mb 8mb 60

sentinel_17021.conf 的內容 master 的名稱為youzan

port 17021 dir "/data/sentinel_17021" logfile "/data/sentinel_17021/log/alert.log" daemonize yes protected-mode no sentinel monitor youzan 10.9.34.172 7021 2 sentinel down-after-milliseconds youzan 5000 sentinel failover-timeout youzan 120000 #sentinel client-reconfig-script youzan /opt/bin/notify.py rename-command SHUTDOWN REDIS_SHUTDOWN #sentinel auth-pass youzan xxx

/etc/init.d/redis 的內容

#!/bin/sh # # Simple Redis init.d script conceived to work on Linux systems # as it does use of the /proc filesystem. REDISPORT=7021 EXEC=/usr/local/bin/redis-server CLIEXEC=/usr/local/bin/redis-cli PIDFILE=/data/redis_${REDISPORT}/run/redis.pid CONF="/etc/redis/redis_${REDISPORT}.conf" HOST=`hostname -i` case "$1" instart)if [ -f $PIDFILE ]thenecho "$PIDFILE exists, process is already running or crashed"elseecho "Starting Redis server..."su redis -c "$EXEC $CONF"fi;;stop)if [ ! -f $PIDFILE ]thenecho "$PIDFILE does not exist, process is not running"elsePID=$(cat $PIDFILE)echo "Stopping ..."$CLIEXEC -h $HOST -p $REDISPORT redis_shutdownwhile [ -x /proc/${PID} ]doecho "Waiting for Redis to shutdown ..."sleep 1doneecho "Redis stopped"fi;;*)echo "Please use start or stop as first argument";; esac

2.4 添加redis和 sentinel 賬號。

避免使用root賬號直接啟動 redis (存在相關安全隱患 利用Redis配置不當的漏洞對linux服務器root提權體驗 )

useradd redis mkdir -p /data/redis_7021/{data,log,run} ; mkdir -p /data/sentinel_17021/{log,run} ; chown -R redis.redis /data/redis_7021/ ; chown -R redis.redis /etc/redis/ ; useradd sentinel ; chown -R sentinel.sentinel /data/sentinel_17021/ ; chown -R sentinel.sentinel /etc/redis/sentinel_17021.conf ; chmod 664 /etc/redis/sentinel_17021.conf

2.5 部署其他節點

上面的過程是配置redis主庫和其中的一個sentinel,復制上面的過程在10.9.43.207 重新執行一遍進行安裝redis和sentinel,不過需要注意的是 我們設置10.9.43.207為redis的slave節點 ,所以要在配置文件redis_7021.conf中加上 slaveof 10.9.34.172 7021 。對于安裝第三個sentinel節點10.9.34.252,只需選取上面步驟中的 sentinel相關的步驟就好。

2.6 啟動redis和sentinel

啟動redis

/etc/init.d/redis start
關閉redis
/etc/init.d/redis stop
su sentinel -c "redis-sentinel /etc/redis/sentinel_17021.conf"
啟動sentinel之后的日志如下

32126:X 31 Jul 23:28:41.570 # Sentinel ID is b28ca1bb3d722e09d0de905caa380397455e8e3c 32126:X 31 Jul 23:28:41.570 # +monitor master youzan 10.9.34.172 7021 quorum 2 32126:X 31 Jul 23:28:41.571 * +slave slave 10.9.43.207:7021 10.9.43.207 7021 @ youzan 10.9.34.172 7021 32126:X 31 Jul 23:28:54.484 * +sentinel sentinel 5c44560584c3245590e86fa78880eacccdfe8318 10.9.34.252 17021 @ youzan 10.9.34.172 7021

2.7 進行故障演練

在主庫上進行

10.9.34.172:7021> debug sleep 30
OK
(30.01s)
觀察sentinel的log輸出

32126:X 01 Aug 09:24:12.752 # +sdown master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:12.828 # +odown master youzan 10.9.34.172 7021 #quorum 2/2 32126:X 01 Aug 09:24:12.828 # +new-epoch 1 32126:X 01 Aug 09:24:12.828 # +try-failover master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:12.838 # +vote-for-leader b28ca1bb3d722e09d0de905caa380397455e8e3c 1 32126:X 01 Aug 09:24:12.842 # 5c44560584c3245590e86fa78880eacccdfe8318 voted for b28ca1bb3d722e09d0de905caa380397455e8e3c 1 32126:X 01 Aug 09:24:12.928 # +elected-leader master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:12.928 # +failover-state-select-slave master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:12.995 # +selected-slave slave 10.9.43.207:7021 10.9.43.207 7021 @ youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:12.995 * +failover-state-send-slaveof-noone slave 10.9.43.207:7021 10.9.43.207 7021 @ youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:13.047 * +failover-state-wait-promotion slave 10.9.43.207:7021 10.9.43.207 7021 @ youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:13.893 # +promoted-slave slave 10.9.43.207:7021 10.9.43.207 7021 @ youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:13.893 # +failover-state-reconf-slaves master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:13.942 # +failover-end master youzan 10.9.34.172 7021 32126:X 01 Aug 09:24:13.942 # +switch-master youzan 10.9.34.172 7021 10.9.43.207 7021 32126:X 01 Aug 09:24:13.943 * +slave slave 10.9.34.172:7021 10.9.34.172 7021 @ youzan 10.9.43.207 7021 32126:X 01 Aug 09:24:18.986 # +sdown slave 10.9.34.172:7021 10.9.34.172 7021 @ youzan 10.9.43.207 7021 32126:X 01 Aug 09:24:37.041 # -sdown slave 10.9.34.172:7021 10.9.34.172 7021 @ youzan 10.9.43.207 7021 32126:X 01 Aug 09:24:47.041 * +convert-to-slave slave 10.9.34.172:7021 10.9.34.172 7021 @ youzan 10.9.43.207 7021

觀察sentinel 的配置文件以及被修改重寫.

三 總結

本文算是一篇入門級別的how to文檔,介紹如何安裝部署redis sentinel 高可用架構,內容比較淺顯,需要注意的是運維一套數據庫存儲系統肯定不會這么簡單,還要涉及到相關進程,日志,性能監控等等,本文的案例距離生產實踐還有一大段路要走,繼續學習。

四 參考文章

[1] Redis之Sentinel高可用安裝部署
[2] Redis Sentinel機制與用法(一)
[3] Redis Sentinel機制與用法(二)


本公眾號長期關注于數據庫技術以及性能優化,故障案例分析,數據庫運維技術知識分享,個人成長和自我管理等主題,歡迎掃碼關注。

轉載于:https://www.cnblogs.com/yangyi402/p/11414046.html

總結

以上是生活随笔為你收集整理的Redis|Sentinel 高可用架构的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

亚洲91在线 | 久久精品2 | 在线播放日韩av | 激情综合网五月激情 | 婷婷久草 | 碰超人人 | 97色se| 久久99热久久99精品 | 国产五月天婷婷 | 国产精品一区免费在线观看 | 黄色国产高清 | 国产麻豆视频免费观看 | 欧美一区二区三区特黄 | 91精品在线麻豆 | 超碰在线资源 | 亚洲国产日韩精品 | 9色在线视频 | 黄色大全在线观看 | 国语黄色片 | 久草视频在线资源 | av看片在线 | 在线国产不卡 | 国产 日韩 在线 亚洲 字幕 中文 | 中文字幕成人一区 | 顶级欧美色妇4khd | 人人干网| 91精品国自产在线观看 | 91九色porny蝌蚪视频 | 欧美九九九 | 久久精品波多野结衣 | 欧美最爽乱淫视频播放 | 精品视频网站 | 欧美 日韩 成人 | 不卡日韩av | 国产乱码精品一区二区蜜臀 | 天天操天天色天天射 | 激情网站免费观看 | 色94色欧美 | 久久久综合电影 | 色在线高清 | 奇人奇案qvod| 97精品国产一二三产区 | 九九热在线播放 | 狠狠干激情 | 免费高清看电视网站 | www.久久色.com| 一区在线观看 | 丁香六月中文字幕 | 最近中文字幕高清字幕在线视频 | 欧美极品久久 | 国产一区二区在线免费观看 | 又污又黄的网站 | 国产精品久久久一区二区三区网站 | 国产人成一区二区三区影院 | 最近免费观看的电影完整版 | 欧美一区二区精品在线 | 中文字幕电影一区 | 懂色av一区二区在线播放 | 久香蕉 | 国产中文在线播放 | 日本黄色大片儿 | 看国产黄色大片 | .国产精品成人自产拍在线观看6 | 日韩一区二区三免费高清在线观看 | 免费看黄在线网站 | 91精品视频免费看 | 中文字幕免费不卡视频 | 欧美精品xx | 久久黄色片子 | 香蕉久久久久久av成人 | 亚洲视频 在线观看 | 欧美一级在线观看视频 | 久久久三级视频 | 中文字幕在线观看网站 | 久久久久国产精品免费免费搜索 | 国产午夜精品福利视频 | 狠狠狠狠狠操 | 国产精品电影在线 | 97视频资源 | 91麻豆精品一区二区三区 | 成人av网站在线观看 | 免费高清无人区完整版 | 91av免费在线观看 | 91成人在线视频 | 久久视频这里有久久精品视频11 | 日韩字幕在线观看 | 国产精品99页 | 最新91在线视频 | 91av在线视频免费观看 | 九九九九九九精品 | 插插插色综合 | 日韩精品一区二区在线观看 | 婷五月激情 | 丝袜美腿一区 | 久久激情综合网 | 国产日本亚洲高清 | 99国产情侣在线播放 | 国产中文字幕网 | 国产又粗又猛又爽又黄的视频先 | 日韩欧美视频免费看 | 四虎在线永久免费观看 | 免费a现在观看 | 国产99一区 | 国产小视频国产精品 | 亚洲高清视频一区二区三区 | 中文字幕在线看视频 | 日韩精品首页 | 天天干天天拍天天操天天拍 | 99av国产精品欲麻豆 | 中文字幕精品一区久久久久 | 国产超碰在线观看 | 免费91在线 | 在线观看视频一区二区 | www.午夜视频 | av激情五月| 日韩精品视频在线观看免费 | 免费av网址在线观看 | 国产麻豆精品一区二区 | 久久99日韩 | 天天搞天天干 | 亚洲精品国产精品乱码不99热 | 有码视频在线观看 | 豆豆色资源网xfplay | 国产一区二区在线免费 | 天堂久久电影网 | 麻豆av电影 | 日本久久高清视频 | 日韩一区二区免费视频 | 久久免费视频8 | 日韩在线观看 | 黄av免费在线观看 | 国产第页 | 在线中文字幕网站 | 亚洲精品中文字幕视频 | 揉bbb玩bbb少妇bbb | 69久久夜色精品国产69 | 欧美一区二区免费在线观看 | 97成人超碰 | 337p欧美| 久久乱码卡一卡2卡三卡四 五月婷婷久 | 成人三级黄色 | 99久久这里只有精品 | 亚洲资源在线网 | 天天av天天 | 亚洲五月婷 | 99c视频高清免费观看 | 久久免费视频在线观看 | 欧美福利网站 | 精品国产一区二区三区久久 | 成人午夜剧场在线观看 | 在线一二三区 | 国产日女人| 国产一级片免费视频 | 国产黄色精品在线 | 97超级碰碰碰视频在线观看 | 91自拍视频在线观看 | 日韩r级电影在线观看 | 美女又爽又黄 | 欧美一级片免费在线观看 | 久久草| 国际av在线| 国产精品video| 天天综合成人 | 国产精品久久久久久久7电影 | 视频在线日韩 | 精品日韩在线 | 成人欧美日韩国产 | 欧美一级电影 | 一区二区三区四区五区在线 | 成人一区二区三区中文字幕 | 国产最顶级的黄色片在线免费观看 | 91干干干 | 国产成人精品综合久久久 | 久久精品国产亚洲精品 | av色图天堂网| 国产高清绿奴videos | 欧美激情精品久久久久久变态 | 亚洲精品国产第一综合99久久 | 成人免费xxx在线观看 | 久久成人视屏 | 探花视频在线版播放免费观看 | av电影免费在线播放 | 一区 在线 影院 | 久久国产精品视频 | 99久久999久久久精玫瑰 | 91av资源网 | 99精品国产成人一区二区 | 区一区二区三在线观看 | 国产精品久久久久久欧美 | 国产a网站 | 日韩精品在线免费播放 | 久久不见久久见免费影院 | 麻豆传媒视频在线免费观看 | 久精品视频在线观看 | 国产一区二区三区高清播放 | 91精品国产91p65 | aⅴ视频在线 | 欧美日韩视频在线观看一区二区 | 久草综合在线 | 黄色精品免费 | 亚洲精品成人在线 | 性日韩欧美在线视频 | 久久国产免费视频 | 中文字幕久久精品 | 偷拍久久久 | 午夜视频在线观看一区二区三区 | 婷婷开心久久网 | 97成人免费视频 | 99综合电影在线视频 | 日本黄色免费观看 | 中文字幕免费一区二区 | 国产 中文 日韩 欧美 | 奇米影视8888在线观看大全免费 | 国产粉嫩在线观看 | 亚洲精品影院在线观看 | 久久爱992xxoo | 色干综合 | 国产永久免费高清在线观看视频 | 国产亚洲欧美日韩高清 | 亚洲免费在线视频 | 免费在线激情电影 | 亚洲 欧美变态 另类 综合 | 高清av在线 | 激情中文在线 | 亚洲精品中文字幕在线 | 久久国产影视 | 亚洲成年人av | 区一区二区三区中文字幕 | 日韩一区二区三区免费视频 | 久久免费视频6 | 国产亚洲精品久久久久动 | 五月婷婷综 | 中文字幕在线网 | 久久久综合 | 香蕉在线播放 | 99色99| 午夜精品久久久久久中宇69 | 亚洲黄色在线 | 亚洲精品18日本一区app | 欧美福利视频 | 国产裸体永久免费视频网站 | 日日日操操| 免费久久99精品国产婷婷六月 | av在线电影网站 | 最近2019中文免费高清视频观看www99 | 国产精品国产三级国产不产一地 | 麻豆小视频在线观看 | 欧美一级视频免费看 | 91伊人久久大香线蕉蜜芽人口 | 中文字幕久久久精品 | 国产人免费人成免费视频 | 精品黄色片 | 三级在线视频观看 | 日本精品中文字幕 | 成人av片免费观看app下载 | 一区在线免费观看 | 在线影视 一区 二区 三区 | 97人人网 | 日韩av网页| 免费在线播放黄色 | 深夜国产福利 | 亚洲欧洲日韩在线观看 | 成人四虎 | 日韩精品视频久久 | 91女人18片女毛片60分钟 | 成年人在线免费看片 | 午夜视频欧美 | av电影免费在线看 | 久久精品亚洲国产 | 草免费视频 | 久精品在线观看 | 香蕉视频日本 | 在线午夜电影神马影院 | 人人干狠狠操 | 精品一二三四视频 | 久久国产品 | 国产精品视频久久久 | 久久精品国产免费看久久精品 | 91一区二区在线 | 99久国产 | 丁香婷婷激情国产高清秒播 | 国产精品免费一区二区三区 | 在线看片视频 | 国产91精品在线播放 | 欧美成人在线免费观看 | 久久国语 | 日日干天天 | 国产亚洲成av片在线观看 | 888av| 亚洲午夜久久久影院 | 中文字幕在线观看国产 | 中文区中文字幕免费看 | 国产五月色婷婷六月丁香视频 | 欧美一级欧美一级 | 婷婷网站天天婷婷网站 | 国产第一页在线观看 | 免费在线观看污网站 | 免费手机黄色网址 | 91中文字幕在线观看 | www.99热精品| 国产在线高清视频 | 狠狠色狠狠色综合系列 | 狠狠狠色丁香综合久久天下网 | 欧美性直播| 丁香久久激情 | 国产高清免费视频 | 天天射网 | 久草视频在线播放 | 97av影院| 色综合亚洲精品激情狠狠 | 亚洲激情视频在线观看 | 国产精品久久久久一区二区 | 亚洲人在线7777777精品 | 免费成人黄色片 | 日韩偷拍精品 | 在线播放精品一区二区三区 | 一区二区三区四区在线 | 亚洲一区二区高潮无套美女 | 久久这里只精品 | 亚洲国产视频网站 | 欧美 高跟鞋交 xxxxhd | 亚洲一级黄色av | 欧美性生爱 | 国产在线观看高清视频 | 亚洲高清av在线 | av在线播放快速免费阴 | 超级碰碰免费视频 | 一区二区精品视频 | 91最新网址 | 国产视频精品免费 | 精品国产诱惑 | 午夜12点 | 天天综合久久综合 | 日本精品一 | 99久久电影 | 麻豆91精品视频 | 亚洲激情电影在线 | 狠狠黄| 国产福利91精品一区 | 成人av免费播放 | 久久伊人色综合 | 国产剧情一区 | 精品国产成人在线影院 | 91麻豆国产 | 夜夜躁狠狠燥 | 毛片基地黄久久久久久天堂 | 黄色小网站在线观看 | 国模一区二区三区四区 | 国产精品激情在线观看 | 国产无遮挡又黄又爽在线观看 | 国产小视频免费观看 | 五月在线视频 | 成人精品在线 | 天天干,天天射,天天操,天天摸 | 国产日韩精品一区二区三区在线 | 国产精品久久久久久久久岛 | 久久国产电影院 | 婷婷亚洲五月色综合 | 国产精品女人久久久 | 免费成人黄色av | 精品国产一区二区三区四 | 国产精品免费观看久久 | 国产a级片免费观看 | 久久久久久久99精品免费观看 | 在线观看视频你懂得 | 久久人人97超碰国产公开结果 | 欧美在线不卡一区 | 人人网av| 草久视频在线 | 成人在线免费看视频 | 国产精品99视频 | 亚洲国产一区二区精品专区 | 国产精品video爽爽爽爽 | 国产午夜精品一区二区三区欧美 | 色婷婷狠狠五月综合天色拍 | 国产黄色片一级三级 | 精品一区三区 | 一本一本久久a久久精品综合 | 国产午夜麻豆影院在线观看 | 美女网站在线观看 | 国产伦理一区二区三区 | 麻豆精品在线 | 国产精品免费久久久久影院仙踪林 | 亚洲精品乱码久久久久久蜜桃动漫 | 美女视频免费一区二区 | 亚洲91精品在线观看 | 精品国内 | 91成品人影院 | 男女精品久久 | 99热国产精品 | 九九免费精品 | 深爱激情综合网 | 久久精品99国产精品 | 在线激情影院一区 | 亚洲精品美女视频 | 韩国av在线播放 | 97人人爽 | 91尤物国产尤物福利在线播放 | 五月天综合婷婷 | 国产日本亚洲高清 | 九九九九精品 | 色久网| 亚洲影院国产 | 日韩在线观看一区二区三区 | 亚洲va综合va国产va中文 | 99视频免费 | 粉嫩aⅴ一区二区三区 | 国产精品久久久久久一区二区 | 91传媒在线 | 日韩高清成人在线 | 夜色资源站wwwcom | 国产馆在线播放 | 色综合久久久网 | 婷婷色五 | 国产黄色精品在线 | 欧美大片mv免费 | 国产第一二区 | 国产精品麻豆99久久久久久 | 国产精品中文久久久久久久 | 97视频在线观看免费 | 毛片激情永久免费 | 在线观看中文字幕av | 中文理论片| 在线视频亚洲 | 国产999精品久久久久久 | av性网站| 就操操久久 | 美女免费视频观看网站 | 国产精品va在线观看入 | 免费看成人 | 成人在线播放av | 日韩欧美在线免费观看 | 精品免费观看 | 97福利| 国产精品99视频 | 日本在线视频一区二区三区 | 97在线公开视频 | 精品一区二区在线免费观看 | 美女国内精品自产拍在线播放 | 高清一区二区 | 国产最新在线 | 国内精品亚洲 | 久久婷婷久久 | 国产成人免费精品 | 精品国内自产拍在线观看视频 | 日韩成人免费在线观看 | 97超碰中文字幕 | 精品亚洲视频在线观看 | 麻豆94tv免费版 | 国产精品免费看 | www免费看 | 91精品啪 | 黄色成人毛片 | 免费黄在线观看 | 91爱爱免费观看 | 欧美看片| 在线色亚洲 | 久久久精品视频网站 | 在线观看黄色大片 | 手机看片99 | 国产精品久久久久一区 | 日本少妇视频 | www夜夜操 | 美女黄网站视频免费 | 99一级片 | 一区二区三区三区在线 | 一区二区中文字幕在线 | 激情婷婷av| 狠狠操狠狠操 | 亚洲精品免费视频 | 亚洲另类视频在线观看 | 97色视频在线 | 91免费看黄 | 欧美日韩视频在线观看免费 | 西西www4444大胆视频 | 成年人在线免费看片 | 丁香激情综合久久伊人久久 | 中文字幕欧美日韩va免费视频 | 日日精品 | 99热国产在线观看 | 精品国产一区二区三区不卡 | 天天爽夜夜爽人人爽一区二区 | 在线免费观看视频你懂的 | 最近2019中文免费高清视频观看www99 | 日韩网站视频 | 中文字幕日韩精品有码视频 | 亚洲在线日韩 | 91精品蜜桃 | 日日爽日日操 | 亚洲精品影视在线观看 | 亚洲精品国内 | 人人爱夜夜操 | 欧美午夜性生活 | 色永久免费视频 | 欧美aⅴ在线观看 | 国产a精品 | 91成人短视频在线观看 | 国产精品久久久久久久久久新婚 | 黄色软件大全网站 | 九九九视频精品 | 久热精品国产 | 女人高潮一级片 | 亚洲视频免费在线观看 | 日韩电影中文,亚洲精品乱码 | 亚洲欧美日韩一二三区 | 免费a v在线 | 精品国产一区二区三区久久影院 | 久草在线免费资源站 | 日韩欧美精品一区 | av片中文 | 激情综合色综合久久 | 人人干免费 | 97在线视频观看 | 中文字幕在线有码 | 久久精品伊人 | 久久成人国产 | 久久人91精品久久久久久不卡 | 又黄又爽的视频在线观看网站 | 四虎国产精品免费 | 国产短视频在线播放 | 国产精品久久久久久五月尺 | 亚洲国产综合在线 | 在线免费观看不卡av | 91超国产| av在线一 | 五月的婷婷| 在线免费中文字幕 | 成人免费看片网址 | 黄色软件大全网站 | 91久久精品一区二区三区 | 国产三级香港三韩国三级 | 日韩久久精品一区 | 国产无遮挡又黄又爽在线观看 | 色婷婷视频在线 | 欧美另类交在线观看 | 天天干一干| 天天天天爱天天躁 | 韩国精品福利一区二区三区 | 国产精品免费在线播放 | 在线免费av网 | 亚洲播放一区 | 亚洲成人av电影在线 | 亚洲视频在线观看网站 | 91亚洲国产成人久久精品网站 | 国产乱视频 | 国产精品k频道 | 激情网五月天 | 手机在线免费av | www.99av| 91看片淫黄大片一级在线观看 | 三级视频国产 | 久久久久久久久久免费视频 | 欧美色综合久久 | 美女久久久久久久久久 | 久久国产精品视频免费看 | 久久精品一区二区三 | 婷五月激情 | 青青河边草免费观看 | 999视频在线播放 | 中文字幕免费不卡视频 | 91在线免费观看网站 | 成人在线播放网站 | 国内成人精品2018免费看 | 午夜视频欧美 | 国产成人精品久久久久蜜臀 | 亚洲精品综合一二三区在线观看 | 日韩经典一区二区三区 | 免费在线观看日韩欧美 | 区一区二区三区中文字幕 | 国产不卡免费 | 天天操人人干 | 91porny九色91啦中文 | 精品国产成人 | 色91在线视频 | av成人免费在线看 | 亚洲精区二区三区四区麻豆 | 国产黄色大片免费看 | 99久久网站 | 国产精品成人久久久 | 成人免费观看网址 | 日韩高清无线码2023 | 国产成人精品一区二三区 | 日韩av不卡播放 | 成人免费网站视频 | 日韩国产在线观看 | 日日干天天插 | 91爱看片| 99视频免费看 | 天天射天天射天天射 | 国产资源在线免费观看 | 91在线看视频免费 | 久久99深爱久久99精品 | 久人人 | av网址aaa | 97超级碰碰碰碰久久久久 | 国产录像在线观看 | 国产专区精品 | 亚洲一区二区三区在线看 | 热99久久精品 | 婷婷在线看 | 在线观看视频亚洲 | 国产精品久久久久永久免费观看 | 国产精品久久久久久久妇 | 午夜久操 | 日韩av男人的天堂 | 国产成人黄色在线 | 日本一区二区三区免费看 | 激情婷婷网| 精品在线观看一区二区三区 | 日日日操操 | 色插综合 | 综合网成人 | 成人久久久久 | 久久久网址 | 欧美激情第一页xxx 午夜性福利 | 人人爱天天操 | 亚洲日韩欧美一区二区在线 | 国产 日韩 欧美 自拍 | 国产精品18videosex性欧美 | 波多野结衣在线视频免费观看 | 精品视频资源站 | 国产偷国产偷亚洲清高 | 国产精品久久久av久久久 | 欧美色综合久久 | 尤物97国产精品久久精品国产 | 天天搞天天干天天色 | 97久久精品午夜一区二区 | 久久久91精品国产一区二区精品 | 综合色婷婷 | 一区二区激情视频 | 亚洲精品va | 99精品视频在线看 | 波多野结衣综合网 | 麻豆视频观看 | 亚洲国产97在线精品一区 | 亚洲精品美女久久 | 波多野结衣日韩 | 久久精品首页 | 丁香花在线视频观看免费 | 婷婷伊人网 | av夜夜操 | 91黄色视屏 | 美女视频免费精品 | 午夜美女福利 | 久久全国免费视频 | 国产在线污 | 国产精品激情 | 91av网址 | 看黄色91| 69久久夜色精品国产69 | 亚洲精品av中文字幕在线在线 | 国产午夜三级一区二区三桃花影视 | 久久国产免费看 | 婷婷亚洲五月色综合 | 久久久久欧美精品 | 色九九在线 | 天天插天天爽 | 日韩视频1 | 国产美女黄网站免费 | 成年人视频在线免费观看 | 国产精品视屏 | 九九九电影免费看 | 97电影网手机版 | 天天干天天做天天爱 | 高清国产在线一区 | 欧美另类高清 videos | 免费在线国产精品 | 97精产国品一二三产区在线 | 国产精品精品 | 久久免费国产精品 | 久久精品久久国产 | 亚洲免费小视频 | 国产精品毛片一区二区三区 | 精品国产免费观看 | 国产激情电影综合在线看 | 久草视频在线观 | 毛片精品免费在线观看 | a成人v | 成年人在线观看免费视频 | 日韩免费b | 四虎免费av | 久久综合成人网 | 国产一区在线精品 | 成人免费视频视频在线观看 免费 | 毛片视频电影 | 亚洲精品自在在线观看 | sesese图片| 欧美日韩一区二区三区在线免费观看 | 日日天天av| 中文字幕av免费在线观看 | 国产精品系列在线 | 色99在线| 欧美性生活免费看 | 久久不卡日韩美女 | 国产精品第二十页 | 欧美在线你懂的 | 午夜婷婷网 | 伊人精品在线 | 97免费公开视频 | 中文字幕 欧美性 | 五月激情av | 亚洲高清色综合 | 成年人电影免费在线观看 | 五月综合激情婷婷 | 国产专区在线播放 | 国产成人91| 日本精品久久 | 色偷偷男人的天堂av | 国产一区二区精品久久91 | 极品久久久久 | 992tv人人草 黄色国产区 | 色综合久久五月 | 五月激情久久久 | 天天摸天天操天天爽 | 91入口在线观看 | 欧美91视频| 一区二区在线影院 | 免费高清在线一区 | 国产一级视频在线 | 97超碰人人澡人人 | 成人a在线观看高清电影 | 国产免费叼嘿网站免费 | 波多野结衣综合网 | 久久视了 | 久久久精品小视频 | 成人国产精品免费观看 | 精品一区二区三区久久 | 久久精品一区二区三区中文字幕 | 久久久久久欧美二区电影网 | 国产日韩视频在线观看 | 特级毛片网 | 国产精品一区电影 | 国产小视频在线观看 | 久久这里只有精品视频99 | 91视频久久久久 | 1024手机看片国产 | 国产资源免费 | 亚洲成人国产精品 | 亚洲 欧洲 国产 日本 综合 | 91大神在线观看视频 | 欧美久久久 | 亚洲精品国产精品乱码在线观看 | 69夜色精品国产69乱 | 国产成人中文字幕 | 99精品一级欧美片免费播放 | av电影免费看 | 欧美午夜视频在线 | 欧美性极品xxxx做受 | 91亚洲精品久久久久图片蜜桃 | 日韩h在线观看 | 狠狠色伊人亚洲综合网站色 | 黄色avwww| 亚洲精品视频一 | 国产群p视频 | 国产高清在线观看av | 日韩精品五月天 | 成人av免费在线 | 91视频传媒 | 麻豆高清免费国产一区 | 欧美日韩一区二区视频在线观看 | 天天干天天想 | 国产在线精品福利 | 色综合久 | 超碰在线天天 | 亚洲理论片在线观看 | 国产美女黄网站免费 | 欧美日韩中文字幕视频 | 精品三级av | 中文字幕在线观看网站 | 91丨九色丨蝌蚪丰满 | 久久精品首页 | 91麻豆精品国产自产在线 | 国产一级免费视频 | 国产成人精品一区二区三区 | 久久毛片网 | 日批视频在线 | 精品视频中文字幕 | 在线精品国产 | 国产一级91| 成人黄色免费观看 | 91在线porny国产在线看 | 96久久久| 亚洲激情网站免费观看 | 国产成在线观看免费视频 | 综合色综合色 | 91传媒激情理伦片 | 91精品久久久久久久久久入口 | 麻豆成人精品 | 亚洲天堂va| 91完整版 | 五月天丁香视频 | 国产高清福利在线 | 日日干天天插 | 人人狠狠| 天天干,天天操 | 欧美在线视频不卡 | 久久精品之 | 激情五月激情综合网 | 亚洲永久av | 欧美黄色成人 | 国产黄影院色大全免费 | 久久久久久毛片精品免费不卡 | 欧美在线18| 麻豆av一区二区三区在线观看 | 在线播放精品一区二区三区 | 午夜精品久久久99热福利 | 日韩免费电影 | 亚洲 欧美变态 另类 综合 | 日本特黄特色aaa大片免费 | 日韩欧美在线中文字幕 | 国产中年夫妇高潮精品视频 | 国产99亚洲 | 婷婷五月情 | 亚洲精品免费播放 | 国产成人三级在线播放 | 欧美日韩不卡在线观看 | 国产高清在线不卡 | 国产精品免费观看网站 | 韩国一区在线 | 午夜123| a黄色大片 | 国产一级在线播放 | 韩国精品福利一区二区三区 | 国产人免费人成免费视频 | 超级av在线| 蜜桃视频日本 | 国产成本人视频在线观看 | 成人资源网 | 综合网天天 | 99久久精品免费视频 | 亚洲美女视频在线观看 | 日韩欧美一区二区三区免费观看 | 四虎亚洲精品 | 综合天天| av片免费播放 | 超碰电影在线观看 | 国产亚洲欧美日韩高清 | 91精品国产综合久久福利 | 亚洲精品视频在 | 97国产精品视频 | 婷婷天天色| 精品国产自 | 欧美激情综合色 | 中文字幕 国产精品 | 天天操天天吃 | 免费av大片 | 国产精品久久9 | 九九热免费精品视频 | 蜜臀av网址 | www.国产在线观看 | 麻豆精品在线视频 | 色狠狠一区二区 | 亚洲精品高清一区二区三区四区 | 国产视频一区在线播放 | av日韩国产 | 国产69精品久久久久久久久久 | 欧美片一区二区三区 | 日韩网站免费观看 | 91成年人视频 | 精品黄色在线观看 | 免费一级日韩欧美性大片 | 国产成人一区二区三区在线观看 | 九九九九九九精品任你躁 | 丝袜少妇在线 | 黄p在线播放 | 91av蜜桃| 国产一区欧美二区 | 特级西西444www大胆高清无视频 | 狠狠色丁香婷婷综合橹88 | 岛国av在线 | 国产精品va在线观看入 | 手机在线看片日韩 | 黄色在线看网站 | 天天干.com| 精品久久久久久亚洲综合网站 | 97超碰人人澡人人爱 | 国产精品综合在线 | 日韩中文在线播放 | 国产精品久久一区二区三区, | 成人精品国产免费网站 | 天天色天天射天天操 | 精品国产视频在线观看 | 久久99中文字幕 | 亚洲草视频 | 国产精品一区二区久久国产 | 国产麻豆果冻传媒在线观看 | 久久99国产精品久久 | 天天操操操操操操 | 久久大视频| 999成人国产| 亚洲欧美偷拍另类 | 国产精品第52页 | 国产群p视频 | 国产一二区精品 | 久久久激情视频 | 深爱婷婷激情 | a成人在线 | 99久久成人| 久久国产精品成人免费浪潮 | 在线观看成人福利 | 香蕉成人在线视频 | 久草在线最新免费 | 欧美人zozo | 免费亚洲精品视频 | 韩日在线一区 | 久久久午夜精品福利内容 | 美女国产网站 | 国产123区在线观看 国产精品麻豆91 | 色橹橹欧美在线观看视频高清 | 久久精品网 | 日韩精品一区在线播放 | 2024国产精品视频 | 一级成人免费视频 | 亚洲激情影院 | 久久精品国产精品亚洲 | 久久久片| aⅴ视频在线 | 亚洲精品9 | 国产精久久 | 亚洲aaa级 | 免费福利在线 | 国产精品刺激对白麻豆99 | 欧美性精品 | 成人免费观看在线视频 | 一区二区三区av在线 | 奇米四色影狠狠爱7777 | 久久婷婷五月综合色丁香 | 丁香婷婷综合网 | 500部大龄熟乱视频使用方法 | 国产精品18久久久久久不卡孕妇 | 国产精品成人品 | 免费成视频 | 国产专区在线看 | 亚洲精品免费视频 | 国产三级精品三级在线观看 | 国产精品久久久一区二区 | 久久久96| 免费观看福利视频 | 日韩三级视频在线观看 | 日日夜夜亚洲 | 在线观看中文av | 久久久久久欧美二区电影网 | 免费a视频在线观看 | av片子在线观看 | 国产精品免费久久久久久 | 日韩一区二区久久 | 麻豆91视频 | 精品一区电影 | 国产精品一区在线 | 中文字幕精品一区二区精品 | 在线观看完整版 | 人人爽人人av | 91爱爱视频| 日韩欧美电影 | 在线观看视频你懂 | 毛片网站在线看 | 成人在线免费观看视视频 | 日韩欧美视频一区二区三区 | 精品视频中文字幕 | 青草视频在线看 | 亚洲91av| 91精品人成在线观看 | 男女激情麻豆 | 四虎国产精品永久在线国在线 | 天天操天天插 | 精品女同一区二区三区在线观看 | 在线观看国产一区 | 日本中文字幕观看 | 91大神视频网站 | 毛片无卡免费无播放器 | 干av在线| 国产午夜视频在线观看 | 在线精品视频免费播放 | 午夜免费福利片 | 91综合色| 日韩欧美在线中文字幕 | 狠狠干电影 | 欧美91精品久久久久国产性生爱 | 国产精品自拍av | 久99久中文字幕在线 | 亚洲国产精彩中文乱码av | 色视频在线看 | 亚洲精品在线观看免费 | 91污视频在线 | 精品国产乱码久久久久久1区二区 | 国产激情小视频在线观看 | 欧美午夜久久 | 国产色爽| 一级黄色大片 | 国产五十路毛片 | 国内综合精品午夜久久资源 | 久久国产精品99久久久久 | 欧美激情综合五月 | 亚洲六月丁香色婷婷综合久久 | 色五丁香| 超碰免费av | 精品在线99 | 亚洲电影影音先锋 |