日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

深度剖析:Redis 分布式锁到底安全吗?看完这篇文章彻底懂了!

發布時間:2024/8/23 41 豆豆
生活随笔 收集整理的這篇文章主要介紹了 深度剖析:Redis 分布式锁到底安全吗?看完这篇文章彻底懂了! 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

作者 |?Kaito?

來源 |?水滴與銀彈

閱讀本文大約需要 20?分鐘。

大家好,我是 Kaito。

這篇文章我想和你聊一聊,關于 Redis 分布式鎖的「安全性」問題。

Redis 分布式鎖的話題,很多文章已經寫爛了,我為什么還要寫這篇文章呢?

因為我發現網上 99% 的文章,并沒有把這個問題真正講清楚。導致很多讀者看了很多文章,依舊云里霧里。例如下面這些問題,你能清晰地回答上來嗎?

  • 基于 Redis 如何實現一個分布式鎖?

  • Redis 分布式鎖真的安全嗎?

  • Redis 的 Redlock 有什么問題?一定安全嗎?

  • 業界爭論 Redlock,到底在爭論什么?哪種觀點是對的?

  • 分布式鎖到底用 Redis 還是 Zookeeper?

  • 實現一個有「容錯性」的分布式鎖,都需要考慮哪些問題?

這篇文章,我就來把這些問題徹底講清楚。

讀完這篇文章,你不僅可以徹底了解分布式鎖,還會對「分布式系統」有更加深刻的理解。

文章有點長,但干貨很多,希望你可以耐心讀完。

為什么需要分布式鎖?

在開始講分布式鎖之前,有必要簡單介紹一下,為什么需要分布式鎖?

與分布式鎖相對應的是「單機鎖」,我們在寫多線程程序時,避免同時操作一個共享變量產生數據問題,通常會使用一把鎖來「互斥」,以保證共享變量的正確性,其使用范圍是在「同一個進程」中。

如果換做是多個進程,需要同時操作一個共享資源,如何互斥呢?

例如,現在的業務應用通常都是微服務架構,這也意味著一個應用會部署多個進程,那這多個進程如果需要修改 MySQL 中的同一行記錄時,為了避免操作亂序導致數據錯誤,此時,我們就需要引入「分布式鎖」來解決這個問題了。

想要實現分布式鎖,必須借助一個外部系統,所有進程都去這個系統上申請「加鎖」。

而這個外部系統,必須要實現「互斥」的能力,即兩個請求同時進來,只會給一個進程返回成功,另一個返回失敗(或等待)。

這個外部系統,可以是 MySQL,也可以是 Redis 或 Zookeeper。但為了追求更好的性能,我們通常會選擇使用 Redis 或 Zookeeper 來做。

下面我就以 Redis 為主線,由淺入深,帶你深度剖析一下,分布式鎖的各種「安全性」問題,幫你徹底理解分布式鎖。

分布式鎖怎么實現?

我們從最簡單的開始講起。

想要實現分布式鎖,必須要求 Redis 有「互斥」的能力,我們可以使用 SETNX 命令,這個命令表示SET?if?Not eXists,即如果 key 不存在,才會設置它的值,否則什么也不做。

兩個客戶端進程可以執行這個命令,達到互斥,就可以實現一個分布式鎖。

客戶端 1 申請加鎖,加鎖成功:

127.0.0.1:6379>?SETNX?lock?1 (integer)?1?????//?客戶端1,加鎖成功

客戶端 2 申請加鎖,因為它后到達,加鎖失敗:

127.0.0.1:6379>?SETNX?lock?1 (integer)?0?????//?客戶端2,加鎖失敗

此時,加鎖成功的客戶端,就可以去操作「共享資源」,例如,修改 MySQL 的某一行數據,或者調用一個 API 請求。

操作完成后,還要及時釋放鎖,給后來者讓出操作共享資源的機會。如何釋放鎖呢?

也很簡單,直接使用 DEL 命令刪除這個 key 即可:

127.0.0.1:6379>?DEL?lock?//?釋放鎖 (integer)?1

這個邏輯非常簡單,整體的路程就是這樣:

但是,它存在一個很大的問題,當客戶端 1 拿到鎖后,如果發生下面的場景,就會造成「死鎖」:

  • 程序處理業務邏輯異常,沒及時釋放鎖

  • 進程掛了,沒機會釋放鎖

  • 這時,這個客戶端就會一直占用這個鎖,而其它客戶端就「永遠」拿不到這把鎖了。

    怎么解決這個問題呢?

    如何避免死鎖?

    我們很容易想到的方案是,在申請鎖時,給這把鎖設置一個「租期」。

    在 Redis 中實現時,就是給這個 key 設置一個「過期時間」。這里我們假設,操作共享資源的時間不會超過 10s,那么在加鎖時,給這個 key 設置 10s 過期即可:

    127.0.0.1:6379>?SETNX?lock?1????//?加鎖 (integer)?1 127.0.0.1:6379>?EXPIRE?lock?10??//?10s后自動過期 (integer)?1

    這樣一來,無論客戶端是否異常,這個鎖都可以在 10s 后被「自動釋放」,其它客戶端依舊可以拿到鎖。

    但這樣真的沒問題嗎?

    還是有問題。

    現在的操作,加鎖、設置過期是 2 條命令,有沒有可能只執行了第一條,第二條卻「來不及」執行的情況發生呢?例如:

  • SETNX 執行成功,執行 EXPIRE 時由于網絡問題,執行失敗

  • SETNX 執行成功,Redis 異常宕機,EXPIRE 沒有機會執行

  • SETNX 執行成功,客戶端異常崩潰,EXPIRE 也沒有機會執行

  • 總之,這兩條命令不能保證是原子操作(一起成功),就有潛在的風險導致過期時間設置失敗,依舊發生「死鎖」問題。

    怎么辦?

    在 Redis 2.6.12 版本之前,我們需要想盡辦法,保證 SETNX 和 EXPIRE 原子性執行,還要考慮各種異常情況如何處理。

    但在 Redis 2.6.12 之后,Redis 擴展了 SET 命令的參數,用這一條命令就可以了:

    //?一條命令保證原子性執行 127.0.0.1:6379>?SET?lock?1?EX?10?NX OK

    這樣就解決了死鎖問題,也比較簡單。

    我們再來看分析下,它還有什么問題?

    試想這樣一種場景:

  • 客戶端 1 加鎖成功,開始操作共享資源

  • 客戶端 1 操作共享資源的時間,「超過」了鎖的過期時間,鎖被「自動釋放」

  • 客戶端 2 加鎖成功,開始操作共享資源

  • 客戶端 1 操作共享資源完成,釋放鎖(但釋放的是客戶端 2 的鎖)

  • 看到了么,這里存在兩個嚴重的問題:

  • 鎖過期:客戶端 1 操作共享資源耗時太久,導致鎖被自動釋放,之后被客戶端 2 持有

  • 釋放別人的鎖:客戶端 1 操作共享資源完成后,卻又釋放了客戶端 2 的鎖

  • 導致這兩個問題的原因是什么?我們一個個來看。

    第一個問題,可能是我們評估操作共享資源的時間不準確導致的。

    例如,操作共享資源的時間「最慢」可能需要 15s,而我們卻只設置了 10s 過期,那這就存在鎖提前過期的風險。

    過期時間太短,那增大冗余時間,例如設置過期時間為 20s,這樣總可以了吧?

    這樣確實可以「緩解」這個問題,降低出問題的概率,但依舊無法「徹底解決」問題。

    為什么?

    原因在于,客戶端在拿到鎖之后,在操作共享資源時,遇到的場景有可能是很復雜的,例如,程序內部發生異常、網絡請求超時等等。

    既然是「預估」時間,也只能是大致計算,除非你能預料并覆蓋到所有導致耗時變長的場景,但這其實很難。

    有什么更好的解決方案嗎?

    別急,關于這個問題,我會在后面詳細來講對應的解決方案。

    我們繼續來看第二個問題。

    第二個問題在于,一個客戶端釋放了其它客戶端持有的鎖。

    想一下,導致這個問題的關鍵點在哪?

    重點在于,每個客戶端在釋放鎖時,都是「無腦」操作,并沒有檢查這把鎖是否還「歸自己持有」,所以就會發生釋放別人鎖的風險,這樣的解鎖流程,很不「嚴謹」!

    如何解決這個問題呢?

    鎖被別人釋放怎么辦?

    解決辦法是:客戶端在加鎖時,設置一個只有自己知道的「唯一標識」進去。

    例如,可以是自己的線程 ID,也可以是一個 UUID(隨機且唯一),這里我們以 UUID 舉例:

    //?鎖的VALUE設置為UUID 127.0.0.1:6379>?SET?lock?$uuid?EX?20?NX OK

    這里假設 20s 操作共享時間完全足夠,先不考慮鎖自動過期的問題。

    之后,在釋放鎖時,要先判斷這把鎖是否還歸自己持有,偽代碼可以這么寫:

    //?鎖是自己的,才釋放 if?redis.get("lock")?==?$uuid:redis.del("lock")

    這里釋放鎖使用的是 GET + DEL 兩條命令,這時,又會遇到我們前面講的原子性問題了。

  • 客戶端 1 執行 GET,判斷鎖是自己的

  • 客戶端 2 執行了 SET 命令,強制獲取到鎖(雖然發生概率比較低,但我們需要嚴謹地考慮鎖的安全性模型)

  • 客戶端 1 執行 DEL,卻釋放了客戶端 2 的鎖

  • 由此可見,這兩個命令還是必須要原子執行才行。

    怎樣原子執行呢?Lua 腳本。

    我們可以把這個邏輯,寫成 Lua 腳本,讓 Redis 來執行。

    因為 Redis 處理每一個請求是「單線程」執行的,在執行一個 Lua 腳本時,其它請求必須等待,直到這個 Lua 腳本處理完成,這樣一來,GET + DEL 之間就不會插入其它命令了。

    安全釋放鎖的 Lua 腳本如下:

    //?判斷鎖是自己的,才釋放 if?redis.call("GET",KEYS[1])?==?ARGV[1] thenreturn?redis.call("DEL",KEYS[1]) elsereturn?0 end

    好了,這樣一路優化,整個的加鎖、解鎖的流程就更「嚴謹」了。

    這里我們先小結一下,基于 Redis 實現的分布式鎖,一個嚴謹的的流程如下:

  • 加鎖:SET lock_key $unique_id EX $expire_time NX

  • 操作共享資源

  • 釋放鎖:Lua 腳本,先 GET 判斷鎖是否歸屬自己,再 DEL 釋放鎖

  • 好,有了這個完整的鎖模型,讓我們重新回到前面提到的第一個問題。

    鎖過期時間不好評估怎么辦?

    鎖過期時間不好評估怎么辦?

    前面我們提到,鎖的過期時間如果評估不好,這個鎖就會有「提前」過期的風險。

    當時給的妥協方案是,盡量「冗余」過期時間,降低鎖提前過期的概率。

    這個方案其實也不能完美解決問題,那怎么辦呢?

    是否可以設計這樣的方案:加鎖時,先設置一個過期時間,然后我們開啟一個「守護線程」,定時去檢測這個鎖的失效時間,如果鎖快要過期了,操作共享資源還未完成,那么就自動對鎖進行「續期」,重新設置過期時間。

    這確實一種比較好的方案。

    如果你是 Java 技術棧,幸運的是,已經有一個庫把這些工作都封裝好了:Redisson

    Redisson 是一個 Java 語言實現的 Redis SDK 客戶端,在使用分布式鎖時,它就采用了「自動續期」的方案來避免鎖過期,這個守護線程我們一般也把它叫做「看門狗」線程。

    除此之外,這個 SDK 還封裝了很多易用的功能:

    • 可重入鎖

    • 樂觀鎖

    • 公平鎖

    • 讀寫鎖

    • Redlock(紅鎖,下面會詳細講)

    這個 SDK 提供的 API 非常友好,它可以像操作本地鎖的方式,操作分布式鎖。如果你是 Java 技術棧,可以直接把它用起來。

    這里不重點介紹 Redisson 的使用,大家可以看官方 Github 學習如何使用,比較簡單。

    到這里我們再小結一下,基于 Redis 的實現分布式鎖,前面遇到的問題,以及對應的解決方案:

    • 死鎖:設置過期時間

    • 過期時間評估不好,鎖提前過期:守護線程,自動續期

    • 鎖被別人釋放:鎖寫入唯一標識,釋放鎖先檢查標識,再釋放

    還有哪些問題場景,會危害 Redis 鎖的安全性呢?

    之前分析的場景都是,鎖在「單個」Redis 實例中可能產生的問題,并沒有涉及到 Redis 的部署架構細節。

    而我們在使用 Redis 時,一般會采用主從集群 + 哨兵的模式部署,這樣做的好處在于,當主庫異常宕機時,哨兵可以實現「故障自動切換」,把從庫提升為主庫,繼續提供服務,以此保證可用性。

    那當「主從發生切換」時,這個分布鎖會依舊安全嗎?

    試想這樣的場景:

  • 客戶端 1 在主庫上執行 SET 命令,加鎖成功

  • 此時,主庫異常宕機,SET 命令還未同步到從庫上(主從復制是異步的)

  • 從庫被哨兵提升為新主庫,這個鎖在新的主庫上,丟失了!

  • 可見,當引入 Redis 副本后,分布鎖還是可能會受到影響。

    怎么解決這個問題?

    為此,Redis 的作者提出一種解決方案,就是我們經常聽到的?Redlock(紅鎖)

    它真的可以解決上面這個問題嗎?

    Redlock 真的安全嗎?

    好,終于到了這篇文章的重頭戲。啊?上面講的那么多問題,難道只是基礎?

    是的,那些只是開胃菜,真正的硬菜,從這里剛剛開始。

    如果上面講的內容,你還沒有理解,我建議你重新閱讀一遍,先理清整個加鎖、解鎖的基本流程。

    如果你已經對 Redlock 有所了解,這里可以跟著我再復習一遍,如果你不了解 Redlock,沒關系,我會帶你重新認識它。

    值得提醒你的是,后面我不僅僅是講 Redlock 的原理,還會引出有關「分布式系統」中的很多問題,你最好跟緊我的思路,在腦中一起分析問題的答案。

    現在我們來看,Redis 作者提出的 Redlock 方案,是如何解決主從切換后,鎖失效問題的。

    Redlock 的方案基于 2 個前提:

  • 不再需要部署從庫哨兵實例,只部署主庫

  • 但主庫要部署多個,官方推薦至少 5 個實例

  • 也就是說,想用使用 Redlock,你至少要部署 5 個 Redis 實例,而且都是主庫,它們之間沒有任何關系,都是一個個孤立的實例。

    注意:不是部署 Redis Cluster,就是部署 5 個簡單的 Redis 實例。

    Redlock 具體如何使用呢?

    整體的流程是這樣的,一共分為 5 步:

  • 客戶端先獲取「當前時間戳T1」

  • 客戶端依次向這 5 個 Redis 實例發起加鎖請求(用前面講到的 SET 命令),且每個請求會設置超時時間(毫秒級,要遠小于鎖的有效時間),如果某一個實例加鎖失敗(包括網絡超時、鎖被其它人持有等各種異常情況),就立即向下一個 Redis 實例申請加鎖

  • 如果客戶端從 >=3 個(大多數)以上 Redis 實例加鎖成功,則再次獲取「當前時間戳T2」,如果 T2 - T1 < 鎖的過期時間,此時,認為客戶端加鎖成功,否則認為加鎖失敗

  • 加鎖成功,去操作共享資源(例如修改 MySQL 某一行,或發起一個 API 請求)

  • 加鎖失敗,向「全部節點」發起釋放鎖請求(前面講到的 Lua 腳本釋放鎖)

  • 我簡單幫你總結一下,有 4 個重點:

  • 客戶端在多個 Redis 實例上申請加鎖

  • 必須保證大多數節點加鎖成功

  • 大多數節點加鎖的總耗時,要小于鎖設置的過期時間

  • 釋放鎖,要向全部節點發起釋放鎖請求

  • 第一次看可能不太容易理解,建議你把上面的文字多看幾遍,加深記憶。

    然后,記住這 5 步,非常重要,下面會根據這個流程,剖析各種可能導致鎖失效的問題假設。

    好,明白了 Redlock 的流程,我們來看 Redlock 為什么要這么做。

    1) 為什么要在多個實例上加鎖?

    本質上是為了「容錯」,部分實例異常宕機,剩余的實例加鎖成功,整個鎖服務依舊可用。

    2) 為什么大多數加鎖成功,才算成功?

    多個 Redis 實例一起來用,其實就組成了一個「分布式系統」。

    在分布式系統中,總會出現「異常節點」,所以,在談論分布式系統問題時,需要考慮異常節點達到多少個,也依舊不會影響整個系統的「正確性」。

    這是一個分布式系統「容錯」問題,這個問題的結論是:如果只存在「故障」節點,只要大多數節點正常,那么整個系統依舊是可以提供正確服務的。

    這個問題的模型,就是我們經常聽到的「拜占庭將軍」問題,感興趣可以去看算法的推演過程。

    3) 為什么步驟 3 加鎖成功后,還要計算加鎖的累計耗時?

    因為操作的是多個節點,所以耗時肯定會比操作單個實例耗時更久,而且,因為是網絡請求,網絡情況是復雜的,有可能存在延遲、丟包、超時等情況發生,網絡請求越多,異常發生的概率就越大。

    所以,即使大多數節點加鎖成功,但如果加鎖的累計耗時已經「超過」了鎖的過期時間,那此時有些實例上的鎖可能已經失效了,這個鎖就沒有意義了。

    4) 為什么釋放鎖,要操作所有節點?

    在某一個 Redis 節點加鎖時,可能因為「網絡原因」導致加鎖失敗。

    例如,客戶端在一個 Redis 實例上加鎖成功,但在讀取響應結果時,網絡問題導致讀取失敗,那這把鎖其實已經在 Redis 上加鎖成功了。

    所以,釋放鎖時,不管之前有沒有加鎖成功,需要釋放「所有節點」的鎖,以保證清理節點上「殘留」的鎖。

    好了,明白了 Redlock 的流程和相關問題,看似 Redlock 確實解決了 Redis 節點異常宕機鎖失效的問題,保證了鎖的「安全性」。

    但事實真的如此嗎?

    Redlock 的爭論誰對誰錯?

    Redis 作者把這個方案一經提出,就馬上受到業界著名的分布式系統專家的質疑

    這個專家叫?Martin,是英國劍橋大學的一名分布式系統研究員。在此之前他曾是軟件工程師和企業家,從事大規模數據基礎設施相關的工作。它還經常在大會做演講,寫博客,寫書,也是開源貢獻者。

    他馬上寫了篇文章,質疑這個 Redlock 的算法模型是有問題的,并對分布式鎖的設計,提出了自己的看法。

    之后,Redis 作者 Antirez 面對質疑,不甘示弱,也寫了一篇文章,反駁了對方的觀點,并詳細剖析了 Redlock 算法模型的更多設計細節。

    而且,關于這個問題的爭論,在當時互聯網上也引起了非常激烈的討論。

    二人思路清晰,論據充分,這是一場高手過招,也是分布式系統領域非常好的一次思想的碰撞!雙方都是分布式系統領域的專家,卻對同一個問題提出很多相反的論斷,究竟是怎么回事?

    下面我會從他們的爭論文章中,提取重要的觀點,整理呈現給你。

    提醒:后面的信息量極大,可能不宜理解,最好放慢速度閱讀。

    分布式專家 Martin 對于 Relock 的質疑

    在他的文章中,主要闡述了 4 個論點:

    1) 分布式鎖的目的是什么?

    Martin 表示,你必須先清楚你在使用分布式鎖的目的是什么?

    他認為有兩個目的。

    第一,效率。

    使用分布式鎖的互斥能力,是避免不必要地做同樣的兩次工作(例如一些昂貴的計算任務)。如果鎖失效,并不會帶來「惡性」的后果,例如發了 2 次郵件等,無傷大雅。

    第二,正確性。

    使用鎖用來防止并發進程互相干擾。如果鎖失效,會造成多個進程同時操作同一條數據,產生的后果是數據嚴重錯誤、永久性不一致、數據丟失等惡性問題,就像給患者服用了重復劑量的藥物,后果很嚴重。

    他認為,如果你是為了前者——效率,那么使用單機版 Redis 就可以了,即使偶爾發生鎖失效(宕機、主從切換),都不會產生嚴重的后果。而使用 Redlock 太重了,沒必要。

    而如果是為了正確性,Martin 認為 Redlock 根本達不到安全性的要求,也依舊存在鎖失效的問題!

    2) 鎖在分布式系統中會遇到的問題

    Martin 表示,一個分布式系統,更像一個復雜的「野獸」,存在著你想不到的各種異常情況。

    這些異常場景主要包括三大塊,這也是分布式系統會遇到的三座大山:NPC

    • N:Network Delay,網絡延遲

    • P:Process Pause,進程暫停(GC)

    • C:Clock Drift,時鐘漂移

    Martin 用一個進程暫停(GC)的例子,指出了 Redlock 安全性問題:

  • 客戶端 1 請求鎖定節點 A、B、C、D、E

  • 客戶端 1 的拿到鎖后,進入 GC(時間比較久)

  • 所有 Redis 節點上的鎖都過期了

  • 客戶端 2 獲取到了 A、B、C、D、E 上的鎖

  • 客戶端 1 GC 結束,認為成功獲取鎖

  • 客戶端 2 也認為獲取到了鎖,發生「沖突」

  • Martin 認為,GC 可能發生在程序的任意時刻,而且執行時間是不可控的。

    注:當然,即使是使用沒有 GC 的編程語言,在發生網絡延遲、時鐘漂移時,也都有可能導致 Redlock 出現問題,這里 Martin 只是拿 GC 舉例。

    3) 假設時鐘正確的是不合理的

    又或者,當多個 Redis 節點「時鐘」發生問題時,也會導致 Redlock?鎖失效

  • 客戶端 1 獲取節點 A、B、C 上的鎖,但由于網絡問題,無法訪問 D 和 E

  • 節點 C 上的時鐘「向前跳躍」,導致鎖到期

  • 客戶端 2 獲取節點 C、D、E 上的鎖,由于網絡問題,無法訪問 A 和 B

  • 客戶端 1 和 2 現在都相信它們持有了鎖(沖突)

  • Martin 覺得,Redlock 必須「強依賴」多個節點的時鐘是保持同步的,一旦有節點時鐘發生錯誤,那這個算法模型就失效了。

    即使 C 不是時鐘跳躍,而是「崩潰后立即重啟」,也會發生類似的問題。

    Martin 繼續闡述,機器的時鐘發生錯誤,是很有可能發生的:

    • 系統管理員「手動修改」了機器時鐘

    • 機器時鐘在同步 NTP 時間時,發生了大的「跳躍」

    總之,Martin 認為,Redlock 的算法是建立在「同步模型」基礎上的,有大量資料研究表明,同步模型的假設,在分布式系統中是有問題的。

    在混亂的分布式系統的中,你不能假設系統時鐘就是對的,所以,你必須非常小心你的假設。

    4) 提出 fecing token 的方案,保證正確性

    相對應的,Martin 提出一種被叫作 fecing token 的方案,保證分布式鎖的正確性。

    這個模型流程如下:

  • 客戶端在獲取鎖時,鎖服務可以提供一個「遞增」的 token

  • 客戶端拿著這個 token 去操作共享資源

  • 共享資源可以根據 token 拒絕「后來者」的請求

  • 這樣一來,無論 NPC 哪種異常情況發生,都可以保證分布式鎖的安全性,因為它是建立在「異步模型」上的。

    而 Redlock 無法提供類似 fecing token 的方案,所以它無法保證安全性。

    他還表示,一個好的分布式鎖,無論 NPC 怎么發生,可以不在規定時間內給出結果,但并不會給出一個錯誤的結果。也就是只會影響到鎖的「性能」(或稱之為活性),而不會影響它的「正確性」。

    Martin 的結論:

    1、Redlock 不倫不類:它對于效率來講,Redlock 比較重,沒必要這么做,而對于正確性來說,Redlock 是不夠安全的。

    2、時鐘假設不合理:該算法對系統時鐘做出了危險的假設(假設多個節點機器時鐘都是一致的),如果不滿足這些假設,鎖就會失效。

    3、無法保證正確性:Redlock 不能提供類似 fencing token 的方案,所以解決不了正確性的問題。為了正確性,請使用有「共識系統」的軟件,例如 Zookeeper。

    好了,以上就是 Martin 反對使用 Redlock 的觀點,看起來有理有據。

    下面我們來看 Redis 作者 Antirez 是如何反駁的。

    Redis 作者 Antirez 的反駁

    在 Redis 作者的文章中,重點有 3 個:

    1) 解釋時鐘問題

    首先,Redis 作者一眼就看穿了對方提出的最為核心的問題:時鐘問題

    Redis 作者表示,Redlock 并不需要完全一致的時鐘,只需要大體一致就可以了,允許有「誤差」。

    例如要計時 5s,但實際可能記了 4.5s,之后又記了 5.5s,有一定誤差,但只要不超過「誤差范圍」鎖失效時間即可,這種對于時鐘的精度要求并不是很高,而且這也符合現實環境。

    對于對方提到的「時鐘修改」問題,Redis 作者反駁到:

  • 手動修改時鐘:不要這么做就好了,否則你直接修改 Raft 日志,那 Raft 也會無法工作...

  • 時鐘跳躍:通過「恰當的運維」,保證機器時鐘不會大幅度跳躍(每次通過微小的調整來完成),實際上這是可以做到的

  • 為什么 Redis 作者優先解釋時鐘問題?因為在后面的反駁過程中,需要依賴這個基礎做進一步解釋。

    2) 解釋網絡延遲、GC 問題

    之后,Redis 作者對于對方提出的,網絡延遲、進程 GC 可能導致 Redlock 失效的問題,也做了反駁:

    我們重新回顧一下,Martin 提出的問題假設:

  • 客戶端 1 請求鎖定節點 A、B、C、D、E

  • 客戶端 1 的拿到鎖后,進入 GC

  • 所有 Redis 節點上的鎖都過期了

  • 客戶端 2 獲取節點 A、B、C、D、E 上的鎖

  • 客戶端 1 GC 結束,認為成功獲取鎖

  • 客戶端 2 也認為獲取到鎖,發生「沖突」

  • Redis 作者反駁到,這個假設其實是有問題的,Redlock 是可以保證鎖安全的。

    這是怎么回事呢?

    還記得前面介紹 Redlock 流程的那 5 步嗎?這里我再拿過來讓你復習一下。

  • 客戶端先獲取「當前時間戳T1」

  • 客戶端依次向這 5 個 Redis 實例發起加鎖請求(用前面講到的 SET 命令),且每個請求會設置超時時間(毫秒級,要遠小于鎖的有效時間),如果某一個實例加鎖失敗(包括網絡超時、鎖被其它人持有等各種異常情況),就立即向下一個 Redis 實例申請加鎖

  • 如果客戶端從 3 個(大多數)以上 Redis 實例加鎖成功,則再次獲取「當前時間戳T2」,如果 T2 - T1 < 鎖的過期時間,此時,認為客戶端加鎖成功,否則認為加鎖失敗

  • 加鎖成功,去操作共享資源(例如修改 MySQL 某一行,或發起一個 API 請求)

  • 加鎖失敗,向「全部節點」發起釋放鎖請求(前面講到的 Lua 腳本釋放鎖)

  • 注意,重點是 1-3,在步驟 3,加鎖成功后為什么要重新獲取「當前時間戳T2」?還用 T2 - T1 的時間,與鎖的過期時間做比較?

    Redis 作者強調:如果在 1-3 發生了網絡延遲、進程 GC 等耗時長的異常情況,那在第 3 步 T2 - T1,是可以檢測出來的,如果超出了鎖設置的過期時間,那這時就認為加鎖會失敗,之后釋放所有節點的鎖就好了!

    Redis 作者繼續論述,如果對方認為,發生網絡延遲、進程 GC 是在步驟 3 之后,也就是客戶端確認拿到了鎖,去操作共享資源的途中發生了問題,導致鎖失效,那這不止是 Redlock 的問題,任何其它鎖服務例如 Zookeeper,都有類似的問題,這不在討論范疇內。

    這里我舉個例子解釋一下這個問題:

  • 客戶端通過 Redlock 成功獲取到鎖(通過了大多數節點加鎖成功、加鎖耗時檢查邏輯)

  • 客戶端開始操作共享資源,此時發生網絡延遲、進程 GC 等耗時很長的情況

  • 此時,鎖過期自動釋放

  • 客戶端開始操作 MySQL(此時的鎖可能會被別人拿到,鎖失效)

  • Redis 作者這里的結論就是:

    • 客戶端在拿到鎖之前,無論經歷什么耗時長問題,Redlock 都能夠在第 3 步檢測出來

    • 客戶端在拿到鎖之后,發生 NPC,那 Redlock、Zookeeper 都無能為力

    所以,Redis 作者認為 Redlock 在保證時鐘正確的基礎上,是可以保證正確性的。

    3) 質疑 fencing token 機制

    Redis 作者對于對方提出的 fecing token 機制,也提出了質疑,主要分為 2 個問題,這里最不宜理解,請跟緊我的思路。

    第一,這個方案必須要求要操作的「共享資源服務器」有拒絕「舊 token」的能力。

    例如,要操作 MySQL,從鎖服務拿到一個遞增數字的 token,然后客戶端要帶著這個 token 去改 MySQL 的某一行,這就需要利用 MySQL 的「事物隔離性」來做。

    //?兩個客戶端必須利用事物和隔離性達到目的 //?注意?token?的判斷條件 UPDATE?table?T?SET?val?=?$new_val?WHERE?id?=?$id?AND?current_token?<?$token

    但如果操作的不是 MySQL 呢?例如向磁盤上寫一個文件,或發起一個 HTTP 請求,那這個方案就無能為力了,這對要操作的資源服務器,提出了更高的要求。

    也就是說,大部分要操作的資源服務器,都是沒有這種互斥能力的。

    再者,既然資源服務器都有了「互斥」能力,那還要分布式鎖干什么?

    所以,Redis 作者認為這個方案是站不住腳的。

    第二,退一步講,即使 Redlock 沒有提供 fecing token 的能力,但 Redlock 已經提供了隨機值(就是前面講的 UUID),利用這個隨機值,也可以達到與 fecing token 同樣的效果。

    如何做呢?

    Redis 作者只是提到了可以完成 fecing token 類似的功能,但卻沒有展開相關細節,根據我查閱的資料,大概流程應該如下,如有錯誤,歡迎交流~

  • 客戶端使用 Redlock 拿到鎖

  • 客戶端在操作共享資源之前,先把這個鎖的 VALUE,在要操作的共享資源上做標記

  • 客戶端處理業務邏輯,最后,在修改共享資源時,判斷這個標記是否與之前一樣,一樣才修改(類似 CAS 的思路)

  • 還是以 MySQL 為例,舉個例子就是這樣的:

  • 客戶端使用 Redlock 拿到鎖

  • 客戶端要修改 MySQL 表中的某一行數據之前,先把鎖的 VALUE 更新到這一行的某個字段中(這里假設為 current_token 字段)

  • 客戶端處理業務邏輯

  • 客戶端修改 MySQL 的這一行數據,把 VALUE 當做 WHERE 條件,再修改

  • UPDATE?table?T?SET?val?=?$new_val?WHERE?id?=?$id?AND?current_token?=?$redlock_value

    可見,這種方案依賴 MySQL 的事物機制,也達到對方提到的 fecing token 一樣的效果。

    但這里還有個小問題,是網友參與問題討論時提出的:兩個客戶端通過這種方案,先「標記」再「檢查+修改」共享資源,那這兩個客戶端的操作順序無法保證啊?

    而用 Martin 提到的 fecing token,因為這個 token 是單調遞增的數字,資源服務器可以拒絕小的 token 請求,保證了操作的「順序性」!

    Redis 作者對這問題做了不同的解釋,我覺得很有道理,他解釋道:分布式鎖的本質,是為了「互斥」,只要能保證兩個客戶端在并發時,一個成功,一個失敗就好了,不需要關心「順序性」。

    前面 Martin 的質疑中,一直很關心這個順序性問題,但 Redis 的作者的看法卻不同。

    綜上,Redis 作者的結論:

    1、作者同意對方關于「時鐘跳躍」對 Redlock 的影響,但認為時鐘跳躍是可以避免的,取決于基礎設施和運維。

    2、Redlock 在設計時,充分考慮了 NPC 問題,在 Redlock 步驟 3 之前出現 NPC,可以保證鎖的正確性,但在步驟 3 之后發生 NPC,不止是 Redlock 有問題,其它分布式鎖服務同樣也有問題,所以不在討論范疇內。

    是不是覺得很有意思?

    在分布式系統中,一個小小的鎖,居然可能會遇到這么多問題場景,影響它的安全性!

    不知道你看完雙方的觀點,更贊同哪一方的說法呢?

    別急,后面我還會綜合以上論點,談談自己的理解。

    好,講完了雙方對于 Redis 分布鎖的爭論,你可能也注意到了,Martin 在他的文章中,推薦使用 Zookeeper 實現分布式鎖,認為它更安全,確實如此嗎?

    基于 Zookeeper 的鎖安全嗎?

    如果你有了解過 Zookeeper,基于它實現的分布式鎖是這樣的:

  • 客戶端 1 和 2 都嘗試創建「臨時節點」,例如 /lock

  • 假設客戶端 1 先到達,則加鎖成功,客戶端 2 加鎖失敗

  • 客戶端 1 操作共享資源

  • 客戶端 1 刪除 /lock 節點,釋放鎖

  • 你應該也看到了,Zookeeper 不像 Redis 那樣,需要考慮鎖的過期時間問題,它是采用了「臨時節點」,保證客戶端 1 拿到鎖后,只要連接不斷,就可以一直持有鎖。

    而且,如果客戶端 1 異常崩潰了,那么這個臨時節點會自動刪除,保證了鎖一定會被釋放。

    不錯,沒有鎖過期的煩惱,還能在異常時自動釋放鎖,是不是覺得很完美?

    其實不然。

    思考一下,客戶端 1 創建臨時節點后,Zookeeper 是如何保證讓這個客戶端一直持有鎖呢?

    原因就在于,客戶端 1 此時會與 Zookeeper 服務器維護一個 Session,這個 Session 會依賴客戶端「定時心跳」來維持連接。

    如果 Zookeeper 長時間收不到客戶端的心跳,就認為這個 Session 過期了,也會把這個臨時節點刪除。

    同樣地,基于此問題,我們也討論一下 GC 問題對 Zookeeper 的鎖有何影響:

  • 客戶端 1 創建臨時節點 /lock 成功,拿到了鎖

  • 客戶端 1 發生長時間 GC

  • 客戶端 1 無法給 Zookeeper 發送心跳,Zookeeper 把臨時節點「刪除」

  • 客戶端 2 創建臨時節點 /lock 成功,拿到了鎖

  • 客戶端 1 GC 結束,它仍然認為自己持有鎖(沖突)

  • 可見,即使是使用 Zookeeper,也無法保證進程 GC、網絡延遲異常場景下的安全性。

    這就是前面 Redis 作者在反駁的文章中提到的:如果客戶端已經拿到了鎖,但客戶端與鎖服務器發生「失聯」(例如 GC),那不止 Redlock 有問題,其它鎖服務都有類似的問題,Zookeeper 也是一樣!

    所以,這里我們就能得出結論了:一個分布式鎖,在極端情況下,不一定是安全的。

    如果你的業務數據非常敏感,在使用分布式鎖時,一定要注意這個問題,不能假設分布式鎖 100% 安全。

    好,現在我們來總結一下 Zookeeper 在使用分布式鎖時優劣:

    Zookeeper 的優點:

  • 不需要考慮鎖的過期時間

  • watch 機制,加鎖失敗,可以 watch 等待鎖釋放,實現樂觀鎖

  • 但它的劣勢是:

  • 性能不如 Redis

  • 部署和運維成本高

  • 客戶端與 Zookeeper 的長時間失聯,鎖被釋放問題

  • 我對分布式鎖的理解

    好了,前面詳細介紹了基于 Redis 的 Redlock 和 Zookeeper 實現的分布鎖,在各種異常情況下的安全性問題,下面我想和你聊一聊我的看法,僅供參考,不喜勿噴。

    1) 到底要不要用 Redlock?

    前面也分析了,Redlock 只有建立在「時鐘正確」的前提下,才能正常工作,如果你可以保證這個前提,那么可以拿來使用。

    但保證時鐘正確,我認為并不是你想的那么簡單就能做到的。

    第一,從硬件角度來說,時鐘發生偏移是時有發生,無法避免。

    例如,CPU 溫度、機器負載、芯片材料都是有可能導致時鐘發生偏移的。

    第二,從我的工作經歷來說,曾經就遇到過時鐘錯誤、運維暴力修改時鐘的情況發生,進而影響了系統的正確性,所以,人為錯誤也是很難完全避免的。

    所以,我對 Redlock 的個人看法是,盡量不用它,而且它的性能不如單機版 Redis,部署成本也高,我還是會優先考慮使用主從+ 哨兵的模式 實現分布式鎖。

    那正確性如何保證呢?第二點給你答案。

    2) 如何正確使用分布式鎖?

    在分析 Martin 觀點時,它提到了 fecing token 的方案,給我了很大的啟發,雖然這種方案有很大的局限性,但對于保證「正確性」的場景,是一個非常好的思路。

    所以,我們可以把這兩者結合起來用:

    1、使用分布式鎖,在上層完成「互斥」目的,雖然極端情況下鎖會失效,但它可以最大程度把并發請求阻擋在最上層,減輕操作資源層的壓力。

    2、但對于要求數據絕對正確的業務,在資源層一定要做好「兜底」,設計思路可以借鑒 fecing token 的方案來做。

    兩種思路結合,我認為對于大多數業務場景,已經可以滿足要求了。

    總結

    好了,總結一下。

    這篇文章,我們主要探討了基于 Redis 實現的分布式鎖,究竟是否安全這個問題。

    從最簡單分布式鎖的實現,到處理各種異常場景,再到引出 Redlock,以及兩個分布式專家的辯論,得出了 Redlock 的適用場景。

    最后,我們還對比了 Zookeeper 在做分布式鎖時,可能會遇到的問題,以及與 Redis 的差異。

    這里我把這些內容總結成了思維導圖,方便你理解。

    后記

    這篇文章的信息量其實是非常大的,應該把分布鎖的問題,徹底講清楚了。

    如果你沒有理解,建議你多讀幾遍,并在腦海中構建各種假定的場景,反復思辨。

    在寫這篇文章時,我又重新研讀了兩位大神關于 Redlock 爭辯的這兩篇文章,可謂是是收獲滿滿,在這里也分享一些心得給你。

    1、在分布式系統環境下,看似完美的設計方案,可能并不是那么「嚴絲合縫」,如果稍加推敲,就會發現各種問題。所以,在思考分布式系統問題時,一定要謹慎再謹慎

    2、從 Redlock 的爭辯中,我們不要過多關注對錯,而是要多學習大神的思考方式,以及對一個問題嚴格審查的嚴謹精神。

    最后,用 Martin 在對于 Redlock 爭論過后,寫下的感悟來結尾:

    前人已經為我們創造出了許多偉大的成果:站在巨人的肩膀上,我們可以才得以構建更好的軟件。無論如何,通過爭論和檢查它們是否經得起別人的詳細審查,這是學習過程的一部分。但目標應該是獲取知識,而不是為了說服別人,讓別人相信你是對的。有時候,那只是意味著停下來,好好地想一想。

    共勉。


    我是 Kaito,是一個對于技術有思考的資深后端程序員,在我的文章中,我不僅會告訴你一個技術點是什么,還會告訴你為什么這么做?我還會嘗試把這些思考過程,提煉成通用的方法論,讓你可以應用在其它領域中,做到舉一反三。

    往期推薦

    對象存儲,為什么那么火?

    高性能開發,別點,發際線要緊!

    什么是自動駕駛?

    被 AI?算法“監控”的打工人

    點分享

    點收藏

    點點贊

    點在看

    總結

    以上是生活随笔為你收集整理的深度剖析:Redis 分布式锁到底安全吗?看完这篇文章彻底懂了!的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    福利视频一区二区 | 久久香蕉电影网 | 丁香综合五月 | 人人爽人人干 | 9在线观看免费高清完整版 玖玖爱免费视频 | 国产原创在线 | 国产精品毛片一区二区在线 | 欧美怡红院视频 | 国产在线观看国语版免费 | 久操视频在线观看 | 成年人黄色免费网站 | 色天天综合久久久久综合片 | 中文一二区 | 成人免费视频网址 | 激情视频一区二区三区 | 青青草国产成人99久久 | 91精品国产91久久久久久三级 | 麻豆视频国产精品 | 高清国产午夜精品久久久久久 | 国产糖心vlog在线观看 | 在线观看91 | 国产精品毛片久久久 | 特级西西人体444是什么意思 | 精品国产亚洲在线 | av一区在线| 最新av在线网站 | 国产成人精品一区二区三区在线 | 久久久999 | 日韩高清av | 日韩av不卡在线观看 | 国产 在线 日韩 | 婷婷精品| 欧美看片 | 中文字幕二区在线观看 | 亚洲成人网av | 超碰在线97国产 | 激情小说久久 | 97色在线观看 | 探花视频免费观看 | 黄色视屏免费在线观看 | 在线免费观看国产黄色 | 黄色a在线| 久久午夜羞羞影院 | 久草在线手机视频 | 黄色a在线观看 | 9999精品免费视频 | 天天色天天操天天爽 | 高清不卡免费视频 | 手机av观看 | 国产精品va在线 | 女人18精品一区二区三区 | 久久视频免费在线观看 | 黄色av观看| 中文字幕成人一区 | 97超在线视频 | 色综合久久五月 | 在线观看爱爱视频 | 久久激情小说 | 手机色站| 日本中文字幕在线看 | 久久视频精品在线 | 天天操天天操天天操天天操天天操 | 中文视频在线 | 最近中文国产在线视频 | 美女福利视频网 | 国产精品久久久久久久久久久久冷 | 欧美精品九九99久久 | 中文字幕av专区 | 国产一级二级在线观看 | 国产成人精品一区在线 | 在线电影 一区 | 久草在线视频中文 | 久久综合狠狠综合久久狠狠色综合 | 一区二区三区韩国免费中文网站 | 插久久| 999国内精品永久免费视频 | 亚洲无在线| 国产精品久久久久久久久久99 | 国产日韩精品一区二区三区 | 国产精品久久一区二区无卡 | 九九天堂| 四虎影视成人永久免费观看亚洲欧美 | 69久久久| 日韩成人精品一区二区 | 国产精品不卡在线播放 | 超碰午夜| 国产亚洲精品久久久久久电影 | 中文字幕 第二区 | 欧美日韩精品二区第二页 | 免费精品 | 日本aa在线 | 日韩欧美一区二区三区视频 | av片中文字幕 | 国产午夜精品免费一区二区三区视频 | 日日操日日插 | 国产日韩欧美中文 | 麻豆视频在线观看 | 九九视频一区 | 91精品国产欧美一区二区 | 高清美女视频 | 亚洲精品在线二区 | 亚洲第一区在线观看 | 五月天丁香亚洲 | 日韩久久久久久久久久久久 | 国产在线色站 | 欧美亚洲精品一区 | 99久久综合狠狠综合久久 | 欧美精品第一 | 亚洲视频在线免费看 | 天天干夜夜夜操天 | 精品视频在线免费 | 在线播放 日韩专区 | 欧美日韩免费在线观看视频 | 日韩专区av| 九九免费精品视频在线观看 | 亚洲精品中文在线资源 | 九九热视频在线 | 亚洲免费成人 | 国产在线精品观看 | 日韩免费在线观看视频 | 国产黄色片一级 | 久久精品福利 | 亚洲精品在线播放视频 | 毛片网站免费 | 亚洲天堂激情 | 99亚洲国产 | 中文字幕在线视频国产 | 国产精品免费久久久久久久久久中文 | 国产精品久久久久一区二区国产 | 正在播放国产一区 | 在线免费国产视频 | 一区二区三区播放 | 久久中文字幕在线视频 | 中文在线a天堂 | 99精品在线看 | 91精品小视频 | 91精品婷婷国产综合久久蝌蚪 | 国精产品永久999 | 99久久精品久久久久久清纯 | 最近久乱中文字幕 | 国产精品久久电影观看 | 国产一区在线视频播放 | 国产精品理论视频 | 456成人精品影院 | 97成人精品区在线播放 | 狠狠操夜夜操 | 激情综合久久 | 久久艹艹| 免费网址你懂的 | 97国产在线观看 | 有码中文字幕 | 国产97在线观看 | 亚洲精品在线国产 | 欧美日韩国产亚洲乱码字幕 | 美女视频黄是免费的 | 国产成人精品一区二区三区 | 久久午夜精品 | 久久爱992xxoo | 在线视频 影院 | 成人影片在线播放 | 2023天天干| 91成人天堂久久成人 | 欧美日韩国产一二 | 国产精品视频永久免费播放 | 久久96| 91麻豆精品国产91 | 久久激情久久 | 国产资源网 | 色资源在线观看 | 国产精品麻豆91 | 午夜久久久久久久久久影院 | 在线国产一区二区三区 | 国产成人亚洲在线电影 | 国产亚洲婷婷免费 | 国产精品欧美久久久久无广告 | 久草在线手机视频 | 午夜美女视频 | 国产91成人在在线播放 | 日韩精品在线看 | 亚洲精品欧美专区 | 热久久免费国产视频 | 免费视频黄色 | 久草在线免费资源 | 99人久久精品视频最新地址 | 日韩欧美视频在线播放 | 精品在线小视频 | 一区二区三区影院 | 亚洲精品中文字幕视频 | 国产精品久久久久久久免费 | 日本中文字幕网站 | 免费看污污视频的网站 | 亚洲日本韩国一区二区 | 亚洲精品高清一区二区三区四区 | 91精品少妇偷拍99 | 国产小视频在线免费观看视频 | 香蕉视频在线网站 | 亚洲黄在线观看 | 成人中文字幕在线 | 久久美女高清视频 | av黄色影院 | 日韩成人xxxx | 国产精品久久久久久久7电影 | 在线观看 国产 | 99久久精品久久亚洲精品 | 日韩久久精品一区二区三区下载 | 亚洲精品99久久久久久 | 久久久香蕉视频 | 亚洲高清精品在线 | 久久成视频| 精品国产一区二区三区男人吃奶 | 色婷婷视频在线 | 久久免费毛片视频 | 狠狠操精品 | 国产日韩精品一区二区三区 | 成全在线视频免费观看 | 天堂va在线观看 | 福利视频一二区 | 91成人在线观看高潮 | 国产精品久久久久久久久久直播 | 久久久久久久综合色一本 | 国产福利一区在线观看 | 久久精品免费观看 | 久草手机视频 | 国产第一页在线观看 | 在线观看黄网站 | 日一日干一干 | 在线视频手机国产 | 91麻豆精品国产91久久久无限制版 | 九九免费精品视频在线观看 | 国产九九九精品视频 | 国产视频91在线 | 精品国产自在精品国产精野外直播 | 天天操综合| 成人97人人超碰人人99 | 欧美a级免费视频 | 亚洲国产精品一区二区久久hs | 五月激情久久 | 日韩免费在线观看 | 激情欧美一区二区三区 | 日韩视频免费观看高清 | 在线观看一级视频 | 亚洲一区二区精品3399 | 午夜精品视频一区 | 欧美久久久久久久久久 | 天天射一射 | 91一区二区三区久久久久国产乱 | 一区二区三区高清在线 | 91成人天堂久久成人 | 日韩精品欧美视频 | www色com | 可以免费看av | 久草a视频| 国产精品国产三级国产aⅴ入口 | 狠狠色狠狠综合久久 | 大荫蒂欧美视频另类xxxx | 午夜精品一区二区三区在线视频 | 福利片视频区 | 麻豆精品视频 | 日韩激情视频在线 | 久久99精品久久久久久秒播蜜臀 | 国产伦精品一区二区三区四区视频 | 成人小电影在线看 | 久久九九久久 | 蜜臀av麻豆 | 中文字幕在 | 久久r精品 | 国产精品 中文在线 | www免费视频com━ | 天天操天天操天天操天天操 | 欧美日韩免费观看一区=区三区 | 黄色av一级片 | 国产精品视频永久免费播放 | 黄色毛片大全 | 91av视频播放 | 国产日韩精品一区二区三区在线 | 日韩在线视频网址 | 亚洲第一中文字幕 | 成人av高清在线 | 97涩涩视频 | 麻豆久久久久 | 欧美尹人| 国产精品aⅴ| 91热| 99久久精品无免国产免费 | 日韩视频一区二区三区 | 综合亚洲视频 | a国产精品 | 九九热在线观看 | 国产在线最新 | 在线免费观看国产视频 | 一二三四精品 | 久久黄色影视 | 中文日韩在线视频 | 永久精品视频 | 不卡电影一区二区三区 | 成人精品福利 | 久久久久久毛片精品免费不卡 | 国产黄色一级片在线 | 久久国产亚洲精品 | 国产成人精品三级 | 在线精品视频免费播放 | 国产成人av电影在线观看 | 丰满少妇麻豆av | 国产婷婷久久 | 国产精品不卡在线播放 | 国产尤物一区二区三区 | www成人精品 | 久久色网站 | japanesexxxhd奶水| 国产手机在线视频 | 成人久久视频 | 在线看成人 | 99精彩视频在线观看免费 | 五月天网页| 成人羞羞视频在线观看免费 | 丁香婷婷色月天 | 久久精品激情 | 国产亚洲精品xxoo | 日韩激情视频在线观看 | 国产精品一区二区中文字幕 | 免费观看视频的网站 | 天天操夜夜叫 | 精品视频免费 | 国产成人一区二区三区影院在线 | 天天曰视频 | 在线国产视频 | 成人播放器 | 久久精品导航 | 精品国产乱码一区二区三区在线 | 国产精品永久免费 | 欧美日本在线观看视频 | 天天摸天天操天天爽 | 国产一级电影免费观看 | 婷婷丁香在线视频 | 最新国产精品亚洲 | 精品一二三四视频 | 久久久精品日本 | 91热这里只有精品 | 懂色av懂色av粉嫩av分享吧 | 黄色片免费在线 | 成人黄色小视频 | 天天射天天射 | 首页国产精品 | 久久爱992xxoo | 一区二区三区在线播放 | 丝袜美腿一区 | 欧洲一区精品 | 国产一在线精品一区在线观看 | 国产91亚洲精品 | 免费99| 国产精品成人av在线 | 日韩在线无 | 欧美精品九九 | 成人免费看片网址 | 日韩天堂在线观看 | 一区二区三区在线观看免费视频 | 91九色自拍 | 欧美另类亚洲 | 国产精品入口a级 | 亚洲一区久久久 | 久久这里只有精品视频99 | 人人爽人人爽人人爽学生一级 | 色婷婷啪啪免费在线电影观看 | 黄免费网站 | 欧美一区成人 | 国产免费久久精品 | 在线视频观看国产 | 激情视频在线高清看 | 亚洲激情校园春色 | 日韩视频中文 | 中文字幕在线观看2018 | 久久人人爽人人爽人人片 | 成人午夜剧场在线观看 | 亚洲精品五月 | 麻豆视频网址 | 久久久受www免费人成 | 国产在线成人 | 在线观看aa | 99tvdz@gmail.com| 在线观看 国产 | 91免费观看视频在线 | 亚洲高清在线视频 | 一级黄色在线视频 | 亚洲一片黄 | 十八岁以下禁止观看的1000个网站 | 亚洲精品2区 | 麻豆久久一区二区 | 天天操天天干天天爽 | 激情网在线视频 | 久久国产精品久久久 | 韩国精品在线 | 亚洲视屏 | 久久精品久久久久 | 亚洲更新最快 | 久久久久亚洲精品成人网小说 | 国产亚洲欧美日韩高清 | 日韩电影在线视频 | 亚洲开心激情 | 久久精品免费观看 | 青青河边草免费 | 青青河边草观看完整版高清 | 丁香六月天婷婷 | 天天操天天干天天 | 国产高清av免费在线观看 | 最新的av网站 | 久久久在线| 久久精品成人热国产成 | 毛片在线网 | 91在线porny国产在线看 | 色在线国产 | 国产一区视频免费在线观看 | 国产理论片在线观看 | 丁香av在线 | 亚洲乱码中文字幕综合 | 干干干操操操 | 波多野结衣综合网 | 精品国产免费人成在线观看 | 国产中的精品av小宝探花 | 日韩电影中文字幕 | 五月激情电影 | 欧美高清视频不卡网 | 日本成人中文字幕在线观看 | av在线成人 | 国产精品99久久99久久久二8 | 国产自偷自拍 | 欧美成人影音 | 国内一级片在线观看 | 日韩免费在线看 | 久久精品中文视频 | 成人资源在线播放 | 国产亚洲精品久久久久久无几年桃 | 在线观看中文字幕网站 | 国产高清在线免费视频 | 久久久亚洲国产精品麻豆综合天堂 | 在线观看亚洲专区 | 成人黄大片视频在线观看 | 久99久视频 | 国产精品一码二码三码在线 | 国产精品人成电影在线观看 | 久久人人爽人人片av | 亚洲国产精品久久久久婷婷884 | 丁香九月婷婷综合 | 国产精品一区二区在线播放 | 91九色蝌蚪视频网站 | 狠狠躁夜夜av | 在线视频你懂得 | 国产中文字幕视频 | 精品久久99 | 国产91精品看黄网站在线观看动漫 | 欧美性大战久久久久 | 国内精品久久久久影院日本资源 | 国产中文欧美日韩在线 | 欧美另类巨大 | 欧女人精69xxxxxx | 99国产精品免费网站 | av电影中文| 久久久精品国产免费观看同学 | 久久黄网站| 1024手机基地在线观看 | 国产精品白浆 | 久久成人视屏 | 香蕉网站在线观看 | 欧美黑吊大战白妞欧美 | 日韩免费大片 | 国产伦理一区二区三区 | 日韩精品一卡 | 色视频国产直接看 | 午夜婷婷综合 | 99热99热| 国产区精品区 | 久久激情视频网 | 国产日韩精品在线观看 | 69亚洲精品| 亚洲免费成人av电影 | 中文字幕av全部资源www中文字幕在线观看 | 男女靠逼app| 亚洲在线黄色 | 国产福利免费看 | 91爱爱电影 | 夜夜骑天天操 | 中文字幕一区二区三区在线观看 | 欧美性精品 | 久久久精品久久 | 在线精品视频在线观看高清 | 中文综合在线 | 久久天堂影院 | 性日韩欧美在线视频 | 中文国产在线观看 | 日韩av黄| 日韩电影一区二区在线观看 | 久久免费播放 | 中文字幕在线观看网址 | 天天天干夜夜夜操 | 91一区啪爱嗯打偷拍欧美 | 久久久久久久毛片 | 久久伊人爱| 制服丝袜亚洲 | 亚洲精品99久久久久中文字幕 | 免费十分钟 | 成人午夜免费福利 | 国产精品2018 | 99久久99 | 在线观看视频国产 | 国产精品资源在线观看 | 中文字幕91视频 | 97视频精品 | 免费午夜在线视频 | 久久麻豆视频 | 三级黄色在线 | 黄av免费 | 国产一级片直播 | 曰本三级在线 | 草久久久久久久 | 国产在线毛片 | 成人在线播放av | 成年人免费观看国产 | 日韩丝袜在线观看 | 探花视频免费观看 | 美女网站黄在线观看 | 亚洲人成免费 | 久久久久久免费视频 | 亚洲精品视频免费 | 国产五月 | 奇米网网址| 久久久www成人免费毛片 | 99精品久久久久 | 深爱激情五月婷婷 | 黄色www免费 | 国色天香永久免费 | 精品美女久久久久 | 国产精品久久久久久久久久白浆 | www.伊人网 | 91免费看黄色 | 久草视频资源 | 日韩欧美在线影院 | 日本在线成人 | 2020天天干夜夜爽 | 日韩久久久久 | 99精品免费久久久久久久久 | 久久成人国产精品入口 | 中文字幕 二区 | 国产原创av在线 | 最近中文字幕免费观看 | 国产精品一区二区精品视频免费看 | 久久精品www人人爽人人 | 亚洲成a人片在线观看中文 中文字幕在线视频第一页 狠狠色丁香婷婷综合 | 久久久久成人精品 | 久久精品99北条麻妃 | 狠狠躁夜夜躁人人爽视频 | 天天操欧美 | 在线视频 一区二区 | 91香蕉视频720p | 永久免费毛片在线观看 | 九月婷婷人人澡人人添人人爽 | 国产亚洲婷婷 | 免费亚洲电影 | 国产精品久久久久av | 欧美一区二区精美视频 | 视频成人免费 | 国产小视频网站 | 久久亚洲美女 | 免费观看全黄做爰大片国产 | 天天操天天干天天玩 | 在线欧美小视频 | 日本公妇在线观看 | 久久激情五月丁香伊人 | 亚洲综合在线五月天 | 欧美一性一交一乱 | 亚洲国产黄色 | 国产日本亚洲高清 | 日韩欧美精选 | 国产精品永久久久久久久久久 | 999久久精品 | 国产黄色美女 | 中文字幕国产一区二区 | 最近中文字幕 | 18国产精品白浆在线观看免费 | 亚洲精选在线 | 亚洲国产精品久久 | 色婷丁香 | 在线色吧 | 在线香蕉视频 | 三上悠亚在线免费 | 婷婷色中文| 国产色网站 | 色播五月激情五月 | 国产一级二级三级视频 | 日韩精品视频久久 | 欧美aaaxxxx做受视频 | 久久久999免费视频 日韩网站在线 | 天天色图| 日本精品中文字幕在线观看 | 久草视频网 | 人人要人人澡人人爽人人dvd | 精品视频一区在线 | 国产午夜精品久久久久久久久久 | 久久精品国产亚洲aⅴ | 欧美精品乱码久久久久久按摩 | 韩日av在线 | 一区二区三区手机在线观看 | 狠狠躁夜夜a产精品视频 | 日本在线h | 五月婷婷综合色拍 | 久久色视频 | 亚洲精品乱码久久久久 | 久久在线免费观看 | 久久久影院官网 | 久久视| 麻豆va一区二区三区久久浪 | 国产资源精品 | 欧美大片第1页 | 久久久污 | 丁香五月缴情综合网 | 国产日女人| 成人av一级片 | 免费在线观看成人av | 黄色小视频在线观看免费 | 黄色亚洲在线 | 免费av网址在线观看 | 久草a在线 | 51久久夜色精品国产麻豆 | 99精品国产高清在线观看 | 麻豆系列在线观看 | 麻豆91精品 | 在线观看日韩中文字幕 | 狠狠干婷婷 | 日韩电影一区二区在线 | 黄色片网站av | 久久久网站 | 精品麻豆入口免费 | 国产精品破处视频 | 日韩中文字幕在线不卡 | 欧美一区二区精品在线 | 黄色大片视频网站 | 精品国产亚洲日本 | 国产一区欧美二区 | 国产中文字幕视频在线观看 | 国产一区精品在线 | 8x成人免费视频 | 色婷婷视频在线观看 | 亚洲一区二区视频在线播放 | 免费能看的av | 久草视频网 | 精品在线观看一区二区三区 | 天天天天天操 | 久久精品视频播放 | 97人人澡人人爽人人模亚洲 | 91精品国产自产91精品 | 国产中文欧美日韩在线 | 日韩专区 在线 | 久久精品伊人 | www.伊人色.com| 亚洲精品在线观看免费 | 欧美成人一区二区 | 日韩 精品 一区 国产 麻豆 | 国产精品一区二区在线看 | 日韩欧美一区二区三区免费观看 | 成人动漫一区二区 | 中文字幕色综合网 | 久久综合九色综合97婷婷女人 | 日韩免费在线视频 | 国产99久久 | 国产网站在线免费观看 | 国产精品24小时在线观看 | 久久玖 | 欧美日韩国产一区二区在线观看 | 久久久午夜影院 | 天天色影院 | 国产理论免费 | 激情伊人五月天久久综合 | 国产成人免费精品 | 日b视频在线观看网址 | 国产网红在线观看 | 玖玖在线资源 | 国产高清在线看 | 欧美a影视 | 久久久久免费 | 久久久一本精品99久久精品 | 欧美久久久久久久 | 欧洲色综合 | 久久久久久久久久久久影院 | 免费h漫在线观看 | 激情综合色综合久久综合 | 亚洲精品日韩av | 日韩av网站在线播放 | 久久亚洲国产精品 | 欧美极度另类性三渗透 | 综合激情伊人 | 欧美日韩三区二区 | 在线电影 一区 | 成人在线免费av | 岛国av在线不卡 | 欧美日产一区 | 999视频在线播放 | 中文字幕 91 | 在线观看国产91 | 国产日产av | 中文字幕人成乱码在线观看 | 国产综合精品久久 | 国产精品久久久久久久久久了 | 精品在线小视频 | av福利网址导航大全 | 国产精品久久久久av福利动漫 | 在线中文字幕电影 | 成人av网页 | 超碰人人在线 | av免费在线观看1 | 国产96av | 一区在线电影 | 国产区精品区 | www.夜夜干.com | 国产一区二区在线免费视频 | 婷婷精品国产一区二区三区日韩 | 狠狠操狠狠干天天操 | 久久在线电影 | 欧美超碰在线 | 亚洲aⅴ乱码精品成人区 | 97超碰色 | 日韩一区二区三区免费视频 | 一区二区三区免费在线 | 国产真实精品久久二三区 | 人人爱人人添 | 免费观看www7722午夜电影 | 国产日本亚洲高清 | www在线观看国产 | 久久永久视频 | 国产黄色一级大片 | 日韩一二三在线 | 成人毛片一区 | av黄色亚洲| 久久五月天色综合 | 久久久久久久久久影视 | 国产激情免费 | 欧美一区二区三区四区夜夜大片 | 亚洲电影图片小说 | 久久久久久国产精品999 | 中文资源在线官网 | 国产精品专区在线 | 国产福利在线免费观看 | 在线看欧美 | 欧美精品在线观看一区 | 免费激情在线电影 | 亚洲午夜电影网 | 97色在线观看免费视频 | 午夜视频播放 | 色丁香色婷婷 | 亚洲动漫在线观看 | 国产精品黄网站在线观看 | 色多多污污在线观看 | 欧美精品免费视频 | 精品一区二区免费视频 | 国产精品大片在线观看 | 81国产精品久久久久久久久久 | 在线亚洲精品 | 久久久久久久久久久久99 | 精品久久久久国产免费第一页 | 成人久久| 中文字幕丝袜美腿 | 少妇bbw搡bbbb搡bbbb | 午夜av在线播放 | 亚洲国内精品 | 香蕉网在线 | 亚洲成人精品久久 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 久久国产精品99国产 | 国产精品一区二区免费在线观看 | 午夜精品一区二区三区可下载 | 免费三级大片 | 久久精品—区二区三区 | 人成在线免费视频 | 日韩69视频| 黄色一集片 | 久久久官网 | 成人免费看视频 | 精品成人在线 | 日日躁你夜夜躁你av蜜 | 五月天网站在线 | 国产在线观看xxx | 国产综合福利在线 | 日日夜夜天天久久 | 日韩久久一区 | 狠狠干 狠狠操 | 手机看片国产日韩 | 国产中文字幕三区 | 日韩视频免费观看高清 | 亚洲一二三久久 | 亚洲一区二区精品 | 日本动漫做毛片一区二区 | 精品在线观| 国产麻豆精品免费视频 | 免费日韩精品 | 91中文视频 | 99久久精品国产欧美主题曲 | 黄色小说免费在线观看 | 成人黄性视频 | 欧美韩国日本在线 | 日韩av一区在线观看 | 国产粉嫩在线观看 | 男女激情免费网站 | 视频在线观看入口黄最新永久免费国产 | 人人射人人插 | 亚洲黄色免费 | 免费在线国产 | 精品一区三区 | 狠狠色噜噜狠狠狠合久 | 欧美性色综合网 | 国产美女精品人人做人人爽 | 中文字幕av有码 | 成年人免费看av | 91av在线视频免费观看 | 久久91网 | 九九热免费视频在线观看 | 4p变态网欧美系列 | 亚洲综合爱 | 天天操天天干天天操天天干 | 国产在线观看高清视频 | 亚洲第一中文字幕 | 中文字幕第一页在线播放 | 国产永久免费高清在线观看视频 | 国产精品色视频 | 久久国产美女视频 | 国产粉嫩在线 | 就要干b| 在线国产精品视频 | 久草视频免费在线观看 | 91成人在线观看高潮 | 99c视频高清免费观看 | 人人插人人看 | 99精品系列 | 久久色中文字幕 | 国产精品久久二区 | www.色综合.com| 欧美aaa级片 | 欧美激情h| 91福利视频免费 | 午夜精品久久久久久99热明星 | 午夜精品久久久久久久久久久久 | 久久久免费毛片 | 免费在线黄网 | 91爱爱免费观看 | 最近2019好看的中文字幕免费 | 天天色天天操综合网 | 久久99精品久久只有精品 | 高清av免费一区中文字幕 | 欧美性性网 | 成人网在线免费视频 | 亚洲精品小区久久久久久 | av蜜桃在线 | 国产黄色观看 | 99视频国产精品 | www.69xx| 婷婷丁香自拍 | 狠狠操夜夜| 国内精品久久久久影院日本资源 | 狠狠狠狠狠狠狠狠干 | 免费看特级毛片 | 成人免费av电影 | 天天插天天操天天干 | 国产专区免费 | 天天插天天操天天干 | av电影av在线| 日韩成人免费观看 | 久久亚洲欧美 | 香蕉视频网址 | 2022中文字幕在线观看 | 亚洲作爱 | 久热色超碰 | 免费开视频 | 天天色婷婷 | 91成人在线网站 | 欧美日韩一区二区三区在线观看视频 | 亚洲国产一二三 | 国产日韩欧美视频 | 性色av免费看 | 久草在线中文视频 | 性色av免费在线观看 | 免费在线观看av网站 | 精品国产一区二区三区在线观看 | 麻豆视频免费入口 | 午夜国产在线观看 | 天天激情在线 | 中文字幕不卡在线88 | 91大神精品视频在线观看 | 欧美日韩亚洲精品在线 | 狠狠干美女 | 在线成人一区 | 中文字幕资源在线 | 天天爽天天摸 | 中文字幕在线观看视频一区二区三区 | 一级性av | 五月婷婷一级片 | 亚洲精品免费观看 | 日韩理论片中文字幕 | 精品国产一区二区三区噜噜噜 | 久久久久精 | 欧美成人va | 高清不卡免费视频 | 久久精品99久久 | 黄色成人在线网站 | 国产精品久久久久久久久久新婚 | 国产免费不卡av | 91在线观看视频网站 | 99热这里只有精品8 久久综合毛片 | www.av免费观看 | 最近免费在线观看 | 日韩午夜精品 | 日韩高清精品免费观看 | 国产在线精品区 | 九色激情网 | 在线观看成人福利 | 国产视频欧美视频 | 国产精品久久一区二区三区不卡 | 国产色婷婷精品综合在线手机播放 | 欧美99精品 | 日韩影片在线观看 | 国产一区免费 | 日韩视频在线不卡 | 成人a级黄色片 | 国产69精品久久久久99 | 在线观看视频黄 | 午夜免费视频网站 | 日韩精品网址 | 婷婷精品视频 | 人人干人人添 | 亚洲国产精品第一区二区 | 狠狠狠狠狠狠操 | 久久免费视频一区 | 制服丝袜亚洲 | 开心色激情网 | 国产精品激情在线观看 | 色婷婷免费视频 | 国产成人av电影在线 | 国产日韩欧美视频在线观看 | 97超碰伊人 | 国产精品毛片一区二区三区 | 亚洲欧美偷拍另类 | 深夜福利视频在线观看 | 在线观看岛国av | 黄色a三级| 欧美精品一区二区三区一线天视频 | 一级欧美一级日韩 | 久久最新网址 | 成人免费在线视频 | 在线观看免费一级片 | 97成人精品视频在线播放 | 国产精品久久久久久麻豆一区 | 91久久精品一区 | 一本一本久久a久久精品综合 | 久久久电影网站 | 亚洲人视频在线 | av动态图片| 97视频在线免费观看 | 日韩精品国产一区 | 久久激情五月婷婷 | 国产成人一区二区三区在线观看 | 欧美午夜久久久 | 精品国产精品国产偷麻豆 | 91麻豆精品国产91久久久使用方法 | 午夜国产在线观看 | 久久九九网站 | 国内精品久久久久久 | 亚洲最快最全在线视频 | 正在播放 久久 | 久久精品久久久久久久 | 亚洲蜜桃在线 | 99精品热视频只有精品10 | 日韩欧美xxxx | 天天摸夜夜操 | 人成在线免费视频 | 国产综合福利在线 | 麻豆果冻剧传媒在线播放 | 国产精品人成电影在线观看 | 韩国av一区二区三区在线观看 | 高清不卡一区二区在线 | 国产91精品一区二区绿帽 | 免费在线观看一级片 | 91xav| 欧美 国产 视频 | 激情五月***国产精品 | 国产成人黄色网址 | 亚洲综合五月天 | 中文字幕免| 国内精品久久久久久久久久清纯 | 91精品国 | 五月婷婷香蕉 | 国产精品嫩草影院9 | 国产超碰在线 | 亚洲精品午夜久久久久久久久久久 | 天堂网av在线 | 亚洲精品动漫久久久久 | 久久久久久久国产精品 | 五月婷婷色丁香 | 在线视频欧美精品 | 黄色av电影 | 久久色在线播放 | 偷拍精偷拍精品欧洲亚洲网站 | 色成人亚洲 | 黄色一级在线免费观看 |