getset原子性 redis_一文看透 Redis 分布式锁进化史(解读 + 缺陷分析)
- 各個(gè)版本的Redis分布式鎖
- V1.0
- V1.1 基于[GETSET]
- V2.0 基于[SETNX]
- V3.0
- V3.1
- 分布式Redis鎖:Redlock
- 總結(jié)
- 《Netty 實(shí)現(xiàn)原理與源碼解析 —— 精品合集》
- 《Spring 實(shí)現(xiàn)原理與源碼解析 —— 精品合集》
- 《MyBatis 實(shí)現(xiàn)原理與源碼解析 —— 精品合集》
- 《Spring MVC 實(shí)現(xiàn)原理與源碼解析 —— 精品合集》
- 《Spring Boot 實(shí)現(xiàn)原理與源碼解析 —— 精品合集》
- 《數(shù)據(jù)庫實(shí)體設(shè)計(jì)合集》
- 《Java 面試題 —— 精品合集》
- 《Java 學(xué)習(xí)指南 —— 精品合集》
近兩年來微服務(wù)變得越來越熱門,越來越多的應(yīng)用部署在分布式環(huán)境中,在分布式環(huán)境中,數(shù)據(jù)一致性是一直以來需要關(guān)注并且去解決的問題,分布式鎖也就成為了一種廣泛使用的技術(shù),常用的分布式實(shí)現(xiàn)方式為Redis,Zookeeper,其中基于Redis的分布式鎖的使用更加廣泛。
但是在工作和網(wǎng)絡(luò)上看到過各個(gè)版本的Redis分布式鎖實(shí)現(xiàn),每種實(shí)現(xiàn)都有一些不嚴(yán)謹(jǐn)?shù)牡胤?#xff0c;甚至有可能是錯(cuò)誤的實(shí)現(xiàn),包括在代碼中,如果不能正確的使用分布式鎖,可能造成嚴(yán)重的生產(chǎn)環(huán)境故障,本文主要對(duì)目前遇到的各種分布式鎖以及其缺陷做了一個(gè)整理,并對(duì)如何選擇合適的Redis分布式鎖給出建議。
各個(gè)版本的Redis分布式鎖
V1.0
tryLock(){ SETNX Key 1EXPIRE Key Seconds } release(){ DELETE Key }這個(gè)版本應(yīng)該是最簡(jiǎn)單的版本,也是出現(xiàn)頻率很高的一個(gè)版本,首先給鎖加一個(gè)過期時(shí)間操作是為了避免應(yīng)用在服務(wù)重啟或者異常導(dǎo)致鎖無法釋放后,不會(huì)出現(xiàn)鎖一直無法被釋放的情況。
這個(gè)方案的一個(gè)問題在于每次提交一個(gè)Redis請(qǐng)求,如果執(zhí)行完第一條命令后應(yīng)用異常或者重啟,鎖將無法過期,一種改善方案就是使用Lua腳本(包含SETNX和EXPIRE兩條命令),但是如果Redis僅執(zhí)行了一條命令后crash或者發(fā)生主從切換,依然會(huì)出現(xiàn)鎖沒有過期時(shí)間,最終導(dǎo)致無法釋放。
另外一個(gè)問題在于,很多同學(xué)在釋放分布式鎖的過程中,無論鎖是否獲取成功,都在finally中釋放鎖,這樣是一個(gè)鎖的錯(cuò)誤使用,這個(gè)問題將在后續(xù)的V3.0版本中解決。
針對(duì)鎖無法釋放問題的一個(gè)解決方案基于GETSET命令來實(shí)現(xiàn)
V1.1 基于GETSET
tryLock(){ NewExpireTime=CurrentTimestamp+ExpireSecondsif(SETNX Key NewExpireTime Seconds){oldExpireTime = GET(Key)if( oldExpireTime < CurrentTimestamp){NewExpireTime=CurrentTimestamp+ExpireSecondsCurrentExpireTime=GETSET(Key,NewExpireTime)if(CurrentExpireTime == oldExpireTime){return 1;}else{return 0;}}} } release(){ DELETE key}思路:
問題:
V2.0 基于SETNX
tryLock(){ SETNX Key 1 Seconds } release(){ DELETE Key }Redis 2.6.12版本后SETNX增加過期時(shí)間參數(shù),這樣就解決了兩條命令無法保證原子性的問題。但是設(shè)想下面一個(gè)場(chǎng)景:
大致的流程圖
存在問題:
V3.0
tryLock(){ SETNX Key UnixTimestamp Seconds } release(){ EVAL(//LuaScriptif redis.call("get",KEYS[1]) == ARGV[1] thenreturn redis.call("del",KEYS[1])elsereturn 0end) }這個(gè)方案通過指定Value為時(shí)間戳,并在釋放鎖的時(shí)候檢查鎖的Value是否為獲取鎖的Value,避免了V2.0版本中提到的C1釋放了C2持有的鎖的問題;另外在釋放鎖的時(shí)候因?yàn)樯婕暗蕉鄠€(gè)Redis操作,并且考慮到Check And Set 模型的并發(fā)問題,所以使用Lua腳本來避免并發(fā)問題。
存在問題:
如果在并發(fā)極高的場(chǎng)景下,比如搶紅包場(chǎng)景,可能存在UnixTimestamp重復(fù)問題,另外由于不能保證分布式環(huán)境下的物理時(shí)鐘一致性,也可能存在UnixTimestamp重復(fù)問題,只不過極少情況下會(huì)遇到。
V3.1
tryLock(){ SET Key UniqId Seconds } release(){ EVAL(//LuaScriptif redis.call("get",KEYS[1]) == ARGV[1] thenreturn redis.call("del",KEYS[1])elsereturn 0end) }Redis 2.6.12后SET同樣提供了一個(gè)NX參數(shù),等同于SETNX命令,官方文檔上提醒后面的版本有可能去掉SETNX, SETEX, PSETEX,并用SET命令代替,另外一個(gè)優(yōu)化是使用一個(gè)自增的唯一UniqId代替時(shí)間戳來規(guī)避V3.0提到的時(shí)鐘問題。
這個(gè)方案是目前最優(yōu)的分布式鎖方案,但是如果在Redis集群環(huán)境下依然存在問題:
由于Redis集群數(shù)據(jù)同步為異步,假設(shè)在Master節(jié)點(diǎn)獲取到鎖后未完成數(shù)據(jù)同步情況下Master節(jié)點(diǎn)crash,此時(shí)在新的Master節(jié)點(diǎn)依然可以獲取鎖,所以多個(gè)Client同時(shí)獲取到了鎖
分布式Redis鎖:Redlock
V3.1的版本僅在單實(shí)例的場(chǎng)景下是安全的,針對(duì)如何實(shí)現(xiàn)分布式Redis的鎖,國(guó)外的分布式專家有過激烈的討論, antirez提出了分布式鎖算法Redlock,在distlock話題下可以看到對(duì)Redlock的詳細(xì)說明,下面是Redlock算法的一個(gè)中文說明(引用)
假設(shè)有N個(gè)獨(dú)立的Redis節(jié)點(diǎn)
然而Martin Kleppmann針對(duì)這個(gè)算法提出了質(zhì)疑,提出應(yīng)該基于fencing token機(jī)制(每次對(duì)資源進(jìn)行操作都需要進(jìn)行token驗(yàn)證)
接著antirez又回復(fù)了Martin Kleppmann的質(zhì)疑,給出了過期機(jī)制的合理性,以及實(shí)際場(chǎng)景中如果出現(xiàn)停頓問題導(dǎo)致多個(gè)Client同時(shí)訪問資源的情況下如何處理。
針對(duì)Redlock的問題,基于Redis的分布式鎖到底安全嗎給出了詳細(xì)的中文說明,并對(duì)Redlock算法存在的問題提出了分析。
總結(jié)
不論是基于SETNX版本的Redis單實(shí)例分布式鎖,還是Redlock分布式鎖,都是為了保證下特性
死鎖:鎖最終應(yīng)該能夠被釋放,即使Client端crash或者出現(xiàn)網(wǎng)絡(luò)分區(qū)(通常基于超時(shí)機(jī)制)
容錯(cuò)性:只要超過半數(shù)Redis節(jié)點(diǎn)可用,鎖都能被正確獲取和釋放
所以在開發(fā)或者使用分布式鎖的過程中要保證安全性和活性,避免出現(xiàn)不可預(yù)測(cè)的結(jié)果。
另外每個(gè)版本的分布式鎖都存在一些問題,在鎖的使用上要針對(duì)鎖的實(shí)用場(chǎng)景選擇合適的鎖,通常情況下鎖的使用場(chǎng)景包括:
Efficiency(效率):只需要一個(gè)Client來完成操作,不需要重復(fù)執(zhí)行,這是一個(gè)對(duì)寬松的分布式鎖,只需要保證鎖的活性即可;
Correctness(正確性):多個(gè)Client保證嚴(yán)格的互斥性,不允許出現(xiàn)同時(shí)持有鎖或者對(duì)同時(shí)操作同一資源,這種場(chǎng)景下需要在鎖的選擇和使用上更加嚴(yán)格,同時(shí)在業(yè)務(wù)代碼上盡量做到冪等
在Redis分布式鎖的實(shí)現(xiàn)上還有很多問題等待解決,我們需要認(rèn)識(shí)到這些問題并清楚如何正確實(shí)現(xiàn)一個(gè)Redis 分布式鎖,然后在工作中合理的選擇和正確的使用分布式鎖。
來源:http://t.cn/Rmayeve
總結(jié)
以上是生活随笔為你收集整理的getset原子性 redis_一文看透 Redis 分布式锁进化史(解读 + 缺陷分析)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MYSQL中有时候不得不使用replac
- 下一篇: firewall mysql端口_Cen