推薦閱讀：

一只Tom貓：手撕分布式技術(shù)：限流、通訊、緩存，全部一鍋端走送給你！?zhuanlan.zhihu.com一只Tom貓：MySQL復(fù)習(xí)：20道常見(jiàn)面試題（含答案）+21條MySQL性能調(diào)優(yōu)經(jīng)驗(yàn)?zhuanlan.zhihu.com一只Tom貓：面試清單（Java崗）：Java+JVM+數(shù)據(jù)庫(kù)+算法+Spring+中間件+設(shè)計(jì)模式?zhuanlan.zhihu.com

高并發(fā)場(chǎng)景下緩存+數(shù)據(jù)庫(kù)雙寫(xiě)不一致問(wèn)題分析與解決方案設(shè)計(jì) Redis是企業(yè)級(jí)系統(tǒng)高并發(fā)、高可用架構(gòu)中非常重要的一個(gè)環(huán)節(jié)。Redis主要解決了關(guān)系型數(shù)據(jù)庫(kù)并發(fā)量低的問(wèn)題，有助于緩解關(guān)系型數(shù)據(jù)庫(kù)在高并發(fā)場(chǎng)景下的壓力，提高系統(tǒng)的吞吐量（具體Redis是如何提高系統(tǒng)的性能、吞吐量，后面會(huì)專(zhuān)門(mén)講）。

而我們?cè)赗edis的實(shí)際使用過(guò)程中，難免會(huì)遇到緩存與數(shù)據(jù)庫(kù)雙寫(xiě)時(shí)數(shù)據(jù)不一致的問(wèn)題，這也是我們必須要考慮的問(wèn)題。如果還有同學(xué)不了解這個(gè)問(wèn)題，可以搬小板凳來(lái)聽(tīng)聽(tīng)啦。

一、數(shù)據(jù)庫(kù)+緩存雙寫(xiě)不一致問(wèn)題引入

要講數(shù)據(jù)庫(kù)+緩存雙寫(xiě)不一致的問(wèn)題，就需要先講一下這個(gè)問(wèn)題是怎么發(fā)生的。我們選擇電商系統(tǒng)中要求數(shù)據(jù)實(shí)時(shí)性較高的庫(kù)存服務(wù)來(lái)舉例講講這個(gè)問(wèn)題。

庫(kù)存可能會(huì)修改，每次修改數(shù)據(jù)庫(kù)的同時(shí)也都要去更新這個(gè)緩存數(shù)據(jù);；每次庫(kù)存的數(shù)據(jù)，在緩存中一旦過(guò)期，或者是被清理掉了，前端對(duì)庫(kù)存數(shù)據(jù)的請(qǐng)求都會(huì)發(fā)送給庫(kù)存服務(wù)，去獲取相應(yīng)的數(shù)據(jù)。

庫(kù)存這一塊，寫(xiě)數(shù)據(jù)庫(kù)的時(shí)候，直接更新redis緩存嗎？實(shí)際上不是，因?yàn)闆](méi)有這么簡(jiǎn)單。這里，其實(shí)就涉及到了一個(gè)問(wèn)題，數(shù)據(jù)庫(kù)與緩存雙寫(xiě)，數(shù)據(jù)不一致的問(wèn)題。圍繞和結(jié)合實(shí)時(shí)性較高的庫(kù)存服務(wù)，把數(shù)據(jù)庫(kù)與緩存雙寫(xiě)不一致問(wèn)題以及其解決方案，給大家分享一下。

二、各種級(jí)別的不一致問(wèn)題及解決方案

1.最初級(jí)的緩存不一致問(wèn)題及解決方案

問(wèn)題

如果是先修改數(shù)據(jù)庫(kù)，再刪除緩存的方案，會(huì)有問(wèn)題，試想，如果刪除緩存失敗了，那么會(huì)導(dǎo)致數(shù)據(jù)庫(kù)中是新數(shù)據(jù)，緩存中是舊數(shù)據(jù)，出現(xiàn)數(shù)據(jù)不一致的情況。

解決思路

反過(guò)來(lái)，先刪除緩存，再修改數(shù)據(jù)庫(kù)。讀緩存讀不到，查數(shù)據(jù)庫(kù)更新緩存的時(shí)候就拿到了最新的庫(kù)存數(shù)據(jù)。如果刪除緩存成功了，而修改數(shù)據(jù)庫(kù)失敗了，那么數(shù)據(jù)庫(kù)中依舊是舊數(shù)據(jù)，緩存中是空的，那么數(shù)據(jù)不會(huì)不一致。因?yàn)樽x的時(shí)候緩存沒(méi)有，則讀數(shù)據(jù)庫(kù)中舊數(shù)據(jù)，然后更新到緩存中。

2.比較復(fù)雜的數(shù)據(jù)不一致問(wèn)題分析

當(dāng)庫(kù)存數(shù)據(jù)發(fā)生了變更，我們先刪除了緩存，然后要去修改數(shù)據(jù)庫(kù)。
設(shè)想一下，如果這個(gè)時(shí)候修改數(shù)據(jù)庫(kù)的操作還沒(méi)來(lái)及完成，突然一個(gè)請(qǐng)求過(guò)來(lái)，去讀緩存，發(fā)現(xiàn)緩存空了，去查詢(xún)數(shù)據(jù)庫(kù)，查到了修改前的舊數(shù)據(jù)，放到了緩存中。
數(shù)據(jù)變更的操作完成后數(shù)據(jù)庫(kù)的庫(kù)存被修改成了新值，但緩存中又變成了舊數(shù)據(jù)。那么這個(gè)時(shí)候是不是還會(huì)出現(xiàn)緩存和數(shù)據(jù)庫(kù)不一致的情況？

3.為何上億流量高并發(fā)時(shí)會(huì)出現(xiàn)該問(wèn)題？

上述問(wèn)題，只有在對(duì)一個(gè)數(shù)據(jù)在并發(fā)的進(jìn)行讀寫(xiě)的時(shí)候，才可能會(huì)出現(xiàn)。
其實(shí)如果并發(fā)量很低的話，特別是讀并發(fā)很低，每天訪問(wèn)量就1萬(wàn)次，那么很少的情況下，會(huì)出現(xiàn)剛才描述的那種不一致的場(chǎng)景。
但是問(wèn)題是，高并發(fā)了以后，問(wèn)題是很多的。如果每天的是上億的流量，每秒并發(fā)讀是幾萬(wàn)，每秒只要有數(shù)據(jù)更新的請(qǐng)求，就可能會(huì)出現(xiàn)上述的數(shù)據(jù)庫(kù)+緩存不一致的情況。
怎么解決？

4.更新與讀取操作進(jìn)行異步串行化

這里說(shuō)一種解決方案。

不就是還沒(méi)更新數(shù)據(jù)庫(kù)的就查數(shù)據(jù)庫(kù)讀到舊數(shù)據(jù)嗎？不就是因?yàn)樽x在更新前面了嗎？那我就讓你排隊(duì)執(zhí)行唄。

4.1 異步串行化

我在系統(tǒng)內(nèi)部維護(hù)n個(gè)內(nèi)存隊(duì)列，更新數(shù)據(jù)的時(shí)候，根據(jù)數(shù)據(jù)的唯一標(biāo)識(shí)，將該操作路由之后，發(fā)送到其中一個(gè)jvm內(nèi)部的內(nèi)存隊(duì)列中（對(duì)同一數(shù)據(jù)的請(qǐng)求發(fā)送到同一個(gè)隊(duì)列）。讀取數(shù)據(jù)的時(shí)候，如果發(fā)現(xiàn)數(shù)據(jù)不在緩存中，并且此時(shí)隊(duì)列里有更新庫(kù)存的操作，那么將重新讀取數(shù)據(jù)+更新緩存的操作，根據(jù)唯一標(biāo)識(shí)路由之后，也將發(fā)送到同一個(gè)jvm內(nèi)部的內(nèi)存隊(duì)列中。然后每個(gè)隊(duì)列對(duì)應(yīng)一個(gè)工作線程，每個(gè)工作線程串行地拿到對(duì)應(yīng)的操作，然后一條一條的執(zhí)行。
這樣的話，一個(gè)數(shù)據(jù)變更的操作，先執(zhí)行刪除緩存，然后再去更新數(shù)據(jù)庫(kù)，但是還沒(méi)完成更新的時(shí)候，如果此時(shí)一個(gè)讀請(qǐng)求過(guò)來(lái)，讀到了空的緩存，那么可以先將緩存更新的請(qǐng)求發(fā)送到隊(duì)列中，此時(shí)會(huì)在隊(duì)列中積壓，排在剛才更新庫(kù)的操作之后，然后同步等待緩存更新完成，再讀庫(kù)。

4.2 讀操作去重

多個(gè)讀庫(kù)更新緩存的請(qǐng)求串在同一個(gè)隊(duì)列中是沒(méi)意義的，因此可以做過(guò)濾，如果發(fā)現(xiàn)隊(duì)列中已經(jīng)有了該數(shù)據(jù)的更新緩存的請(qǐng)求了，那么就不用再放進(jìn)去了，直接等待前面的更新操作請(qǐng)求完成即可，待那個(gè)隊(duì)列對(duì)應(yīng)的工作線程完成了上一個(gè)操作（數(shù)據(jù)庫(kù)的修改）之后，才會(huì)去執(zhí)行下一個(gè)操作（讀庫(kù)更新緩存），此時(shí)會(huì)從數(shù)據(jù)庫(kù)中讀取最新的值，然后寫(xiě)入緩存中。
如果請(qǐng)求還在等待時(shí)間范圍內(nèi)，不斷輪詢(xún)發(fā)現(xiàn)可以取到值了，那么就直接返回； 如果請(qǐng)求等待的時(shí)間超過(guò)一定時(shí)長(zhǎng)，那么這一次直接從數(shù)據(jù)庫(kù)中讀取當(dāng)前的舊值。（返回舊值不是又導(dǎo)致緩存和數(shù)據(jù)庫(kù)不一致了么？那至少可以減少這個(gè)情況發(fā)生，因?yàn)榈却瑫r(shí)也不是每次都是，幾率很小吧。這里我想的是，如果超時(shí)了就直接讀舊值，這時(shí)候僅僅是讀庫(kù)后返回而不放緩存

5.高并發(fā)的場(chǎng)景下，該方案要注意的問(wèn)題

高并發(fā)的場(chǎng)景下，該解決方案其實(shí)還是有一些問(wèn)題需要特別注意的。

5.1 讀請(qǐng)求長(zhǎng)時(shí)阻塞

由于讀請(qǐng)求進(jìn)行了非常輕度的異步化，所以一定要注意讀超時(shí)的問(wèn)題，每個(gè)讀請(qǐng)求必須在超時(shí)時(shí)間范圍內(nèi)返回。

該解決方案，最大的風(fēng)險(xiǎn)點(diǎn)在于，數(shù)據(jù)更新很頻繁的情況下導(dǎo)致隊(duì)列中積壓了大量更新操作在里面，然后讀請(qǐng)求會(huì)發(fā)生大量的超時(shí)，最后導(dǎo)致大量的請(qǐng)求直接走數(shù)據(jù)庫(kù)取到了舊值。所以，務(wù)必通過(guò)一些模擬真實(shí)的測(cè)試，看看更新數(shù)據(jù)頻繁的場(chǎng)景下是怎樣的。
另外一點(diǎn)，因?yàn)橐粋€(gè)隊(duì)列中，可能會(huì)積壓針對(duì)多個(gè)數(shù)據(jù)項(xiàng)的更新操作，因此需要根據(jù)自己的業(yè)務(wù)情況進(jìn)行測(cè)試，確定一個(gè)實(shí)例中創(chuàng)建多少個(gè)內(nèi)存隊(duì)列，且可能需要部署多個(gè)服務(wù)，每個(gè)服務(wù)分?jǐn)傄恍?shù)據(jù)的更新操作。

如果一個(gè)內(nèi)存隊(duì)列里積壓100個(gè)商品的庫(kù)存修改操作，每個(gè)庫(kù)存修改操作要耗費(fèi)10ms去完成，那么最后一個(gè)商品的讀請(qǐng)求，可能等待10 * 100 = 1000ms = 1s后，才能得到數(shù)據(jù)。
這個(gè)時(shí)候就導(dǎo)致讀請(qǐng)求的長(zhǎng)時(shí)阻塞。

一定要做根據(jù)實(shí)際業(yè)務(wù)系統(tǒng)的運(yùn)行情況，去進(jìn)行一些壓力測(cè)試，和模擬線上環(huán)境，去看看最繁忙的時(shí)候，內(nèi)存隊(duì)列可能會(huì)擠壓多少更新操作，可能會(huì)導(dǎo)致最后一個(gè)更新操作對(duì)應(yīng)的讀請(qǐng)求，會(huì)hang多少時(shí)間。如果讀請(qǐng)求在200ms返回，而且你計(jì)算過(guò)后，哪怕是最繁忙的時(shí)候，積壓10個(gè)更新操作，最多等待200ms，那還可以的。
如果一個(gè)內(nèi)存隊(duì)列可能積壓的更新操作特別多，那么你就要加機(jī)器，讓每個(gè)機(jī)器上部署的服務(wù)實(shí)例處理更少的數(shù)據(jù)，那么每個(gè)內(nèi)存隊(duì)列中積壓的更新操作就會(huì)越少。

Tips:
其實(shí)根據(jù)之前的項(xiàng)目經(jīng)驗(yàn)，一般來(lái)說(shuō)數(shù)據(jù)的寫(xiě)頻率是很低的，因此實(shí)際上正常來(lái)說(shuō)，在隊(duì)列中積壓的更新操作應(yīng)該是很少的。
針對(duì)讀高并發(fā)，讀緩存架構(gòu)的項(xiàng)目，一般寫(xiě)請(qǐng)求相對(duì)讀來(lái)說(shuō)，是非常非常少的，每秒的QPS能到幾百就不錯(cuò)了。
假如一秒500的寫(xiě)操作，可以看成5份，每200ms就100個(gè)寫(xiě)操作。對(duì)于單機(jī)器，如果又20個(gè)內(nèi)存隊(duì)列，每個(gè)內(nèi)存隊(duì)列，可能就積壓5個(gè)寫(xiě)操作，每個(gè)寫(xiě)操作性能測(cè)試后，一般在20ms左右就完成。
那么針對(duì)每個(gè)內(nèi)存隊(duì)列中的數(shù)據(jù)的讀請(qǐng)求，也就最多hang一會(huì)兒，200ms以?xún)?nèi)肯定能返回了。
假如寫(xiě)QPS擴(kuò)大10倍，但是經(jīng)過(guò)剛才的測(cè)算，就知道，單機(jī)支撐寫(xiě)QPS幾百?zèng)]問(wèn)題，那么就擴(kuò)容機(jī)器，擴(kuò)容10倍的機(jī)器，10臺(tái)機(jī)器，每個(gè)機(jī)器20個(gè)隊(duì)列，200個(gè)隊(duì)列。
大部分的情況下，應(yīng)該是這樣的：大量的讀請(qǐng)求過(guò)來(lái)，都是直接走緩存取到數(shù)據(jù)的。少量情況下，可能遇到讀和數(shù)據(jù)更新沖突的情況。如上所述，那么此時(shí)更新操作如果先入隊(duì)列，之后可能會(huì)瞬間來(lái)了對(duì)這個(gè)數(shù)據(jù)大量的讀請(qǐng)求，但是因?yàn)樽隽巳ブ氐膬?yōu)化，所以也就一個(gè)更新緩存的操作跟在它后面。
等數(shù)據(jù)更新完了，讀請(qǐng)求觸發(fā)的緩存更新操作也完成，然后臨時(shí)等待的讀請(qǐng)求全部可以讀到緩存中的數(shù)據(jù)。

5.2 讀請(qǐng)求并發(fā)量過(guò)高

這里還必須做好壓力測(cè)試，確保恰巧碰上上述情況的時(shí)候，還有一個(gè)風(fēng)險(xiǎn)，就是突然間大量讀請(qǐng)求會(huì)在幾十毫秒的延時(shí)hang在服務(wù)上，看服務(wù)能不能抗的住，需要多少機(jī)器才能抗住最大的極限情況的峰值。
但是因?yàn)椴⒉皇撬械臄?shù)據(jù)都在同一時(shí)間更新，緩存也不會(huì)同一時(shí)間失效，所以每次可能也就是少數(shù)數(shù)據(jù)的緩存失效了，然后那些數(shù)據(jù)對(duì)應(yīng)的讀請(qǐng)求過(guò)來(lái)，并發(fā)量應(yīng)該也不會(huì)特別大

Tips:
如果按1:99的比例計(jì)算寫(xiě)和讀的請(qǐng)求，那么每秒5萬(wàn)的讀QPS，可能只有500次更新操作。
如果一秒有500的寫(xiě)QPS，那么要測(cè)算好，可能寫(xiě)操作影響的數(shù)據(jù)有500條，這500條數(shù)據(jù)在緩存中失效后，可能導(dǎo)致多少讀緩存的請(qǐng)求，發(fā)送讀請(qǐng)求到庫(kù)存服務(wù)來(lái)，要求更新緩存。
一般來(lái)說(shuō)，按1:2的話，每秒鐘有1000個(gè)讀請(qǐng)求去讀這500個(gè)正在更新庫(kù)的數(shù)據(jù)，就會(huì)有1000個(gè)請(qǐng)求hang在庫(kù)存服務(wù)上，如果規(guī)定每個(gè)請(qǐng)求200ms就返回，那么每個(gè)讀請(qǐng)求最多hang多少時(shí)間，這個(gè)一定要測(cè)算好。
在同一時(shí)間最多hang住的可能也就是單機(jī)200個(gè)讀請(qǐng)求，最壞的同時(shí)hang住，單機(jī)hang200個(gè)讀請(qǐng)求，還是ok的。
但是假如1:20，每秒更新500條數(shù)據(jù)，這500秒數(shù)據(jù)對(duì)應(yīng)的讀請(qǐng)求，會(huì)有20 * 500 = 1萬(wàn)，1萬(wàn)個(gè)讀請(qǐng)求全部hang在庫(kù)存服務(wù)上，就死定了。

5.3 多服務(wù)實(shí)例部署的請(qǐng)求路由

可能這個(gè)庫(kù)存服務(wù)部署了多個(gè)實(shí)例，那么必須保證說(shuō)，執(zhí)行數(shù)據(jù)更新操作，以及執(zhí)行緩存更新操作的請(qǐng)求，對(duì)于同一商品的讀寫(xiě)請(qǐng)求全部路由到同一臺(tái)機(jī)器上。可以自己去做服務(wù)間的按照某個(gè)請(qǐng)求的參數(shù)做hash路由，也可以通過(guò)nginx服務(wù)器hash路由的功能路由到相同的服務(wù)實(shí)例上。

5.4 熱點(diǎn)商品的路由問(wèn)題，導(dǎo)致請(qǐng)求的傾斜

萬(wàn)一某個(gè)商品的讀寫(xiě)請(qǐng)求特別高，全部打到相同的機(jī)器的相同的隊(duì)列里面去了，可能造成某臺(tái)機(jī)器的壓力過(guò)大。
但是因?yàn)橹挥性谏唐窋?shù)據(jù)更新的時(shí)候才會(huì)清空緩存，然后才會(huì)導(dǎo)致讀寫(xiě)并發(fā)，所以更新頻率不是太高的話，這個(gè)問(wèn)題的影響并不是特別大。
但是的確可能某些機(jī)器的負(fù)載會(huì)高一些。

三、總結(jié)

一般來(lái)說(shuō)，就是如果你的系統(tǒng)不是嚴(yán)格要求緩存+數(shù)據(jù)庫(kù)必須一致性的話，緩存可以稍微的跟數(shù)據(jù)庫(kù)偶爾有不一致的情況，那最好不要上述的串行化的這個(gè)方案，因?yàn)樽x請(qǐng)求和寫(xiě)請(qǐng)求串行化，串到一個(gè)內(nèi)存隊(duì)列里去，這樣是可以保證一定不會(huì)出現(xiàn)不一致的情況。但是，串行化之后，就會(huì)導(dǎo)致系統(tǒng)的吞吐量會(huì)大幅度的降低，你就需要用比正常情況下多幾倍的機(jī)器去支撐線上的一個(gè)請(qǐng)求。

另外，不是說(shuō)，講課的、寫(xiě)文章的就是超人，萬(wàn)能的。就跟寫(xiě)書(shū)一樣，很可能會(huì)寫(xiě)錯(cuò)，也可能有些方案里的一些地方，沒(méi)考慮到。或者有些方案只是適合某些場(chǎng)景，在某些場(chǎng)景下，可能需要你進(jìn)行方案的優(yōu)化和調(diào)整才能適用于你自己的項(xiàng)目。

如果大家覺(jué)得對(duì)這些方案有什么疑問(wèn)或者見(jiàn)解，都可以溝通交流。如果的確覺(jué)得是講解的不對(duì)，或者有些地方考慮不周，那么都是可以交流的，多多包涵。

作者：walkinger
原文鏈接：https://juejin.im/post/5e1134e1e51d45414b74e12e 《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專(zhuān)家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的读数据库遇到空就进行不下去_如何解决高并发场景下缓存+数据库双写不一致问题?...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。