日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

我们来谈下高并发和分布式中的幂等处理

發(fā)布時間:2025/3/21 编程问答 46 豆豆
生活随笔 收集整理的這篇文章主要介紹了 我们来谈下高并发和分布式中的幂等处理 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

我們先來談下冪等的概念

抽象概念

冪等(idempotent、idempotence)是一個數(shù)學(xué)與計算機學(xué)概念,常見于抽象代數(shù)中。

在編程中,一個冪等操作的特點是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。冪等函數(shù),或冪等方法,是指可以使用相同參數(shù)重復(fù)執(zhí)行,并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會影響系統(tǒng)狀態(tài),也不用擔(dān)心重復(fù)執(zhí)行會對系統(tǒng)造成改變。例如,“getUsername()和setTrue()”函數(shù)就是一個冪等函數(shù)。

用通俗的話講:就是針對一個操作,不管做多少次,產(chǎn)生效果或返回的結(jié)果都是一樣的

舉幾個例子:

1.比如前端對同一表單數(shù)據(jù)的重復(fù)提交,后臺應(yīng)該只會產(chǎn)生一個結(jié)果2.比如我們發(fā)起一筆付款請求,應(yīng)該只扣用戶賬戶一次錢,當(dāng)遇到網(wǎng)絡(luò)重發(fā)或系統(tǒng)bug重發(fā),也應(yīng)該只扣一次錢3.比如發(fā)送消息,也應(yīng)該只發(fā)一次,同樣的短信如果多次發(fā)給用戶,用戶會崩潰4.比如創(chuàng)建業(yè)務(wù)訂單,一次業(yè)務(wù)請求只能創(chuàng)建一個,不能出現(xiàn)創(chuàng)建多個訂單

還有很多諸如此類的,這些邏輯都需要冪等的特性來支持。

實現(xiàn)冪等性的技術(shù)方案

查詢操作

查詢一次和查詢多次,在數(shù)據(jù)不變的情況下,查詢結(jié)果是一樣的,select是天然的冪等操作。

刪除操作

刪除操作也是冪等的,刪除一次和多次刪除都是把數(shù)據(jù)刪除。(注意可能返回結(jié)果不一樣,刪除的數(shù)據(jù)不存在 ,返回0,刪除的數(shù)據(jù)多條,返回結(jié)果多個)。

唯一索引,防止新增臟數(shù)據(jù)

拿資金賬戶和用戶賬戶來說,每個用戶只能有一個資金賬戶,怎么防止給用戶創(chuàng)建資金賬戶多個,那么給資 金賬戶表中的用戶ID加唯一索引,在新增的時候只有一個能請求成功,剩下都會拋出唯一索引重復(fù)異常。比 如`org.springframework.dao.DuplicateKeyException`,這時候再查詢一次就可以了,數(shù)據(jù)存在,返回結(jié)果

token機制,防止頁面重復(fù)提交

要求:頁面的數(shù)據(jù)只能被點擊提交一次發(fā)生原因:由于重復(fù)點擊或者網(wǎng)絡(luò)重發(fā),或者nginx重發(fā)等情況會導(dǎo)致數(shù)據(jù)被重復(fù)提交解決辦法:集群環(huán)境:采用token加redis單JVM環(huán)境:采用token加redis或token加jvm內(nèi)存處理流程:數(shù)據(jù)提交前要向服務(wù)的申請token,token放到redis或jvm內(nèi)存,token有效時間提交后后臺校驗token,同時刪除token,生成新的token返回token特點:要申請,一次有效性,可以限流注意:redis要用刪除操作來判斷token,刪除成功代表token校驗通過,如果用select+delete來校驗token, 存在并發(fā)問題,不建議使用

悲觀鎖

獲取數(shù)據(jù)的時候加鎖獲取select?*?from?table_xxx?where?id=’xxx’?for?update;注意:id字段一定是主鍵或者唯一索引,不然是鎖表,會出事的。悲觀鎖使用時一般伴隨事務(wù)一起使用,數(shù)據(jù)鎖定時間可能會很長,根據(jù)實際情況選用

樂觀鎖

樂觀鎖只是在更新數(shù)據(jù)那一刻鎖表,其他時間不鎖表,所以相對于悲觀鎖,效率更高。樂觀鎖的實現(xiàn)方式多種多樣可以通過version或者其他狀態(tài)條件:1.通過版本號實現(xiàn)update?table_xxx?set?name=#name#,version=version+1?where?version=#version#2.通過條件限制update?table_xxx?set?avai_amount=avai_amount-#subAmount#?where?avai_amount-#subAmount#?>=?0要求:avai_amount-subAmount?>=0 這個情景適合不用版本號,只更新是做數(shù)據(jù)安全校驗,適合庫存模型,扣份額和回滾份額,性能更高。注意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖,否則更新時會鎖表,上面兩個sql改成下面的兩個更好。update?table_xxx?set?name=#name#,version=version+1?where?id=#id#?and?version=#version#update?table_xxx?set?avai_amount=avai_amount-#subAmount#?where?id=#id#?and? avai_amount-#subAmount#?>=?0

分布式鎖

還是拿插入數(shù)據(jù)的例子,如果是分布是系統(tǒng),構(gòu)建全局唯一索引比較困難,例如唯一性的字段沒法確定,這時候可以引入分布式鎖,通過第三方的系統(tǒng)(redis或zookeeper),在業(yè)務(wù)系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù),獲取分布式鎖,然后做操作,之后釋放鎖,其實就是為了控制多線程并發(fā)的操作,也是分布式系統(tǒng)中經(jīng)常用到的解決思路。

以上關(guān)于鎖的內(nèi)容大家可以閱讀下這篇文章加深了解分布式鎖總結(jié)

select + insert

并發(fā)不高的后臺系統(tǒng),或者一些任務(wù)JOB,為了支持冪等,支持重復(fù)執(zhí)行,簡單的處理方法是,先查詢下一些關(guān)鍵數(shù)據(jù),判斷是否已經(jīng)執(zhí)行過,在進行業(yè)務(wù)處理,就可以了。

注意:核心高并發(fā)流程不要用這種方法。

狀態(tài)機冪等

在設(shè)計單據(jù)相關(guān)的業(yè)務(wù),或者是任務(wù)相關(guān)的業(yè)務(wù),肯定會涉及到狀態(tài)機(狀態(tài)變更圖),就是業(yè)務(wù)單據(jù)上面有個狀態(tài),狀態(tài)在不同的情況下會發(fā)生變更,一般情況下存在有限狀態(tài)機,這時候,如果狀態(tài)機已經(jīng)處于下一個狀態(tài),這時候來了一個上一個狀態(tài)的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態(tài)機的冪等。

注意:訂單等單據(jù)類業(yè)務(wù),存在很長的狀態(tài)流轉(zhuǎn),一定要深刻理解狀態(tài)機,對業(yè)務(wù)系統(tǒng)設(shè)計能力提高有很大幫助。

對外提供接口的api如何保證冪等

如銀聯(lián)提供的付款接口:需要接入商戶提交付款請求時附帶:source來源,seq序列號

source+seq在數(shù)據(jù)庫里面做唯一索引,防止多次付款,(并發(fā)時,只能處理一個請求)。

重點:

對外提供接口為了支持冪等調(diào)用,接口有兩個字段必須傳,一個是來源source,一個是來源方序列號seq,這個兩個字段在提供方系統(tǒng)里面做聯(lián)合唯一索引,這樣當(dāng)?shù)谌秸{(diào)用時,先在本方系統(tǒng)里面查詢一下,是否已經(jīng)處理過,返回相應(yīng)處理結(jié)果;沒有處理過,進行相應(yīng)處理,返回結(jié)果。注意,為了冪等友好,一定要先查詢一下,是否處理過該筆業(yè)務(wù),不查詢直接插入業(yè)務(wù)系統(tǒng),會報錯,但實際已經(jīng)處理了。

最后總結(jié):

冪等性應(yīng)該是合格程序員的一個基因,在設(shè)計系統(tǒng)時,是首要考慮的問題,尤其是在像第三方支付平臺,銀行,互聯(lián)網(wǎng)金融公司等涉及的網(wǎng)上資金系統(tǒng),既要高效,數(shù)據(jù)也要準(zhǔn)確,所以不能出現(xiàn)多扣款,多打款等問題,這樣會很難處理,并會大大降低用戶體驗。

《新程序員》:云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的我们来谈下高并发和分布式中的幂等处理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。