如何正确访问 redis 中的海量数据?避免事故产生
前言
有時(shí)候我們需要知道線上的redis的使用情況,尤其需要知道一些前綴的key值,讓我們?cè)趺慈ゲ榭茨?#xff1f;今天老顧分享一個(gè)小知識(shí)點(diǎn)
事故產(chǎn)生
因?yàn)槲覀兊挠脩? token緩存是采用了【user_token:userid】格式的key# ,保存用戶的token的值。我們運(yùn)維為了幫助開發(fā)小伙伴們查一下線上現(xiàn)在有多少登錄用戶。
直接用了keys user_token*方式進(jìn)行查詢,事故就此發(fā)生了。導(dǎo)致redis不可用,假死。
分析原因
我們線上的登錄用戶有幾百萬(wàn),數(shù)據(jù)量比較多;keys算法是遍歷算法,復(fù)雜度是O(n),也就是數(shù)據(jù)越多,時(shí)間復(fù)雜度越高。
數(shù)據(jù)量達(dá)到幾百萬(wàn),# keys這個(gè)指令就會(huì)導(dǎo)致 Redis 服務(wù)卡頓# ,因?yàn)? Redis 是單線程程序,順序執(zhí)行所有指令,其它指令必須等到當(dāng)前的 keys 指令執(zhí)行完了才可以繼續(xù)。#
解決方案
那我們?nèi)绾稳ケ闅v大數(shù)據(jù)量呢?這個(gè)也是面試經(jīng)常問的。我們可以采用redis的另一個(gè)命令scan。我們看一下scan的特點(diǎn)
1、# 復(fù)雜度雖然也是 O(n)# ,但是它是通過游標(biāo)分步進(jìn)行的,# 不會(huì)阻塞線程#
2、提供 count 參數(shù),不是結(jié)果數(shù)量,是redis單次遍歷字典槽位數(shù)量(約等于)
3、同 keys 一樣,它也提供模式匹配功能;
4、服務(wù)器不需要為游標(biāo)保存狀態(tài),游標(biāo)的唯一狀態(tài)就是 # scan 返回給客戶端的游標(biāo)整數(shù)# ;
5、返回的結(jié)果# 可能會(huì)有重復(fù),需要客戶端去重復(fù)# ,這點(diǎn)非常重要;
6、單次返回的結(jié)果是空的并不意味著遍歷結(jié)束,而要看# 返回的游標(biāo)值是否為零# 。
一、scan命令格式
SCAN cursor [MATCH pattern] [COUNT count]
二、命令解釋:scan 游標(biāo) MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素?cái)?shù)量
SCAN命令是# 增量的循環(huán)# ,每次調(diào)用只會(huì)# 返回一小部分的元素# 。所以不會(huì)讓redis假死 SCAN命令返回的是一個(gè)游標(biāo),# 從0開始遍歷,到0結(jié)束遍歷#
三、舉例
redis?>?scan?0?match?user_token*?count?51)?"6"2)?1)?"user_token:1000"2)?"user_token:1001"3)?"user_token:1010"4)?"user_token:2300"5)?"user_token:1389"從0開始遍歷,返回了游標(biāo)6,又返回了數(shù)據(jù),繼續(xù)scan遍歷,就要從6開始
redis?>?scan?6?match?user_token*?count?51)?"10"2)?1)?"user_token:3100"2)?"user_token:1201"3)?"user_token:1410"4)?"user_token:5300"5)?"user_token:3389"總結(jié)
這個(gè)是面試經(jīng)常會(huì)問到的,也是我們小伙伴在工作的過程經(jīng)常用的,一般小公司,不會(huì)有什么問題,但數(shù)據(jù)量多的時(shí)候,你的操作方式不對(duì),你的績(jī)效就會(huì)被扣哦,哈哈。謝謝!!!
總結(jié)
以上是生活随笔為你收集整理的如何正确访问 redis 中的海量数据?避免事故产生的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: @CacheEvict 清除多个key
- 下一篇: 图文讲解,团队开发中的 Git 最佳实践