Redis学习笔记--Redis数据过期策略详解==转
本文對(duì)Redis的過期機(jī)制簡(jiǎn)單的講解一下
講解之前我們先拋出一個(gè)問題,我們知道很多時(shí)候服務(wù)器經(jīng)常會(huì)用到redis作為緩存,有很多數(shù)據(jù)都是臨時(shí)緩存一下,可能用過之后很久都不會(huì)再用到了(比如暫存session,又或者只存放日行情股票數(shù)據(jù))那么就會(huì)出現(xiàn)一下幾個(gè)問題了
之前一直接觸Redis不是很深入,最近項(xiàng)目當(dāng)中遇到一個(gè)需求場(chǎng)景,需要清空一些存放在Redis的數(shù)據(jù),主要是通過一些時(shí)間進(jìn)行過濾,刪除那些不滿足的數(shù)據(jù),但是這樣的工作每天都需要進(jìn)行,那工作量就比較大了,而且每天都需要按時(shí)去手動(dòng)清理,這樣做也不切實(shí)際,后面發(fā)現(xiàn)Redis中有個(gè)設(shè)置時(shí)間過期的功能,即對(duì)存儲(chǔ)在Redis數(shù)據(jù)庫(kù)中的值可以設(shè)置一個(gè)過期時(shí)間。作為一個(gè)緩存數(shù)據(jù)庫(kù),這是非常實(shí)用的。這就是我們本文要講到的Redis過期機(jī)制。其實(shí)這個(gè)機(jī)制運(yùn)用的場(chǎng)景十分廣泛,比如我們一般項(xiàng)目中的token或者一些登錄信息,尤其是短信驗(yàn)證碼都是有時(shí)間限制的,或者是限制請(qǐng)求次數(shù),如果按照傳統(tǒng)的數(shù)據(jù)庫(kù)處理方式,一般都是自己判斷過期,這樣無疑會(huì)嚴(yán)重影響項(xiàng)目性能。
一、設(shè)置過期時(shí)間
Redis對(duì)存儲(chǔ)值的過期處理實(shí)際上是針對(duì)該值的鍵(key)處理的,即時(shí)間的設(shè)置也是設(shè)置key的有效時(shí)間。Expires字典保存了所有鍵的過期時(shí)間,Expires也被稱為過期字段。
- expire key time(以秒為單位)--這是最常用的方式
- setex(String key, int seconds, String value)--字符串獨(dú)有的方式
注:
1、除了字符串自己獨(dú)有設(shè)置過期時(shí)間的方法外,其他方法都需要依靠expire方法來設(shè)置時(shí)間
2、如果沒有設(shè)置時(shí)間,那緩存就是永不過期
3、如果設(shè)置了過期時(shí)間,之后又想讓緩存永不過期,使用persist key
1、常用方式
一般主要包括4種處理過期方,其中expire都是以秒為單位,pexpire都是以毫秒為單位的。
? 1 EXPIRE key seconds //將key的生存時(shí)間設(shè)置為ttl秒 2 PEXPIRE key milliseconds //將key的生成時(shí)間設(shè)置為ttl毫秒 3 EXPIREAT key timestamp //將key的過期時(shí)間設(shè)置為timestamp所代表的的秒數(shù)的時(shí)間戳 4 PEXPIREAT key milliseconds-timestamp //將key的過期時(shí)間設(shè)置為timestamp所代表的的毫秒數(shù)的時(shí)間戳備注:timestamp為unix時(shí)間戳(例如:timestamp=1499788800 表示將在2017.07.12過期)
1、2兩種方式是設(shè)置一個(gè)過期的時(shí)間段,就是咱們處理驗(yàn)證碼最常用的策略,設(shè)置三分鐘或五分鐘后失效,把分鐘數(shù)轉(zhuǎn)換成秒或毫秒存儲(chǔ)到Redis中。
3、4兩種方式是指定一個(gè)過期的時(shí)間 ,比如優(yōu)惠券的過期時(shí)間是某年某月某日,只是單位不一樣。
下面我們就以EXPIREAT為例子簡(jiǎn)單講解下用法。
返回值
一個(gè)整數(shù)值1或EXPIREAT命令的基本語(yǔ)法。
1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP示例
首先,在Redis中創(chuàng)建一個(gè)鍵:akey,并在akey中設(shè)置一些值。
1 redis 127.0.0.1:6379> SET akey redis 2 OK現(xiàn)在,為設(shè)置創(chuàng)建的鍵設(shè)置超時(shí)時(shí)間為60?秒。
1 127.0.0.1:6379> SET akey redis 2 OK 3 127.0.0.1:6379> EXPIREAT akey 1393840000 4 (integer) 1 5 127.0.0.1:6379> EXISTS akey 6 (integer) 0 7 127.0.0.1:6379> SET akey redis 8 OK 9 127.0.0.1:6379> EXPIREAT akey 1493840000 10 (integer) 1 11 127.0.0.1:6379> EXISTS akey 12 (integer) 1其他三個(gè)用法類似,這里不逐一闡述
2、字符串獨(dú)有方式
對(duì)字符串特殊處理的方式為SETEX命令,SETEX命令為指定的 key 設(shè)置值及其過期時(shí)間。如果 key 已經(jīng)存在, SETEX 命令將會(huì)替換舊的值。
返回值
設(shè)置成功時(shí)返回 OK 。
語(yǔ)法
Redis Setex 命令基本語(yǔ)法如下:
redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE示例
1 redis 127.0.0.1:6379> SETEX mykey 60 redis 2 OK 3 redis 127.0.0.1:6379> TTL mykey 4 60 5 redis 127.0.0.1:6379> GET mykey 6 "redis二、3種過期策略
- 定時(shí)刪除
- 含義:在設(shè)置key的過期時(shí)間的同時(shí),為該key創(chuàng)建一個(gè)定時(shí)器,讓定時(shí)器在key的過期時(shí)間來臨時(shí),對(duì)key進(jìn)行刪除
- 優(yōu)點(diǎn):保證內(nèi)存被盡快釋放
- 缺點(diǎn):
- 若過期key很多,刪除這些key會(huì)占用很多的CPU時(shí)間,在CPU時(shí)間緊張的情況下,CPU不能把所有的時(shí)間用來做要緊的事兒,還需要去花時(shí)間刪除這些key
- 定時(shí)器的創(chuàng)建耗時(shí),若為每一個(gè)設(shè)置過期時(shí)間的key創(chuàng)建一個(gè)定時(shí)器(將會(huì)有大量的定時(shí)器產(chǎn)生),性能影響嚴(yán)重
- 沒人用
- 惰性刪除
- 含義:key過期的時(shí)候不刪除,每次從數(shù)據(jù)庫(kù)獲取key的時(shí)候去檢查是否過期,若過期,則刪除,返回null。
- 優(yōu)點(diǎn):刪除操作只發(fā)生在從數(shù)據(jù)庫(kù)取出key的時(shí)候發(fā)生,而且只刪除當(dāng)前key,所以對(duì)CPU時(shí)間的占用是比較少的,而且此時(shí)的刪除是已經(jīng)到了非做不可的地步(如果此時(shí)還不刪除的話,我們就會(huì)獲取到了已經(jīng)過期的key了)
- 缺點(diǎn):若大量的key在超出超時(shí)時(shí)間后,很久一段時(shí)間內(nèi),都沒有被獲取過,那么可能發(fā)生內(nèi)存泄露(無用的垃圾占用了大量的內(nèi)存)
- 定期刪除
- 含義:每隔一段時(shí)間執(zhí)行一次刪除(在redis.conf配置文件設(shè)置hz,1s刷新的頻率)過期key操作
- 優(yōu)點(diǎn):
- 通過限制刪除操作的時(shí)長(zhǎng)和頻率,來減少刪除操作對(duì)CPU時(shí)間的占用--處理"定時(shí)刪除"的缺點(diǎn)
- 定期刪除過期key--處理"惰性刪除"的缺點(diǎn)
- 缺點(diǎn)
- 在內(nèi)存友好方面,不如"定時(shí)刪除"
- 在CPU時(shí)間友好方面,不如"惰性刪除"
- 難點(diǎn)
- 合理設(shè)置刪除操作的執(zhí)行時(shí)長(zhǎng)(每次刪除執(zhí)行多長(zhǎng)時(shí)間)和執(zhí)行頻率(每隔多長(zhǎng)時(shí)間做一次刪除)(這個(gè)要根據(jù)服務(wù)器運(yùn)行情況來定了)
定時(shí)刪除和定期刪除為主動(dòng)刪除:Redis會(huì)定期主動(dòng)淘汰一批已過去的key
惰性刪除為被動(dòng)刪除:用到的時(shí)候才會(huì)去檢驗(yàn)key是不是已過期,過期就刪除
惰性刪除為redis服務(wù)器內(nèi)置策略
定期刪除可以通過:
- 第一、配置redis.conf 的hz選項(xiàng),默認(rèn)為10 (即1秒執(zhí)行10次,100ms一次,值越大說明刷新頻率越快,最Redis性能損耗也越大)?
- 第二、配置redis.conf的maxmemory最大值,當(dāng)已用內(nèi)存超過maxmemory限定時(shí),就會(huì)觸發(fā)主動(dòng)清理策略
?注意:
- 上邊所說的數(shù)據(jù)庫(kù)指的是內(nèi)存數(shù)據(jù)庫(kù),默認(rèn)情況下每一臺(tái)redis服務(wù)器有16個(gè)數(shù)據(jù)庫(kù)(關(guān)于數(shù)據(jù)庫(kù)的設(shè)置,看下邊代碼),默認(rèn)使用0號(hào)數(shù)據(jù)庫(kù),所有的操作都是對(duì)0號(hào)數(shù)據(jù)庫(kù)的操作,關(guān)于redis數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu),查看 第八章 Redis數(shù)據(jù)庫(kù)結(jié)構(gòu)與讀寫原理
- memcached只是用了惰性刪除,而Redis同時(shí)使用了惰性刪除與定期刪除,這也是二者的一個(gè)不同點(diǎn)(可以看做是redis優(yōu)于memcached的一點(diǎn))
- 對(duì)于惰性刪除而言,并不是只有獲取key的時(shí)候才會(huì)檢查key是否過期,在某些設(shè)置key的方法上也會(huì)檢查(eg.setnx key2 value2:該方法類似于memcached的add方法,如果設(shè)置的key2已經(jīng)存在,那么該方法返回false,什么都不做;如果設(shè)置的key2不存在,那么該方法設(shè)置緩存key2-value2。假設(shè)調(diào)用此方法的時(shí)候,發(fā)現(xiàn)redis中已經(jīng)存在了key2,但是該key2已經(jīng)過期了,如果此時(shí)不執(zhí)行刪除操作的話,setnx方法將會(huì)直接返回false,也就是說此時(shí)并沒有重新設(shè)置key2-value2成功,所以對(duì)于一定要在setnx執(zhí)行之前,對(duì)key2進(jìn)行過期檢查)
三、Redis采用的過期策略
惰性刪除+定期刪除
- 惰性刪除流程
- 在進(jìn)行g(shù)et或setnx等操作時(shí),先檢查key是否過期,
- 若過期,刪除key,然后執(zhí)行相應(yīng)操作;
- 若沒過期,直接執(zhí)行相應(yīng)操作
- 定期刪除流程(簡(jiǎn)單而言,對(duì)指定個(gè)數(shù)個(gè)庫(kù)的每一個(gè)庫(kù)隨機(jī)刪除小于等于指定個(gè)數(shù)個(gè)過期key)
- 遍歷每個(gè)數(shù)據(jù)庫(kù)(就是redis.conf中配置的"database"數(shù)量,默認(rèn)為16)
- 檢查當(dāng)前庫(kù)中的指定個(gè)數(shù)個(gè)key(默認(rèn)是每個(gè)庫(kù)檢查20個(gè)key,注意相當(dāng)于該循環(huán)執(zhí)行20次,循環(huán)體時(shí)下邊的描述)
- 如果當(dāng)前庫(kù)中沒有一個(gè)key設(shè)置了過期時(shí)間,直接執(zhí)行下一個(gè)庫(kù)的遍歷
- 隨機(jī)獲取一個(gè)設(shè)置了過期時(shí)間的key,檢查該key是否過期,如果過期,刪除key
- 判斷定期刪除操作是否已經(jīng)達(dá)到指定時(shí)長(zhǎng),若已經(jīng)達(dá)到,直接退出定期刪除。
- 檢查當(dāng)前庫(kù)中的指定個(gè)數(shù)個(gè)key(默認(rèn)是每個(gè)庫(kù)檢查20個(gè)key,注意相當(dāng)于該循環(huán)執(zhí)行20次,循環(huán)體時(shí)下邊的描述)
- 遍歷每個(gè)數(shù)據(jù)庫(kù)(就是redis.conf中配置的"database"數(shù)量,默認(rèn)為16)
四、RDB對(duì)過期key的處理
過期key對(duì)RDB沒有任何影響
- 從內(nèi)存數(shù)據(jù)庫(kù)持久化數(shù)據(jù)到RDB文件
- 持久化key之前,會(huì)檢查是否過期,過期的key不進(jìn)入RDB文件
- 從RDB文件恢復(fù)數(shù)據(jù)到內(nèi)存數(shù)據(jù)庫(kù)
- 數(shù)據(jù)載入數(shù)據(jù)庫(kù)之前,會(huì)對(duì)key先進(jìn)行過期檢查,如果過期,不導(dǎo)入數(shù)據(jù)庫(kù)(主庫(kù)情況)
五、AOF對(duì)過期key的處理
過期key對(duì)AOF沒有任何影響
- 從內(nèi)存數(shù)據(jù)庫(kù)持久化數(shù)據(jù)到AOF文件:
- 當(dāng)key過期后,還沒有被刪除,此時(shí)進(jìn)行執(zhí)行持久化操作(該key是不會(huì)進(jìn)入aof文件的,因?yàn)闆]有發(fā)生修改命令)
- 當(dāng)key過期后,在發(fā)生刪除操作時(shí),程序會(huì)向aof文件追加一條del命令(在將來的以aof文件恢復(fù)數(shù)據(jù)的時(shí)候該過期的鍵就會(huì)被刪掉)
- AOF重寫
- 重寫時(shí),會(huì)先判斷key是否過期,已過期的key不會(huì)重寫到aof文件?
轉(zhuǎn)載于:https://www.cnblogs.com/diaozhaojian/p/8716238.html
總結(jié)
以上是生活随笔為你收集整理的Redis学习笔记--Redis数据过期策略详解==转的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java stream 原理
- 下一篇: SQL作业:综合练习(二)的返评