首發(fā)于 https://segmentfault.com/a/11...

redis-cli提供的方法

注意以下所有試驗(yàn)基于redis 5.0.3版本

redis-cli 提供一個(gè)bigkeys參數(shù)，可以掃描redis中的大key

--bigkeys Sample Redis keys looking for big keys.

執(zhí)行之后輸出如下所示:

bogon:sqlite didi$ redis-cli --bigkeys # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type. You can use -i 0.1 to sleep 0.1 sec # per 100 SCAN commands (not usually needed). [00.00%] Biggest zset found so far 'testzset' with 129 members [00.00%] Biggest hash found so far 'h2' with 513 fields [00.00%] Biggest set found so far 'si1' with 5 members [00.00%] Biggest hash found so far 'h4' with 514 fields [00.00%] Biggest string found so far 'key' with 9 bytes -------- summary ------- Sampled 9 keys in the keyspace! Total key length in bytes is 27 (avg len 3.00) Biggest string found 'key' has 9 bytes Biggest set found 'si1' has 5 members Biggest hash found 'h4' has 514 fields Biggest zset found 'testzset' has 129 members 1 strings with 9 bytes (11.11% of keys, avg size 9.00) 0 lists with 0 items (00.00% of keys, avg size 0.00) 2 sets with 8 members (22.22% of keys, avg size 4.00) 4 hashs with 1541 fields (44.44% of keys, avg size 385.25) 2 zsets with 132 members (22.22% of keys, avg size 66.00) 0 streams with 0 entries (00.00% of keys, avg size 0.00)

原理比較簡單,使用scan命令去遍歷所有的鍵，對每個(gè)鍵根據(jù)其類型執(zhí)行"STRLEN","LLEN","SCARD","HLEN","ZCARD"這些命令獲取其長度或者元素個(gè)數(shù)。

該方法有兩個(gè)缺點(diǎn):

1.線上使用:雖然scan命令通過游標(biāo)遍歷建空間并且在生產(chǎn)上可以通過對從服務(wù)執(zhí)行該命令,但畢竟是一個(gè)線上操作

2.set,zset,list以及hash類型只能獲取有多少個(gè)元素。但其實(shí)元素多的不一定占用空間大

所以有沒有一種方法對線上沒有影響，并且能直接以topn的形式輸出每個(gè)鍵占用的空間大小呢？

我們可以通過讀取rdb文件的方式來試驗(yàn)一下，首先看看rdb文件的格式

rdb文件格式

rdb是一種二進(jìn)制文件格式,我們首先看看rdb文件的整體結(jié)構(gòu)

首先是一個(gè)魔數(shù),REDIS0009(redis5.0.3版本)。然后是一些附加屬性字段,接著是db_num(0-15),然后是db和expire的字典大小(db和過期時(shí)間在Redis中是兩個(gè)獨(dú)立的hash table),接著是一個(gè)個(gè)key-value pairs，然后是一個(gè)EOF結(jié)束標(biāo)志(0xFF),最后是8字節(jié)的checksum

Redis中定義了一些opcode(1字節(jié))，去標(biāo)記opcode之后保存的是什么類型的數(shù)據(jù)。如下圖所示

opcode 252標(biāo)記一個(gè)過期時(shí)間,248和249分別表示lru或者lfu,接著是value_type,標(biāo)記值的類型,接著就是一個(gè)個(gè)key和vlaue.我們看下value_type和redis中數(shù)據(jù)類型的對應(yīng)關(guān)系

value_type就是值類型這一列，括號(hào)中的數(shù)字就是保存到rdb文件中時(shí)的實(shí)際使用數(shù)字

知道了rdb的保存格式，我們可以寫代碼解析rdb文件,通過value_type去獲取每個(gè)value的大小

godis-cli-bigkey使用方法

代碼地址如下:

https://github.com/erpeng/god...

下載之后在將rdb文件拷貝到項(xiàng)目根目錄,按如下方式執(zhí)行

bogon:godis-cli-bigkey didi$ go run godis-cli-bigkey.go -h-debugopen debug mode //debug模式，輸出詳細(xì)key/value信息-topn intoutput topn keys (default 100)//默認(rèn)輸出top100的大key-totallenget total len (key and meta) or only value len (default true)//如果該選項(xiàng)設(shè)置為false,只輸出rdb文件中value實(shí)際占用的大小//默認(rèn)為true,輸出key、value和所有該key,value保存時(shí)使用的元數(shù)據(jù)總和 exit status 2

我們具體執(zhí)行一下，輸出如下:

bogon:godis-cli-bigkey didi$ go run godis-cli-bigkey.go Rdb Version:0009 key:k1,valueSize:9,valueType:0,expireTime:1549533396795,lfu:0,lru:0 key:key,valueSize:9,valueType:0,expireTime:0,lfu:0,lru:0 key:ss1,valueSize:14,valueType:2,expireTime:0,lfu:0,lru:0 key:si1,valueSize:23,valueType:11,expireTime:0,lfu:0,lru:0 key:l1,valueSize:28,valueType:14,expireTime:1549537004535,lfu:0,lru:0 key:h1,valueSize:33,valueType:13,expireTime:0,lfu:0,lru:0 key:z1,valueSize:67,valueType:12,expireTime:0,lfu:0,lru:0 key:testzset,valueSize:1303,valueType:5,expireTime:0,lfu:0,lru:0 key:h3,valueSize:8845,valueType:13,expireTime:0,lfu:0,lru:0 key:h2,valueSize:11680,valueType:4,expireTime:0,lfu:0,lru:0 key:h4,valueSize:11703,valueType:4,expireTime:0,lfu:0,lru:0

總結(jié)

以上是生活随笔為你收集整理的Redis中查找大key的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。