文章目錄

• • RBD文件載入
  • RDB文件分析
  • 源碼分析
  • • 核心代碼
  • rdb文件寫入
  • rdb寫入關鍵函數rdbSaveObjectType
  • • rdbSaveStringObjectRaw
    • rdbSaveLongLongAsStringObject

為避免數據丟失。將redis中的數據保存到磁盤中，避免數據意外丟失。

RBD文件載入

在redis啟動時檢測是否有rdb文件，有的話會自動載入。

命令作用

save	阻塞服務器進程，知道rbd文件創建完成
bgsave	fork子進程，由子進程負責創建RDB文件

RDB文件分析

[root@python redis-4.0.14]# od -c dump.rdb 0000000 R E D I S 0 0 0 8 372 \t r e d i s 0000020 - v e r 006 4 . 0 . 1 4 372 \n r e d 0000040 i s - b i t s 300 @ 372 005 c t i m e 0000060 302 212 \b 331 ] 372 \b u s e d - m e m 302 0000100 210 \0 \f \0 372 \f a o f - p r e a m b 0000120 l e 300 \0 376 \0 373 001 \0 \0 004 n a m e 300 0000140 { 377 8 033 _ 360 I 223 254 343 0000152 [root@python redis-4.0.14]# redis-cli 127.0.0.1:6379> flushall OK 127.0.0.1:6379> set name xxxx OK 127.0.0.1:6379> save OK 127.0.0.1:6379> exit [root@python redis-4.0.14]# od -c dump.rdb 0000000 R E D I S 0 0 0 8 372 \t r e d i s 0000020 - v e r 006 4 . 0 . 1 4 372 \n r e d 0000040 i s - b i t s 300 @ 372 005 c t i m e 0000060 302 b | 333 ] 372 \b u s e d - m e m 302 0000100 0 356 \f \0 372 \f a o f - p r e a m b 0000120 l e 300 \0 376 \0 373 001 \0 \0 004 n a m e 004 0000140 x x x x 377 314 " 221 277 [ 223 026 $ 0000155

• 0000000 R E D I S 0 0 0 8 372 \t r e d i s
  1、五個字節的REDIS
  2、四個字節版本號
  3、 一個字節的eof常量
  4、八個字節校驗和

• 004 n a m e 004 0000140 x x x x 377 314 " 221 277 [ 223 026 $
  004是key的長度
  377 314 " 221 277 [ 223 026 $ 八字節長的校驗和

源碼分析

Save the DB on disk. Return REDIS_ERR on error, REDIS_OK on success
將數據庫保存到磁盤上。
保存成功返回 REDIS_OK ，出錯/失敗返回 REDIS_ERR 。

int rdbSave(char *filename) { // 創建臨時文件snprintf(tmpfile,256,"temp-%d.rdb", (int) getpid());fp = fopen(tmpfile,"w");if (!fp) {redisLog(REDIS_WARNING, "Failed opening .rdb for saving: %s",strerror(errno));return REDIS_ERR;}// 初始化 I/OrioInitWithFile(&rdb,fp);// 設置校驗和函數if (server.rdb_checksum)rdb.update_cksum = rioGenericUpdateChecksum;// 寫入 RDB 版本號snprintf(magic,sizeof(magic),"REDIS%04d",REDIS_RDB_VERSION);if (rdbWriteRaw(&rdb,magic,9) == -1) goto werr;// 遍歷所有數據庫for (j = 0; j < server.dbnum; j++) {// 指向數據庫redisDb *db = server.db+j;// 指向數據庫鍵空間dict *d = db->dict;// 跳過空數據庫if (dictSize(d) == 0) continue;// 創建鍵空間迭代器di = dictGetSafeIterator(d);if (!di) {fclose(fp);return REDIS_ERR;}/* Write the SELECT DB opcode** 寫入 DB 選擇器*/if (rdbSaveType(&rdb,REDIS_RDB_OPCODE_SELECTDB) == -1) goto werr;if (rdbSaveLen(&rdb,j) == -1) goto werr;/* Iterate this DB writing every entry** 遍歷數據庫，并寫入每個鍵值對的數據*/while((de = dictNext(di)) != NULL) {sds keystr = dictGetKey(de);robj key, *o = dictGetVal(de);long long expire;// 根據 keystr ，在棧中創建一個 key 對象initStaticStringObject(key,keystr);// 獲取鍵的過期時間expire = getExpire(db,&key);// 保存鍵值對數據if (rdbSaveKeyValuePair(&rdb,&key,o,expire,now) == -1) goto werr;}dictReleaseIterator(di);}di = NULL; /* So that we don't release it again on error. *//* EOF opcode** 寫入 EOF 代碼*/if (rdbSaveType(&rdb,REDIS_RDB_OPCODE_EOF) == -1) goto werr;/* CRC64 checksum. It will be zero if checksum computation is disabled, the* loading code skips the check in this case.** CRC64 校驗和。** 如果校驗和功能已關閉，那么 rdb.cksum 將為 0 ，* 在這種情況下， RDB 載入時會跳過校驗和檢查。*/cksum = rdb.cksum;memrev64ifbe(&cksum);rioWrite(&rdb,&cksum,8);/* Make sure data will not remain on the OS's output buffers */// 沖洗緩存，確保數據已寫入磁盤if (fflush(fp) == EOF) goto werr;if (fsync(fileno(fp)) == -1) goto werr;if (fclose(fp) == EOF) goto werr;/* Use RENAME to make sure the DB file is changed atomically only* if the generate DB file is ok.** 使用 RENAME ，原子性地對臨時文件進行改名，覆蓋原來的 RDB 文件。*/if (rename(tmpfile,filename) == -1) {redisLog(REDIS_WARNING,"Error moving temp DB file on the final destination: %s", strerror(errno));unlink(tmpfile);return REDIS_ERR;}// 寫入完成，打印日志redisLog(REDIS_NOTICE,"DB saved on disk");// 清零數據庫臟狀態server.dirty = 0;// 記錄最后一次完成 SAVE 的時間server.lastsave = time(NULL);// 記錄最后一次執行 SAVE 的狀態server.lastbgsave_status = REDIS_OK;return REDIS_OK;werr:// 關閉文件fclose(fp);// 刪除文件unlink(tmpfile);redisLog(REDIS_WARNING,"Write error saving DB on disk: %s", strerror(errno));if (di) dictReleaseIterator(di);return REDIS_ERR; }

核心代碼

// 遍歷所有數據庫for (j = 0; j < server.dbnum; j++) {// 創建鍵空間迭代器di = dictGetSafeIterator(d);if (!di) {fclose(fp);return REDIS_ERR;}/* Write the SELECT DB opcode** 寫入 DB 選擇器*//* * 遍歷數據庫，并寫入每個鍵值對的數據*/while((de = dictNext(di)) != NULL) {sds keystr = dictGetKey(de);robj key, *o = dictGetVal(de);long long expire;// 根據 keystr ，在棧中創建一個 key 對象initStaticStringObject(key,keystr);// 獲取鍵的過期時間expire = getExpire(db,&key);// 保存鍵值對數據if (rdbSaveKeyValuePair(&rdb,&key,o,expire,now) == -1) goto werr;}dictReleaseIterator(di);}

• 獲取鍵值和鍵

237 // 計算給定鍵的哈希值 238 #define dictHashKey(d, key) (d)->type->hashFunction(key) 239 // 返回獲取給定節點的鍵 240 #define dictGetKey(he) ((he)->key) 241 // 返回獲取給定節點的值 242 #define dictGetVal(he) ((he)->v.val)

rdb文件寫入

891 int rdbSaveKeyValuePair(rio *rdb, robj *key, robj *val,892 long long expiretime, long long now)893 {894 /* Save the expire time895 *896 * 保存鍵的過期時間897 */898 if (expiretime != -1) {899 /* If this key is already expired skip it900 *901 * 不寫入已經過期的鍵902 */903 if (expiretime < now) return 0;904905 if (rdbSaveType(rdb,REDIS_RDB_OPCODE_EXPIRETIME_MS) == -1) return -1;906 if (rdbSaveMillisecondTime(rdb,expiretime) == -1) return -1;907 }908909 /* Save type, key, value910 *911 * 保存類型，鍵，值912 */913 if (rdbSaveObjectType(rdb,val) == -1) return -1;914 if (rdbSaveStringObject(rdb,key) == -1) return -1;915 if (rdbSaveObject(rdb,val) == -1) return -1;916917 return 1;918 }

rdb寫入關鍵函數rdbSaveObjectType

655 /* Save the object type of object "o".656 *657 * 將對象 o 的類型寫入到 rdb 中658 */659 int rdbSaveObjectType(rio *rdb, robj *o) {660661 switch (o->type) {662663 case REDIS_STRING:664 return rdbSaveType(rdb,REDIS_RDB_TYPE_STRING);665666 case REDIS_LIST:667 if (o->encoding == REDIS_ENCODING_ZIPLIST)668 return rdbSaveType(rdb,REDIS_RDB_TYPE_LIST_ZIPLIST);669 else if (o->encoding == REDIS_ENCODING_LINKEDLIST)670 return rdbSaveType(rdb,REDIS_RDB_TYPE_LIST);671 else672 redisPanic("Unknown list encoding");673674 case REDIS_SET:675 if (o->encoding == REDIS_ENCODING_INTSET)676 return rdbSaveType(rdb,REDIS_RDB_TYPE_SET_INTSET);677 else if (o->encoding == REDIS_ENCODING_HT)678 return rdbSaveType(rdb,REDIS_RDB_TYPE_SET);679 else680 redisPanic("Unknown set encoding");681682 case REDIS_ZSET:683 if (o->encoding == REDIS_ENCODING_ZIPLIST)684 return rdbSaveType(rdb,REDIS_RDB_TYPE_ZSET_ZIPLIST);685 else if (o->encoding == REDIS_ENCODING_SKIPLIST)686 return rdbSaveType(rdb,REDIS_RDB_TYPE_ZSET);687 else688 redisPanic("Unknown sorted set encoding");689690 case REDIS_HASH:691 if (o->encoding == REDIS_ENCODING_ZIPLIST)692 return rdbSaveType(rdb,REDIS_RDB_TYPE_HASH_ZIPLIST);693 else if (o->encoding == REDIS_ENCODING_HT)694 return rdbSaveType(rdb,REDIS_RDB_TYPE_HASH);695 else696 redisPanic("Unknown hash encoding");697698 default:699 redisPanic("Unknown object type");700 }701702 return -1; /* avoid warning */703 }

rdbSaveStringObjectRaw

493 /* Like rdbSaveStringObjectRaw() but handle encoded objects */494 /*495 * 將給定的字符串對象 obj 保存到 rdb 中。496 *497 * 函數返回 rdb 保存字符串對象所需的字節數。498 *499 * p.s. 代碼原本的注釋 rdbSaveStringObjectRaw() 函數已經不存在了。500 */501 int rdbSaveStringObject(rio *rdb, robj *obj) {502503 /* Avoid to decode the object, then encode it again, if the504 * object is already integer encoded. */505 // 嘗試對 INT 編碼的字符串進行特殊編碼506 if (obj->encoding == REDIS_ENCODING_INT) {507 return rdbSaveLongLongAsStringObject(rdb,(long)obj->ptr);508509 // 保存 STRING 編碼的字符串510 } else {511 redisAssertWithInfo(NULL,obj,sdsEncodedObject(obj));512 return rdbSaveRawString(rdb,obj->ptr,sdslen(obj->ptr));513 }514 }515

rdbSaveLongLongAsStringObject

453 /* Save a long long value as either an encoded string or a string.454 *455 * 將輸入的 long long 類型的 value 轉換成一個特殊編碼的字符串，456 * 或者是一個普通的字符串表示的整數，457 * 然后將它寫入到 rdb 中。458 *459 * 函數返回在 rdb 中保存 value 所需的字節數。460 */461 int rdbSaveLongLongAsStringObject(rio *rdb, long long value) {462 unsigned char buf[32];463 int n, nwritten = 0;464465 // 嘗試以節省空間的方式編碼整數值 value466 int enclen = rdbEncodeInteger(value,buf);467468 // 編碼成功，直接寫入編碼后的緩存469 // 比如，值 1 可以編碼為 11 00 0001470 if (enclen > 0) {471 return rdbWriteRaw(rdb,buf,enclen);472473 // 編碼失敗，將整數值轉換成對應的字符串來保存474 // 比如，值 999999999 要編碼成 "999999999" ，475 // 因為這個值沒辦法用節省空間的方式編碼476 } else {477 /* Encode as string */478 // 轉換成字符串表示479 enclen = ll2string((char*)buf,32,value);480 redisAssert(enclen < 32);481 // 寫入字符串長度482 if ((n = rdbSaveLen(rdb,enclen)) == -1) return -1;483 nwritten += n;484 // 寫入字符串485 if ((n = rdbWriteRaw(rdb,buf,enclen)) == -1) return -1;486 nwritten += n;487 }488489 // 返回長度490 return nwritten;491 }492

總結

以上是生活随笔為你收集整理的redis源码剖析（十二）—— RDB持久化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。