Redis 数据同步机制分析
Redis的主從同步機制可以確保redis的master和slave之間的數(shù)據(jù)同步。按照同步內(nèi)容的多少可以分為全同步和部分同步;按照同步的時機可以分為slave剛啟動時的初始化同步和正常運行過程中的數(shù)據(jù)修改同步;本文將對這兩種機制的流程進(jìn)行分析。
全備份過程中,在slave啟動時,會向其master發(fā)送一條SYNC消息,master收到slave的這條消息之后,將可能啟動后臺進(jìn)程進(jìn)行備份,備份完成之后就將備份的數(shù)據(jù)發(fā)送給slave,初始時的全同步機制是這樣的:
(1)slave啟動后向master發(fā)送同步指令SYNC,master接收到SYNC指令之后將調(diào)用該命令的處理函數(shù)syncCommand()進(jìn)行同步處理;
(2)在函數(shù)syncCommand中,將調(diào)用函數(shù)rdbSaveBackground啟動一個備份進(jìn)程用于數(shù)據(jù)同步,如果已經(jīng)有一個備份進(jìn)程在運行了,就不會再重新啟動了。
(3)備份進(jìn)程將執(zhí)行函數(shù)rdbSave()完成將redis的全部數(shù)據(jù)保存為rdb文件。
(4)在redis的時間事件函數(shù)serverCron(redis的時間處理函數(shù)是指它會定時被redis進(jìn)行操作的函數(shù))中,將對備份后的數(shù)據(jù)進(jìn)行處理,在serverCron函數(shù)中將會檢查備份進(jìn)程是否已經(jīng)執(zhí)行完畢,如果備份進(jìn)程已經(jīng)完成備份,則調(diào)用函數(shù)backgroundSaveDoneHandler完成后續(xù)處理。
(5)在函數(shù)backgroundSaveDoneHandler中,首先更新master的各種狀態(tài),例如,備份成功還是失敗,備份的時間等等。然后調(diào)用函數(shù)updateSlavesWaitingBgsave,將備份的rdb數(shù)據(jù)發(fā)送給等待的slave。
(6)在函數(shù)updateSlavesWaitingBgsave中,將遍歷所有的等待此次備份的slave,將備份的rdb文件發(fā)送給每一個slave。另外,這里并不是立即就把數(shù)據(jù)發(fā)送過去,而是將為每個等待的slave注冊寫事件,并注冊寫事件的響應(yīng)函數(shù)sendBulkToSlave,即當(dāng)slave對應(yīng)的socket能夠發(fā)送數(shù)據(jù)時就調(diào)用函數(shù)sendBulkToSlave(),實際發(fā)送rdb文件的操作都在函數(shù)sendBulkToSlave中完成。
(7)sendBulkToSlave函數(shù)將把備份的rdb文件發(fā)送給slave。
上述函數(shù)調(diào)用過程如下圖1所示:
圖1 redis全備份時master部分的的函數(shù)調(diào)用過程
二、數(shù)據(jù)修改操作的同步
Redis的正常部署中一般都是一個master用于寫操作,若干個slave用于讀操作,另外定期的數(shù)據(jù)備份操作也是單獨選址一個slave完成,這樣可以最大程度發(fā)揮出redis的性能。在部署完成,各master\slave程序啟動之后,首先進(jìn)行第一階段初始化時的全同步操作,全同步操作完成之后,后續(xù)所有寫操作都是在master上進(jìn)行,所有讀操作都是在slave上進(jìn)行,因此用戶的寫操作需要及時擴散到所有的slave以便保持?jǐn)?shù)據(jù)最大程度上的同步。Redis的master-slave進(jìn)程在正常運行期間更新操作(包括寫、刪除、更改操作)的同步方式如下:
(1)master接收到一條用戶的操作后,將調(diào)用函數(shù)call函數(shù)來執(zhí)行具體的操作函數(shù)(此過程可參考另一文檔《redis命令執(zhí)行流程分析》),在該函數(shù)中首先通過proc執(zhí)行操作函數(shù),然后將判斷操作是否需要擴散到各slave,如果需要則調(diào)用函數(shù)propagate()來完成此操作。
(2)propagate()函數(shù)完成將一個操作記錄到aof文件中或者擴散到其他slave中;在該函數(shù)中通過調(diào)用feedAppendOnlyFile()將操作記錄到aof中,通過調(diào)用replicationFeedSlaves()將操作擴散到各slave中。
(3)函數(shù)feedAppendOnlyFile()中主要保存操作到aof文件,在該函數(shù)中首先將操作轉(zhuǎn)換成redis內(nèi)部的協(xié)議格式,并以字符串的形式存儲,然后將字符串存儲的操作追加到aof文件后。
(4)函數(shù)replicationFeedSlaves()主要將操作擴散到每一個slave中;在該函數(shù)中將遍歷自己下面掛的每一個slave,以此對每個slave進(jìn)行如下兩步的處理:將slave的數(shù)據(jù)庫切換到本操作所對應(yīng)的數(shù)據(jù)庫(如果slave的數(shù)據(jù)庫id與當(dāng)前操作的數(shù)據(jù)id不一致時才進(jìn)行此操作);將命令和參數(shù)按照redis的協(xié)議格式寫入到slave的回復(fù)緩存中。寫入切換數(shù)據(jù)庫的命令時將調(diào)用addReply,寫入命令和參數(shù)時將調(diào)用addReplyMultiBulkLen和addReplyBulk,函數(shù)addReplyMultiBulkLen和addReplyBulk最終也將調(diào)用函數(shù)addReply。
(5)在函數(shù)addReply中將調(diào)用prepareClientToWrite()設(shè)置slave的socket寫入事件處理函數(shù)sendReplyToClient(通過函數(shù)aeCreateFileEvent進(jìn)行設(shè)置),這樣一旦slave對應(yīng)的socket發(fā)送緩存中有空間寫入數(shù)據(jù),即調(diào)用sendReplyToClient進(jìn)行處理。
(6)函數(shù)sendReplyToClient()的主要功能是將slave中要發(fā)送的數(shù)據(jù)通過socket發(fā)出去。
圖2、redis操作過程中數(shù)據(jù)同步的函數(shù)調(diào)用關(guān)系
圖中的序號表示調(diào)用的先后關(guān)系,同級之間的序號才有意義。
來源:http://blog.csdn.net/houjixin/article/details/27680183
總結(jié)
以上是生活随笔為你收集整理的Redis 数据同步机制分析的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 田鸿杰(说一说田鸿杰的简介)
- 下一篇: 福神(说一说福神的简介)