面试官：Redis 主从复制时网络开小差了怎么整？
作者|萊烏
主從模式配置
對于 Redis 主從大家可能并不陌生，但是配置的話日常工作中并不會經(jīng)常操作。在這里簡單介紹下主從的相關(guān)配置。
1、主從模式
Redis 中設(shè)置主從的方式很簡單，通常有兩種：
通過在配置文件 redis.conf 中設(shè)置 slaveof 方式（永久）；
直接在客戶端執(zhí)行 slaveof ip port 的方式（臨時）；
2、主-從-從模式
對于主-從-從的模式來說，配置也與上邊的操作類似，在這里就不多贅述了。
主從一致性原理
了解了主從配置后，下面就要進入正題了。
在主從中，通常的操作是主庫用來寫入數(shù)據(jù)，從庫用來讀取數(shù)據(jù)。這樣的好處是避免了所有的請求壓力都打在了主庫上，同時系統(tǒng)的伸縮性也得到了很大的提升。
但是問題就來了，讀從庫時的數(shù)據(jù)要與主庫保持一致，那就需要主庫的數(shù)據(jù)在寫入后同步到從庫中。如何保持主庫與從庫的數(shù)據(jù)一致性，當(dāng)有多個從庫時，又如何做到呢？
1、全量復(fù)制
這是第一次同步時所發(fā)生的傳遞關(guān)系。看名字就知道，主庫第一次就毫無保留的把所有數(shù)據(jù)都傳遞給了從庫。
我們先來看下它們是如何發(fā)生第一次關(guān)系的（就知道你會想歪）。
圖中的同步流程已經(jīng)很清晰了，總共分為三部分：
（1）主從節(jié)點建立聯(lián)系
當(dāng)從節(jié)點與主節(jié)點第一次建立聯(lián)系時，從節(jié)點會向主節(jié)點發(fā)送 psync 命令，表示要進行數(shù)據(jù)同步。
正如你看到的 psync 命令后會帶有兩個參數(shù)：一個是 runID，一個是偏移量 offset。
runID：每個Redis實例生成的隨機且唯一的ID，在這里表示的是主節(jié)點的ID。
offset：復(fù)制偏移量。
在圖中第一次復(fù)制時因為不知道主庫ID和偏移量，因此用“？”和“-1”分別來表示runID 和 offset。
當(dāng)主節(jié)點接收到 psync 命令后，會使用 FULLSYNC命令向從節(jié)點發(fā)送 runID 及offset 兩個參數(shù)。從節(jié)點將其信息保存下來。
到這里關(guān)系算是建立了下來。
（2）主節(jié)點同步RDB文件
RDB文件，這是一個老面孔了，持久化時會用到的二進制文件。在這里起著主從數(shù)據(jù)同步的作用，也就是說主從同步是依賴 RDB 文件來實現(xiàn)的。
從節(jié)點接收到 RDB 文件后，在本地完成數(shù)據(jù)加載，算是完成了主從同步。
到這里你有沒有發(fā)現(xiàn)什么問題？
我們回想下 RDB 文件是如何生成的。在持久化那篇文章里，我們介紹過，父進程 fork 了一個子進程來進行生成 RDB 文件。父進程并不阻塞接收處理客戶端的命令。
那么問題就產(chǎn)生了，當(dāng)主節(jié)點把 RDB 文件發(fā)送給從節(jié)點時，主節(jié)點同時接收的命令又該如何來處理？
（3）主節(jié)點同步緩沖區(qū)命令
這一步就是來解決 RDB 文件生成后，父進程又接收到寫命令同步的問題的。
為了保證主從節(jié)點數(shù)據(jù)的一致性，主節(jié)點中會使用緩沖區(qū)來記錄 RDB 文件生成后接收到的寫操作命令。在 RDB 文件發(fā)送完成后會把緩沖區(qū)的命令發(fā)送給從節(jié)點來執(zhí)行。
到這里，主從節(jié)點的數(shù)據(jù)同步算是完成了。
2、級聯(lián)操作
我們再來回顧下整個同步流程，從建立關(guān)系，生成 RDB 文件，傳輸給從節(jié)點到最后緩沖區(qū)命令發(fā)送給從節(jié)點。這是一個從節(jié)點與主節(jié)點同步的完整流程。
那么我們再來思考：當(dāng)有多個從節(jié)點，也就是一主多從時，第一次連接時都要進行全量復(fù)制。但是在生成 RDB 文件時，父進程 fork 子進程時可能會出現(xiàn)阻塞，同時在傳輸 RDB 文件時也會占用帶寬，浪費資源。
這種情況我們該如何來解決呢？
不知道你對文章開頭的 主-從-從模式是否還有印象。通過對從節(jié)點再建立從節(jié)點。同步數(shù)據(jù)時從級聯(lián)的從節(jié)點上進行同步，從而就減輕了主節(jié)點的壓力。
網(wǎng)絡(luò)開小差了
上面的流程我們已經(jīng)知道了正常情況下主從節(jié)點的復(fù)制過程了，但是當(dāng)網(wǎng)絡(luò)中斷導(dǎo)致主從連接失敗等異常情況下，主從同步又是如何來進行的？
在這里要提到一個增量復(fù)制的名詞，與全量復(fù)制不同的是，它是根據(jù)主從節(jié)點的偏移量來進行數(shù)據(jù)同步的。
什么意思呢？
還記得在全量復(fù)制里我們所提到過的緩沖區(qū)嗎？就是用來存儲生成 RDB 文件后的寫命令的，這里我們稱為緩沖區(qū)A。主從節(jié)點斷開連接后，除了會將后續(xù)接收到的寫命令寫入緩沖區(qū)A的同時，還會寫入到另一個緩沖區(qū)B里。
在緩沖區(qū)B里，主從節(jié)點分別會維護一個偏移量 offset。剛開始時，主節(jié)點的寫位置與從節(jié)點的讀位置在同一起點，隨著主節(jié)點的不斷寫入，偏移量也會逐漸增大。同樣地，從節(jié)點復(fù)制完后偏移量也在不斷增加。
當(dāng)網(wǎng)絡(luò)斷開連接時，從節(jié)點不再進行同步，此時主節(jié)點由于不斷接收新的寫操作的偏移量會大于從節(jié)點的偏移量。當(dāng)連接恢復(fù)時，從節(jié)點向主節(jié)點發(fā)送帶有偏移量的psync 命令，主節(jié)點根據(jù)偏移量來進行比較，只需將未同步寫命令同步給從節(jié)點即可。
總結(jié)
主從一致性原理
從節(jié)點第一次進行連接時，主節(jié)點會生成 RDB 文件進行全量復(fù)制，同時將新寫入的命令存儲進緩沖區(qū)，發(fā)送給從節(jié)點，從而保證數(shù)據(jù)一致性；
為了減少數(shù)據(jù)同步給主節(jié)點帶來的壓力，可以通過從節(jié)點級聯(lián)的方式進行同步。
網(wǎng)絡(luò)開小差了
網(wǎng)絡(luò)斷連重新連接后，主從節(jié)點通過分別維護的偏移量來同步寫命令。
有道無術(shù)，術(shù)可成；有術(shù)無道，止于術(shù)
歡迎大家關(guān)注Java之道公眾號
好文章，我在看??
總結(jié)
以上是生活随笔為你收集整理的面试官：Redis 主从复制时网络开小差了怎么整？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 项目上传github步骤
- 下一篇： linux cmake编译源码,linu