Redis運(yùn)維和開發(fā)學(xué)習(xí)筆記(5) 主從復(fù)制和sentinel哨兵模式

主從復(fù)制

將主節(jié)點(diǎn)的數(shù)據(jù)改變同步給從節(jié)點(diǎn)

• 作用
• 備份數(shù)據(jù)
• 讀寫分離
• 存在的問題：
• 手動(dòng)干預(yù)切主等操作
• 主節(jié)點(diǎn)的寫能力受到單機(jī)限制
• 主節(jié)點(diǎn)的存儲(chǔ)能力受到單機(jī)限制

主從模式的故障恢復(fù)

當(dāng)主節(jié)點(diǎn)發(fā)生故障時(shí)，客戶端連接主節(jié)點(diǎn)失敗，兩個(gè)從節(jié)點(diǎn)和主連接失敗

（人工）選取一個(gè)從節(jié)點(diǎn)slaveof no one使其成為新的主節(jié)點(diǎn)

更新應(yīng)用方信息，重啟

讓另一個(gè)從節(jié)點(diǎn)連接新主

原來的主恢復(fù)作為從，去連接新主

哨兵

blog

拓?fù)浣Y(jié)構(gòu)圖

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-qDHbOoMx-1572053628652)(media/15653345582593/%206.2%20%E6%8B%93%E6%89%91%EF%BC%88171%EF%BC%89.png)]

復(fù)制配置

復(fù)制過程

命令：slaveof slaveof 127.0.0.1:6379

保存主節(jié)點(diǎn)信息

• 執(zhí)行slaveof后會(huì)打印日志

id=38 addr=127.0.0.1:47458 fd=6 name= age=2700 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client 參數(shù) 含義 id 客戶端連接的唯一標(biāo)識(shí)，這個(gè)id是隨著Redis的連接自增的，重啟Redis后會(huì)重置為0。 addr 客戶端的地址和端口 fd 套接字所使用的文件描述符 age 以秒計(jì)算的已連接時(shí)長 idle 以秒計(jì)算的空閑時(shí)長看， age=idle時(shí)則此鏈接為空連接 flags 客戶端 flag db 該客戶端正在使用的數(shù)據(jù)庫 ID sub 已訂閱頻道的數(shù)量 psub 已訂閱模式的數(shù)量 multi 在事務(wù)中被執(zhí)行的命令數(shù)量 qbuf 輸入緩沖區(qū)總量（字節(jié)為單位， 0 表示沒有分配查詢緩沖區(qū)） qbuf-free 輸入緩沖區(qū)剩余容量（字節(jié)為單位， 0 表示沒有剩余空間） obl 輸出緩沖區(qū)的長度（字節(jié)為單位， 0 表示沒有分配輸出緩沖區(qū)） oll 輸出列表包含的對象數(shù)量（當(dāng)輸出緩沖區(qū)沒有剩余空間時(shí)，命令回復(fù)會(huì)以字符串對象的形式被入隊(duì)到這個(gè)隊(duì)列里） omem 輸出緩沖區(qū)和輸出列表占用的內(nèi)存總量 events 文件描述符事件 cmd 最近一次執(zhí)行的命令

主從建立socket連接

• 每秒運(yùn)行定時(shí)任務(wù)維護(hù)復(fù)制邏輯，直到成功；或者slaveof no one取消復(fù)制
• 連接失敗：Error condition on socket for SYNC:{socket_error_reason}

發(fā)送pingmingling

檢查主從質(zhì)檢網(wǎng)絡(luò)套接字是否可用

檢測主從節(jié)點(diǎn)當(dāng)前是否可接收處理命令

日志：Master replied to PING, replication can continue...

權(quán)限驗(yàn)證
5. 主節(jié)點(diǎn)：如果配置了requirepass,就需要認(rèn)證
6. 從節(jié)點(diǎn)：配置相應(yīng)的masterauth。

同步數(shù)據(jù)集

命令持續(xù)復(fù)制
7. 上面的操作已經(jīng)把數(shù)據(jù)同步完了，后面就持續(xù)把寫命令發(fā)送給從庫

數(shù)據(jù)同步

復(fù)制偏移量

• 主節(jié)點(diǎn)在處理完畢寫入命令之后，會(huì)把命令的字節(jié)長度做累加記錄，統(tǒng)計(jì)信息在master_repl_offset
• 對比主從節(jié)點(diǎn)的復(fù)制偏移量，判斷是否數(shù)據(jù)一致

復(fù)制積壓緩沖區(qū)(repl_backlog)

• 保存在主節(jié)點(diǎn)上的一個(gè)固定長度的隊(duì)列，默認(rèn)為1M

• 保存最近已復(fù)制的數(shù)據(jù)，用于部分復(fù)制和復(fù)制命令丟失的數(shù)據(jù)補(bǔ)救

• 參數(shù)含義

  repl_backlog_active:1開啟復(fù)制緩沖區(qū)

  repl_backlog_size:1048576	緩沖區(qū)最大長度
  repl_backlog_first_byte_offset:2	起始偏移量，計(jì)算當(dāng)前緩沖區(qū) 可用范圍
  repl_backlog_histlen:969335	已保存數(shù)據(jù)的有效長度

參數(shù)信息

主庫(info replication)

127.0.0.1:7001> info replication # Replication role:master connected_slaves:1 slave0:ip=127.0.0.1,port=7004,state=online,offset=969336,lag=1 master_repl_offset:969336 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:2 repl_backlog_histlen:969335

從庫(info replication)

127.0.0.1:7004> info replication # Replication role:slave master_host:127.0.0.1 master_port:7001 master_link_status:up master_last_io_seconds_ago:3 master_sync_in_progress:0 slave_repl_offset:969350 slave_priority:100 slave_read_only:1 connected_slaves:0 master_repl_offset:0 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:0 repl_backlog_histlen:0

主節(jié)點(diǎn)運(yùn)行id

節(jié)點(diǎn)啟動(dòng)后動(dòng)態(tài)分配的ID，用于唯一識(shí)別節(jié)點(diǎn)，ID變更后會(huì)發(fā)生全量復(fù)制

重啟后會(huì)改變，需要使用debug reload命令重啟并保持ID不變（命令會(huì)阻塞當(dāng)前節(jié)點(diǎn)主線程），阻塞期間先生成rdb快照，并清空數(shù)據(jù)后再加載rdb文件。對于大數(shù)據(jù)量的主節(jié)點(diǎn)和無法容忍阻塞的應(yīng)用場景慎用

• 參數(shù)

127.0.0.1:7002> info server # Server redis_version:3.2.4 redis_git_sha1:00000000 redis_git_dirty:0 redis_build_id:53849fee5fb41517 redis_mode:cluster os:Linux 3.10.0-957.1.3.el7.x86_64 x86_64 arch_bits:64 multiplexing_api:epoll gcc_version:4.8.5 process_id:24334 run_id:698e129042d03211b71e7c3117e37731a3bc5eca tcp_port:7002 uptime_in_seconds:700399 uptime_in_days:8 hz:10 lru_clock:4879595 executable:/usr/local/redis/3.2/redis-server config_file:/etc/redis.d/redistest_7002.conf

psync（178)

• 從節(jié)點(diǎn)使用psync命令完成部分復(fù)制和全量復(fù)制功能。

總覽圖

總結(jié)

以上是生活随笔為你收集整理的Redis运维和开发学习笔记(5) 主从复制和sentinel哨兵模式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。