codis是豌豆莢開(kāi)源的分布式server。眼下處于穩(wěn)定階段。

原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md

Codis 是一個(gè)分布式 Redis 解決方式, 對(duì)于上層的應(yīng)用來(lái)說(shuō), 連接到 Codis Proxy 和連接原生的 Redis Server 沒(méi)有明顯的差別 (不支持的命令列表), 上層應(yīng)用能夠像使用單機(jī)的 Redis 一樣使用, Codis 底層會(huì)處理請(qǐng)求的轉(zhuǎn)發(fā), 不停機(jī)的數(shù)據(jù)遷移等工作, 全部后邊的一切事情, 對(duì)于前面的client來(lái)說(shuō)是透明的, 能夠簡(jiǎn)單的覺(jué)得后邊連接的是一個(gè)內(nèi)存無(wú)限大的 Redis 服務(wù).

基本框架例如以下：

Codis 由四部分組成:

Codis Proxy (codis-proxy)
Codis Manager (codis-config)
Codis Redis (codis-server)
ZooKeeper

codis-proxy 是client連接的 Redis 代理服務(wù), codis-proxy 本身實(shí)現(xiàn)了 Redis 協(xié)議, 表現(xiàn)得和一個(gè)原生的 Redis 沒(méi)什么差別 (就像 Twemproxy), 對(duì)于一個(gè)業(yè)務(wù)來(lái)說(shuō), 能夠部署多個(gè) codis-proxy, codis-proxy 本身是無(wú)狀態(tài)的.

codis-config 是 Codis 的管理工具, 支持包含, 加入/刪除 Redis 節(jié)點(diǎn), 加入/刪除 Proxy 節(jié)點(diǎn), 發(fā)起數(shù)據(jù)遷移等操作. codis-config 本身還自帶了一個(gè) http server, 會(huì)啟動(dòng)一個(gè) dashboard, 用戶能夠直接在瀏覽器上觀察 Codis 集群的執(zhí)行狀態(tài).

codis-server 是 Codis 項(xiàng)目維護(hù)的一個(gè) Redis 分支, 基于 2.8.13 開(kāi)發(fā), 增加了 slot 的支持和原子的數(shù)據(jù)遷移指令. Codis 上層的 codis-proxy 和 codis-config 僅僅能和這個(gè)版本號(hào)的 Redis 交互才干正常執(zhí)行.

ZooKeeper(下面簡(jiǎn)稱ZK)是一個(gè)分布式協(xié)調(diào)服務(wù)框架。能夠做到各節(jié)點(diǎn)之間的數(shù)據(jù)強(qiáng)一致性。簡(jiǎn)單的理解就是在一個(gè)節(jié)點(diǎn)改動(dòng)某個(gè)變量的值后。在其它節(jié)點(diǎn)能夠最新的變化。這樣的變化是事務(wù)性的。

通過(guò)在ZK節(jié)點(diǎn)上注冊(cè)監(jiān)聽(tīng)器，就能夠獲得數(shù)據(jù)的變化。

Codis 依賴 ZooKeeper 來(lái)存放數(shù)據(jù)路由表和 codis-proxy 節(jié)點(diǎn)的元信息, codis-config 發(fā)起的命令都會(huì)通過(guò) ZooKeeper 同步到各個(gè)存活的 codis-proxy.

注：1.codis新版本號(hào)支持redis到2.8.21

2.codis-group實(shí)現(xiàn)redis的水平擴(kuò)展

以下我們來(lái)部署環(huán)境：

10.80.80.124 ? ? ? zookeeper_1 codis-configcodis-server-master,slave codis_proxy_1

10.80.80.126 ? ? ? zookeeper_2 codis-server-master,slavecodis?_proxy_2

10.80.80.123 ? ? ? zookeeper_3 codis-serve-master,slavecodis?_proxy_3

說(shuō)明：

1.為了確保zookeeper的穩(wěn)定性與可靠性。我們?cè)?24、126、123上搭建zookeeper集群來(lái)對(duì)外提供服務(wù)；

2.codis-cofig作為分布式redis的管理工具。在整個(gè)分布式server中僅僅須要一個(gè)就能夠完畢管理任務(wù)。

3.codis-server和codis-proxy在3臺(tái)服務(wù)器提供redis和代理服務(wù)。

一.部署zookeeper集群

1.配置hosts（在3臺(tái)server上）

10.80.80.124 codis1
10.80.80.126 codis2
10.80.80.123 codis3

2.配置java環(huán)境（在3臺(tái)server上）

vim /etc/profile ##JAVA### export JAVA_HOME=/usr/local/jdk1.7.0_71 export JRE_HOME=/usr/local/jdk1.7.0_71/jre export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarsource /etc/profile3.安裝zookeeper（在3臺(tái)server上）

cd /usr/local/src wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local4.配置環(huán)境變量（在3臺(tái)server上）

vim /etc/profile #zookeeper ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6 export PATH=$PATH:$ZOOKEEPER_HOME/binsource /etc/profile5.改動(dòng)zookeeper配置文件（在3臺(tái)server上）

#創(chuàng)建zookeeper的數(shù)據(jù)文件夾和日志文件夾 mkdir -p /data/zookeeper/zk1/{data,log} cd /usr/local/zookeeper-3.4.6/conf cp zoo_sample.cfg zoo.cfg vim /etc/zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/zk1/data dataLogDir=/data/zookeeper/zk1/log clientPort=2181 server.1=codis1:2888:3888 server.2=codis2:2888:3888 server.3=codis3:2888:38886.在dataDir下創(chuàng)建myid文件。相應(yīng)節(jié)點(diǎn)id（在3臺(tái)服務(wù)器上）

#在124上 cd /data/zookeeper/zk1/data echo 1 > myid #在126上 cd /data/zookeeper/zk1/data echo 2 > myid #在123上 cd /data/zookeeper/zk1/data echo 3 > myid7.啟動(dòng)zookeeper服務(wù)（在3臺(tái)server上）

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start注：在你所在的當(dāng)前文件夾下會(huì)生成一個(gè)zookeeper.out的日志文件，里面記錄了啟動(dòng)過(guò)程中的具體信息；因?yàn)榧簺](méi)有所有信息，會(huì)報(bào)“myid 2或myid 3 未啟動(dòng)”的信息，當(dāng)集群所有啟動(dòng)后就會(huì)正常，我們能夠忽略。

8.查看zookeeper全部節(jié)點(diǎn)的狀態(tài)（在3臺(tái)server上）

#124 /usr/local/zookeeper-3.4.6/bin/zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: leader #126 /usr/local/zookeeper-3.4.6/bin/zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower #123 /usr/local/zookeeper-3.4.6/bin/zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower

二.部署codis集群

1.安裝go語(yǔ)言（在3臺(tái)server上）

tar -zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local/2.加入go環(huán)境變量（在3臺(tái)server上）

vim /etc/profile #go export PATH=$PATH:/usr/local/go/bin export GOPATH=/usr/local/codissource /etc/profile3.安裝codis（在3臺(tái)server上）

go get github.com/wandoulabs/codis cd $GOPATH/src/github.com/wandoulabs/codis #運(yùn)行編譯測(cè)試腳本，編譯go和reids。

./bootstrap.sh make gotest #將編譯好后，把bin文件夾和一些腳本復(fù)制過(guò)去/usr/local/codis文件夾下 mkdir -p /usr/local/codis/{conf,redis_conf,scripts} cp -rf bin /usr/local/codis/ cp sample/config.ini /usr/local/codis/conf/ cp -rf sample/redis_conf /usr/local/codis cp -rf sample/* /usr/local/codis/scripts

4.配置codis-proxy（在3臺(tái)server上。在此以124為例）

#124 cd /usr/local/codis/conf vim config.ini zk=codis1:2181,codis2:2181,codis3:2181 product=codis #此處配置圖形化界面的dashboard。注意codis集群僅僅要一個(gè)就可以，因此所有指向10.80.80.124:18087 dashboard_addr=192.168.3.124:18087 coordinator=zookeeper backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=128 proxy_id=codis_proxy_1 #126 cd /usr/local/codis/conf vim config.ini zk=codis1:2181,codis2:2181,codis3:2181 product=codis #此處配置圖形化界面的dashboard，注意codis集群僅僅要一個(gè)就可以，因此所有指向10.80.80.124:18087 dashboard_addr=192.168.3.124:18087 coordinator=zookeeper backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=128 proxy_id=codis_proxy_2 #123 cd /usr/local/codis/conf vim config.ini zk=codis1:2181,codis2:2181,codis3:2181 product=codis #此處配置圖形化界面的dashboard，注意codis集群僅僅要一個(gè)就可以，因此所有指向10.80.80.124:18087 dashboard_addr=192.168.3.124:18087 coordinator=zookeeper backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=128 proxy_id=codis_proxy_35.改動(dòng)codis-server的配置文件（在3臺(tái)服務(wù)器上）

#創(chuàng)建codis-server的數(shù)據(jù)文件夾和日志文件夾 mkdir -p /data/codis/codis-server/{data,logs} cd /usr/local/codis/redis_conf #主庫(kù) vim 6380.conf daemonize yes pidfile /var/run/redis_6380.pid port 6379 logfile "/data/codis_server/logs/codis_6380.log" save 900 1 save 300 10 save 60 10000 dbfilename 6380.rdb dir /data/codis_server/data #從庫(kù) cp 6380.conf 6381.conf sed -i 's/6380/6381/g' 6381.conf6.加入內(nèi)核參數(shù)

echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf sysctl -p7.依照啟動(dòng)流程啟動(dòng)

cat /usr/loca/codis/scripts/usage.md 0. start zookeeper 1. change config items in config.ini 2. ./start_dashboard.sh 3. ./start_redis.sh 4. ./add_group.sh 5. ./initslot.sh 6. ./start_proxy.sh 7. ./set_proxy_online.sh 8. open browser to http://localhost:18087/admin盡管scripts文件夾以下有對(duì)應(yīng)啟動(dòng)腳本，也能夠用startall.sh所有啟動(dòng)。但剛開(kāi)始建議手動(dòng)啟動(dòng)，以熟悉codis啟動(dòng)過(guò)程。

因?yàn)橹皕ookeeper已經(jīng)啟動(dòng)，以下我們來(lái)啟動(dòng)其它項(xiàng)目。

注：1.在啟動(dòng)過(guò)程中須要指定相關(guān)日志文件夾或配置文件文件夾，為便于統(tǒng)一管理。我們都放在/data/codis下；

2.dashboard在codis集群中僅僅須要在一臺(tái)server上啟動(dòng)就可以，此處在124上啟動(dòng)；凡是用codis_config的命令都是在124上操作，其它啟動(dòng)項(xiàng)須要在3臺(tái)server上操作。

相關(guān)命令例如以下：

/usr/local/codis/bin/codis-config -h usage: codis-config [-c <config_file>] [-L <log_file>] [--log-level=<loglevel>]<command> [<args>...] options:-c set config file-L set output log file, default is stdout--log-level=<loglevel> set log level: info, warn, error, debug [default: info]commands:serverslotdashboardactionproxy

(1)啟動(dòng)dashboard（在124上啟動(dòng)）

#dashboard的日志文件夾和訪問(wèn)文件夾 mkdir -p /data/codis/codis_dashboard/logs codis_home=/usr/local/codis log_path=/data/codis/codis_dashboard/logs nohup $codis_home/bin/codis-config -c $codis_home/conf/config.ini -L $log_path/dashboard.log dashboard --addr=:18087 --http-log=$log_path/requests.log &>/dev/null &

通過(guò)10.80.80.124:18087就可以訪問(wèn)圖形管理界面

(2)啟動(dòng)codis-server（在3臺(tái)服務(wù)器上）

/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf /usr/local/codis/bin/codis-server /data/codis_server/conf/6381.conf(3)加入 Redis Server Group（124上）

注意：每個(gè) Server Group 作為一個(gè) Redis server組存在, 僅僅同意有一個(gè) master, 能夠有多個(gè) slave, group id 僅支持大于等于1的整數(shù)

眼下我們?cè)?臺(tái)server上分了3組，因此我們須要加入3組。每組由一主一從構(gòu)成

#相關(guān)命令 /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server usage:codis-config server listcodis-config server add <group_id> <redis_addr> <role>codis-config server remove <group_id> <redis_addr>codis-config server promote <group_id> <redis_addr>codis-config server add-group <group_id>codis-config server remove-group <group_id> #group 1 /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6380 master /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6381 slave #group 2 /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6380 master /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6381 slave #group 3 /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6380 master /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6381 slave

注意：1.點(diǎn)擊“Promote to Master”就會(huì)將slave的redis提升為master，而原來(lái)的master會(huì)自己主動(dòng)下線。

? ? 2./usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 能夠加入機(jī)器到對(duì)應(yīng)組中。也能夠更新redis的主/從角色。

? ? 3.若為新機(jī)器，此處的keys應(yīng)該為空

(4)?設(shè)置 server group 服務(wù)的 slot 范圍（124上）

#相關(guān)命令 /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot usage:codis-config slot init [-f]codis-config slot info <slot_id>codis-config slot set <slot_id> <group_id> <status>codis-config slot range-set <slot_from> <slot_to> <group_id> <status>codis-config slot migrate <slot_from> <slot_to> <group_id> [--delay=<delay_time_in_ms>]codis-config slot rebalance [--delay=<delay_time_in_ms>]#Codis 採(cǎi)用 Pre-sharding 的技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的分片, 默認(rèn)分成 1024 個(gè) slots (0-1023), 對(duì)于每個(gè)key來(lái)說(shuō), 通過(guò)下面公式確定所屬的 Slot Id : SlotId = crc32(key) % 1024 每個(gè) slot 都會(huì)有一個(gè)特定的 server group id 來(lái)表示這個(gè) slot 的數(shù)據(jù)由哪個(gè) server group 來(lái)提供。

我們?cè)诖藢?024個(gè)slot分為三段，分配例如以下： /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 0 340 1 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 341 681 2 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 682 1023 3 online

(5)啟動(dòng)codis-proxy（在3臺(tái)服務(wù)器上）

#codis_proxy的日志文件夾 mkdir -p /data/codis/codis_proxy/logs codis_home=/usr/local/codis log_path=/data/codis/codis_proxy/logs nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

黑線處：codis讀取server的主機(jī)名。

注意：若client相關(guān)訪問(wèn)proxy，須要在client加入hosts

(6)上線codis-proxy

codis_home=/usr/local/codis log_path=/data/codis/codis_proxy/logs nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &
注：啟動(dòng)codis_proxy后。proxy此時(shí)處于offline狀態(tài)。無(wú)法對(duì)外提供服務(wù)，必須將其上線后才干對(duì)外提供服務(wù)。

ok，至此codis已經(jīng)能夠?qū)ν馓峁┓?wù)了。

三.HA

codis的ha分為前端proxy的ha以及后端codis-server的ha，在此簡(jiǎn)單說(shuō)下proxy的ha。

對(duì)于上層proxy來(lái)說(shuō)，尤其是javaclient來(lái)，codis提供jodis(改動(dòng)過(guò)的jedis)來(lái)實(shí)現(xiàn)proxy的ha。

它會(huì)通過(guò)監(jiān)控zk上的注冊(cè)信息來(lái)實(shí)時(shí)獲得當(dāng)前可用的proxy列表，既能夠保證高可用性。也能夠通過(guò)輪流請(qǐng)求全部的proxy實(shí)現(xiàn)負(fù)載均衡；支持proxy的自己主動(dòng)上線和下線。

轉(zhuǎn)載于:https://www.cnblogs.com/yxwkf/p/5199019.html

總結(jié)

以上是生活随笔為你收集整理的redis的分布式解决方式--codis的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。