http://www.tuicool.com/articles/77nUZn

1、背景

1.1 Redis簡介

官方網(wǎng)站：?http://redis.io/?，Redis是REmote DIctionary Server的縮寫。

Redis是一個開源的使用ANSI C語言編寫、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫，并提供多種語言的API。從2010年3月15日起，Redis的開發(fā)工作由VMware主持。它跟 memcached 類似，不過數(shù)據(jù)可以持久化，而且支持的數(shù)據(jù)類型很豐富。它在保持鍵值數(shù)據(jù)庫簡單快捷特點的同時，又吸收了部分關(guān)系數(shù)據(jù)庫的優(yōu)點。從而使它的位置處于關(guān)系數(shù)據(jù)庫和鍵值數(shù)據(jù)庫之間。Redis不僅能保存Strings類型的數(shù)據(jù)，還能保存Lists類型（有序）和Sets類型（無序）的數(shù)據(jù)，而且還能完成排序（SORT）等高級功能，在實現(xiàn)INCR，SETNX等功能的時候，保證了其操作的原子性，除此以外，還支持主從復制等功能。Redis可以被看成是一個數(shù)據(jù)結(jié)構(gòu)服務(wù)器。

Redis的所有數(shù)據(jù)都是保存在內(nèi)存中，然后不定期的通過異步方式保存到磁盤上(這稱為“半持久化模式”)；也可以把每一次數(shù)據(jù)變化都寫入到一個append only file(aof)里面(這稱為“全持久化模式”)。

1.2 瓶頸

當前卡布西游項目，數(shù)據(jù)存儲采用MySQL，主游戲庫共分為20個庫，分布在5臺機器上，每個庫數(shù)據(jù)量約為10G，各機器均采用RAID5加速磁盤訪問；當同時在線人數(shù)達到5W時，DB磁盤IO壓力很大，導致游戲卡，在線人數(shù)再上不去了。而Redis數(shù)據(jù)讀寫都是直接操作內(nèi)存，可有效解決這一瓶頸。

1.3 解決方案概述

將部分數(shù)據(jù)壓縮導入到redis后，總數(shù)據(jù)量約15G（轉(zhuǎn)換成redis數(shù)據(jù)類型數(shù)據(jù)量），一主一從模型，共兩組。一臺機器內(nèi)存32G，開20個實例，共40個實例；預估每個實例最多存儲2G數(shù)據(jù)（現(xiàn)在沒這么多）。多實例方便做持久化。

主庫不做AOF，也不做快照，只在每晚12點計劃任務(wù)做一次快照并轉(zhuǎn)移到異地。從庫開啟AOF并1秒落地。

主庫每5分鐘插入一個時間點（crontab實現(xiàn)），方便從庫AOF記錄時間點，用于定點還原。

2、安裝配置

2.1 硬件配置

Dell R410? 32G內(nèi)存；兩個CPU，每個CPU 4個核心；300G硬盤

2.2 安裝

a)安裝TCMalloc庫

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz ? tar zxf libunwind-0.99-alpha.tar.gz ? cd libunwind-0.99-alpha/ ? CFLAGS=-fPIC ./configure ? make CFLAGS=-fPIC ? make CFLAGS=-fPIC install

b)安裝google-perftools：

wget http://google-perftools.googlecode.com/files/google-perftools-1.8.2.tar.gztar zxf google-perftools-1.7.tar.gz ? cd google-perftools-1.7/ ? ./configure ? make ? make install ? echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf ? /sbin/ldconfig

?

c)安裝redis

wget http://redis.googlecode.com/files/redis-2.2.14.tar.gztar xzvf redis-2.2.14.tar.gz ? cd redis-2.2.14 ? make USE_TCMALLOC=yes

?

//make之后會在 src目錄下產(chǎn)生redis-server ?redis-cli ?redis-benchmark ?redis-check-dump

將其拷貝到/usr/local/redis/bin目錄下，將配置文件redis.conf拷貝到/usr/local/redis/etc目錄

//統(tǒng)一建立目錄，方便管理

mkdir -p /usr/local/redis/bin

mkdir -p /usr/local/redis/etc

mkdir -p /usr/local/redis/var

mkdir -p /data/redis-data

# mkdir -p /data/redis-data/redis60{01,02,03,04,05,06,07,08,09,10}

檢查tcmalloc是否生效

# lsof -n | grep tcmalloc

出現(xiàn)以下信息說明生效

redis-ser 13768?? root? mem?????? REG??????? 8,5? 1616491???? 788696 /usr/local/lib/libtcmalloc.so.0.1.0

//裝完后，可能libtcmalloc沒有注冊，沒有上面信息，在mysqld_safe文件里加一條：

export LD_PRELOAD=/usr/local/lib/libtcmalloc.so

//再重啟mysql（線上操作謹慎！！！）(使用tmalloc，內(nèi)存分配效率更高)

2.3 配置

//當前規(guī)劃一共開40個實例，每臺機器20個實例，下面以實例01為例：

//配置文件名： redis6001.conf ~ redis6040.conf

daemonize yespidfile /var/run/redis6001.pidport 6001 ? timeout 300 ? loglevel debug ? logfile /usr/local/redis/var/debug6001.log ? syslog-enabled yes ? databases 16 ? rdbcompression yes ? dbfilename redis6001.rdb ? dir /data/redis-data/redis6001 ? slave-serve-stale-data yes ? requirepass My#redis appendonly no ? no-appendfsync-on-rewrite no ? vm-enabled no ? hash-max-zipmap-entries 512 ? hash-max-zipmap-value 64 ? list-max-ziplist-entries 512 ? list-max-ziplist-value 64 ? set-max-intset-entries 512 ? activerehashing yes

?

3、主從同步備份及相關(guān)腳本

3.1 主從同步目的目標

主從的主要目的：數(shù)據(jù)持久化，災難恢復，冗余。主庫不落地，減少消耗。

3.2 主從配置

從庫安裝配置同主庫一致，主庫無需任何改動(允許從庫訪問)，從庫需增加兩個地方配置：slaveof + AOF

slaveof 192.168.3.180 6301

masterauth My#redis

appendonly yes

appendfilename appendonly01.aof

appendfsync everysec

?

//配置文件名： slave6001.conf ~ slave6040.conf

daemonize yespidfile /var/run/slave6001.pid ? port 6001 ? timeout 300 ? loglevel debug ? logfile /usr/local/redis/var/debug6001.log ? syslog-enabled yes ? databases 16 ? rdbcompression yes ? dbfilename slave6001.rdb ? dir /data/redis-data/slave6001 ? slaveof 192.168.0.139 6001 ? masterauth My#redis slave-serve-stale-data yes ? requirepass My#redis appendonly yes ? appendfilename slave6001.aof ? appendfsync everysec ? no-appendfsync-on-rewrite no ? vm-enabled no ? vm-swap-file /tmp/redis.swap ? vm-max-memory 0 ? vm-page-size 32 ? vm-pages 134217728 ? vm-max-threads 4 ? hash-max-zipmap-entries 512 ? hash-max-zipmap-value 64 ? list-max-ziplist-entries 512 ? list-max-ziplist-value 64 ? set-max-intset-entries 512 ? activerehashing yes

3.3 備份

備份策略：主庫每晚12點串行給每個實例做一次快照(bgsave)；從庫每晚12點串行對AOF文件打包備份(tar)，打包備份后做一次AOF文件壓縮(bgrewriteaof)。每天的數(shù)據(jù)起始點是前一天晚上rewriteaof后的數(shù)據(jù)。

主庫每晚12點串行給每個實例做一次快照(bgsave)。主庫備份腳本（redis_bgsave.sh）

#!/bin/bash

#date=`date +%y%m%d_%H%M%S`

REDISPASSWORD=My#redis

for PORT in `seq 6001 6020`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 10

done

date >> /usr/local/redis/var/bgsave.log

從庫每晚12點串行拷貝每個實例的AOF到其他目錄并對其打包，壓縮包要有異地備份，之后再壓縮AOF（bgrewriteaof）。

從庫備份AOF并bgrewriteaof腳本（redis_backup.sh ：對單個實例）

#!/bin/sh

## FD:File Dir

## RD:Runing Dir

## 第一個參數(shù)為redis實例名

if [ $# -ne 1 ]; then

echo “Usage:$0? redis_name”

exit

fi

CURDATE=`date +%Y%m%d`

CURHOUR=`date +%Y%m%d_%H`

CURTIME=`date +%Y%m%d_%H%M%S`

REDISPASSWORD=My#redis

REDISNAME=$1

PORT=`echo $REDISNAME | cut -c6-9`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

if [ "${REDISNAME}" = "" ]; then

echo “redis name Error!”

exit 1

else

if [ ! -d "/data/redis-data/${REDISNAME}" ]; then

echo “redis name Error!”

exit 1

fi

fi

DDIR=/data/backup/redis/$CURHOUR

mkdir -p ${DDIR}

RDIR=/data/redis-data/$REDISNAME

cd ${RDIR}

tar -zcf $DDIR/${REDISNAME}_${CURTIME}.tar.gz $REDISNAME.aof

if [ $? != 0 ]; then

echo “tar error $REDISNAME.aof” >> $LOGFILE

#exit 1

fi

sleep 5

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgrewriteaof

sleep 5

###? delete old backup data dir? ###

#/bin/rm -rf `date -d -7day +”%Y%m%d”`

find /data/backup/redis/ -mtime +7 | xargs rm -rf

echo “Backup $REDISNAME ok at $CURTIME !” >> $LOGFILE

從庫對所有實例備份（/data/sh/redis_allbak.sh）

#!/bin/sh

CURDATE=`date +%Y%m%d`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

for PORT in `seq 6001 6020`

do

/data/sh/redis_backup.sh slave${PORT} && echo “slave${PORT} ok `date +%Y%m%d_%H%M%S`” >> $LOGFILE 2>&1 || echo “slave${PORT} backup error” >> $LOGFILE 2>&1

done

?

4、操作注意事項

1. 若主庫掛了，不能直接開啟主庫程序。若直接開啟主庫程序?qū)_掉從庫的AOF文件，這樣將導致只能恢復到前一天晚上12的備份。

2. 程序在跑時，不能重啟網(wǎng)絡(luò)(程序是通過網(wǎng)絡(luò)接口的端口進行讀寫的)。網(wǎng)絡(luò)中斷將導致中斷期間數(shù)據(jù)丟失。

3. 確定配置文件全部正確才啟動（尤其不能有數(shù)據(jù)文件名相同），否則會沖掉原來的文件，可能造成無法恢復的損失。

?

5、災難恢復

5.1 主庫故障，快速恢復到最近狀態(tài)

描述：主庫掛了（redis程序掛了/機器宕機了），從庫正常，恢復到主庫掛掉的時間點：去從庫手動做一次快照，拷貝快照到主庫相應目錄，啟動，OK。

在從庫做一次快照，轉(zhuǎn)移快照文件到其他目錄，將快照文件目錄拷貝到主庫相應目錄，啟動主庫，OK!

( /data/sh/redis_bgsave_cp.sh )

#!/bin/bash

REDISPASSWORD=My#redis

for PORT in `seq 6001 6020`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 5

done

sleep 15

for PORT in `seq 6001 6020`

do

SDIR=/data/redis-data/slave${PORT}/

DDIR=/data/redis_recovery/redis-data/

mkdir -p $DDIR/redis${PORT}/

cd $SDIR

cp -rf slave${PORT}.rdb $DDIR/redis${PORT}/redis${PORT}.rdb

#sleep 1

done

在主庫將原來數(shù)據(jù)目錄重命名。

從從庫拷貝快照文件到主庫。

啟動主庫。

5.2 恢復到當天12點狀態(tài)

注意備份數(shù)據(jù)（當前狀態(tài)AOF+正常退出快照）！

停止redis。

解壓AOF（/data/sh/redis_untar.sh）

#!/bin/bash

DAY=20111102

SDIR=/data/backup/redis/20111102_00/

cd $SDIR

for PORT in `seq 6001 6020`

do

tar -zxf slave${PORT}_$DAY_*.tar.gz

sleep 2

done

切割AOF（/data/sh/redis_sed.sh）

#!/bin/bash

DDIR=/data/redis_recovery/

TAG=”TAG111101_1200″

for PORT in `seq 6001 6020`

do

SDIR=/data/backup/redis/20111102_00/

SAOF=${SDIR}/slave${PORT}.aof

line=`sed -n “/$TAG/=” $SAOF`

num=$[$line + 3]

mkdir -p ${DDIR}/slave${PORT}/

sed “${num},\$d” $SAOF > ${DDIR}/slave${PORT}/slave${PORT}.aof

done

將原來數(shù)據(jù)目錄重命名。

將切割出來的AOF目錄重命名為配置文件的數(shù)據(jù)目錄。（注釋主從同步配置項）。

啟動從庫。

做快照，拷貝到主庫，啟動主庫（同5.1）。

5.3 恢復到兩天或幾天前12點狀態(tài)

從庫每晚備份要備份AOF未bgrewriteaof之前的數(shù)據(jù)，可根據(jù)當天晚上12點備份，沒有bfrewriteaof之前的AOF文件來進行恢復，方法同5.2。

?

6、監(jiān)控

6.1 Nagios監(jiān)控

# /usr/local/redis/bin/redis-cli -h 127.0.0.1 -p 6301 -a My#redis info

used_memory_human:1.49G

master_link_status:down????????????????????????? up/down

db0:keys=2079581,expires=0

//監(jiān)控進程數(shù)（每臺機器redis實例數(shù)）

define service{

use???????????????????????? local-service

host_name?????????????????? 119.147.163.xxx

servicegroups???????????????? procs

service_description????????? ???redis_20

check_command?????????????????? check_nrpe!check_procs\!20:20\!20:25\!redis-server

}

//監(jiān)控主從同步狀態(tài)（獲取從庫master_link_status與keys的值）

//status=down直接嚴重警告，keys相差10警告，keys相差100嚴重警告

define service{

use??????????????????? ?? local-service

#??????? hostgroup_name??????? ?? kabuxiyou

host_name?????????????? 119.147.161.xxx

servicegroups????????????????????????????? redis

service_description???? ??????? redis_239

check_command????????? check_nrpe!check_redis_slave\!192.168.0.139\!6379\!127.0.0.1\!6380

}

//監(jiān)控實例內(nèi)存使用大小，1.8G警告，2G嚴重警告

define service{

use??????????? ???????????????????? local-service

#??????? hostgroup_name???????? kabuxiyou

host_name?????????????? 119.147.161.xxx

servicegroups????????????????????????????? redis

service_description?????????????????? redis_mem_22

check_command??????????????????????? check_nrpe!check_redis_mem\!127.0.0.1\!6381

}

?

7、資料

7.1 參考資料

Redis入門手冊(zh_v1.0).pdf

http://www.infoq.com/cn/articles/tq-why-choose-redis

//?為什么使用 Redis及其產(chǎn)品定位

http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage

//?Redis內(nèi)存使用優(yōu)化與存儲

http://www.infoq.com/cn/articles/tq-redis-copy-build-scalable-cluster

//?Redis復制與可擴展集群搭建

http://blog.prosight.me/index.php/2011/08/802

//?Redis中7種集合類型應用場景

7.2 版本

最新穩(wěn)定版：

wget http://redis.googlecode.com/files/redis-2.2.14.tar.gz ? ?// 2011.10.1

wget http://redis.googlecode.com/files/redis-2.4.2.tar.gz ? ?// 2011.11.15

wget http://redis.googlecode.com/files/redis-2.4.10.tar.gz ? ?// 2012.04.16

?

8、卡布西游Redis分布

8.1 服務(wù)器分布

服務(wù)器分布：??????????????????????????????????????????????????????? 實例名：???????????????????????????????????? 端口：

… … …

8.2 mysql轉(zhuǎn)redis規(guī)則

1.Key命名規(guī)則

Key采用字母+數(shù)字的形式 避免多個應用使用同一個key的時候互相覆蓋，主項目中的key采用GJ#[UID] 例:GJ12345678

2.字段命名規(guī)則

主項目中的key內(nèi)包含多個字段 代表多個應用 目前給每個應用預留的字段取值范圍為100(實際使用中字段不應該超過10個左右不然使用哈希的意義不大了)。

當前的預留字段劃分：

100~199為成就相關(guān)(當前使用150、151 對應MySQL的achieve_user表的history與current字段)

200~299為妖怪相關(guān)(當前使用200 對應MySQL的spirit_store表 實際應用時應該會再多2個字段 對應MySQL的spiritmaster與spirit表)

3.實例劃分規(guī)則

預計將劃分40個實例 玩家數(shù)據(jù)根據(jù)玩家的UID取模來分配到不同的實例中(是否再分庫未確定)

4.其他使用Redis劃分規(guī)則

目前莊園也有部分數(shù)據(jù)使用redis 不過數(shù)據(jù)是放在一個單獨的redis實例中(119.147.164.24)

根據(jù)應用不同使用不同的庫和key值 Key命名規(guī)則為[應用名]-[UID] 例: GrowTimes-12345678 / StolenList-12345678

?

9、相關(guān)測試數(shù)據(jù)

//測試數(shù)據(jù)跟存儲的數(shù)據(jù)以及機器硬件配置等有關(guān)，具體環(huán)境可能不太一樣，僅做參考。

9.1 啟動關(guān)閉

啟動：1.6G AOF文件，132M RDB，啟動時間107s，產(chǎn)生debug.log 128M，使用內(nèi)存1.71G。

2G數(shù)據(jù)，啟動約2分鐘，主從同步約2分鐘(內(nèi)網(wǎng))。

關(guān)閉：shutdown時間很短，一般1~2s，shutdown之前必須做save，save時間跟數(shù)據(jù)量有關(guān)，一般幾秒。

9.2 數(shù)據(jù)量大小

簡單set（set a 1），3萬條約1M AOF，300K RDB；12萬條約4M AOF，1M RDB。

set一條記錄，AOF會記錄些什么：

redis> set yuwei wangjiancheng

*3

$3

set

$5

yuwei

$3

wangjiancheng

9.3 備份打包

純文本AOF：

tar -zcf *.tar.gz *????????????? 1.9G / 20s / 16M /

tar -jcf *.tar.bz2 *???????????? 1.9G / 150s / 5.3M /

當前線上使用redis，數(shù)據(jù)導入是二進制流格式（AOF文件為數(shù)據(jù)文件，非文本文件），而且導入前已經(jīng)過一次壓縮，所以壓縮比例很低。

9.4 其他測試

實例配置文件中的數(shù)據(jù)目錄不存在，實例無法啟動。

AOF邊寫邊打包(tar)，不會造成數(shù)據(jù)損壞，tar只是讀文件。

Redis運行過程中刪除數(shù)據(jù)目錄，不能bgsave，不能寫AOF，從庫能同步；從建目錄也不能bgsave，不能寫AOF。

Bgsave是放后臺去執(zhí)行的，所以bgsave;shutdown連寫在一起會出問題，bgsave還未執(zhí)行完就已經(jīng)shutdown了。改用save。

主庫實例重啟后，從庫會重新”全同步”一次，保存數(shù)據(jù)與主庫一致。

網(wǎng)絡(luò)閃斷不會造成主從數(shù)據(jù)丟失，網(wǎng)絡(luò)恢復后可以續(xù)傳。

A實例快照文件，放B實例數(shù)據(jù)目錄啟動（文件名改成B實例數(shù)據(jù)文件），OK!

執(zhí)行rewriteaof/ bgrewriteaof后，reidis根據(jù)內(nèi)存數(shù)據(jù)，重新建立AOF，AOF重新排列順序。

?

10、客戶端連接redis

10.1 PHP

安裝phpredis：

phpredis軟件包地址（試了N個版本 只有這1個能在我們的定制系統(tǒng)環(huán)境裝上 蛋疼）

http://ftp.nluug.nl/pub/NetBSD/packages/distfiles/php-redis/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz

cd /dist/src

tar xzf ../dist/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz

cd nicolasff-phpredis-43bc590

/usr/local/php/bin/phpize

## 如果PHP是安裝的RPM包，需要安裝php-devel

./configure –with-php-config=/usr/local/php/bin/php-config

make && make install

配置php.ini

vi /usr/local/php/lib/php.ini?
加入:?
extension = “redis.so”

重啟 fastcgi 生效 /root/fastcgi_restart?
# php -m??? //查看是否有redis，檢查是否安裝成功。

Redis擴展測試

測試代碼：

<?php$redis?=?new?Redis();$redis->connect(’127.0.0.1′,6379);$redis->set(‘test’,'hello?world!’);echo?$redis->get(‘test’); ?> ?

返回 hello world ！表示成功

## 密碼

$redis->auth(‘My#redis’);

## Error:

configure: error: invalid value of canonical build

## ./configure

./configure –with-php-config=/usr/local/php/bin/php-config

10.2 C++

antirez-hiredis-3cc6a7f.tar.gz?????????????????? 340 KB

這個是官方的庫，里面有個例子

跑這個，帶參數(shù) ./hiredis-test

例子應該是test.c

?

轉(zhuǎn)載于:https://www.cnblogs.com/fvsfvs123/p/4319240.html

總結(jié)

以上是生活随笔為你收集整理的Redis数据存储解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。