学一点Redis基础
生活随笔
收集整理的這篇文章主要介紹了
学一点Redis基础
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
文章目錄
- 學(xué)一點(diǎn)Redis基礎(chǔ)
- **Redis介紹**
- **安裝**
- **配置文件詳解**
- **數(shù)據(jù)類型**
- **字符串類型(string)**
- **==位圖操作bitmap==**
- **列表數(shù)據(jù)類型（List）**
- **==Hash散列數(shù)據(jù)類型==**
- **集合數(shù)據(jù)類型（set）**
- **==有序集合sortedset==**
- **五大數(shù)據(jù)類型及應(yīng)用場景**
- **==數(shù)據(jù)持久化==**
- **==Redis主從復(fù)制==**
- **==官方高可用方案Sentinel==**
- **==分布式鎖==**
- **博客項(xiàng)目解決高并發(fā)問題**
- **Redis事務(wù)**
- **pipeline補(bǔ)充**
- **Redis常見問題匯總**
學(xué)一點(diǎn)Redis基礎(chǔ)
Redis介紹
- 特點(diǎn)及優(yōu)點(diǎn)
- 與其他數(shù)據(jù)庫對比
- 應(yīng)用場景
- redis版本
- Redis附加功能
安裝
- Ubuntu
- Windows
配置文件詳解
- 配置文件所在路徑
- 設(shè)置連接密碼
- 允許遠(yuǎn)程連接
-
遠(yuǎn)程連接測試
Windows連接Ubuntu的Redis服務(wù)
數(shù)據(jù)類型
- 通用命令 適用于所有數(shù)據(jù)類型
字符串類型(string)
- 特點(diǎn)
字符串常用命令-必須掌握
# 1. 設(shè)置一個key-value set key value # 2. 獲取key的值 get key # 3. key不存在時再進(jìn)行設(shè)置(nx) set key value nx # not exists # 4. 設(shè)置過期時間(ex) set key value ex seconds# 5. 同時設(shè)置多個key-value mset key1 value1 key2 value2 key3 value3 # 6. 同時獲取多個key-value mget key1 key2 key3字符串常用命令-作為了解
# 1.獲取長度 strlen key # 2.獲取指定范圍切片內(nèi)容 getrange key start stop # 3.從索引值開始，value替換原內(nèi)容 setrange key index value # 4.追加拼接value的值 append key value數(shù)值操作-字符串類型數(shù)字(必須掌握)
# 整數(shù)操作 INCRBY key 步長 DECRBY key 步長 INCR key : +1操作 DECR key : -1操作 # 應(yīng)用場景: 抖音上有人關(guān)注你了，是不是可以用INCR呢，如果取消關(guān)注了是不是可以用DECR # 浮點(diǎn)數(shù)操作: 自動先轉(zhuǎn)為數(shù)字類型，然后再進(jìn)行相加減，不能使用append incrbyfloat key step鍵的命名規(guī)范
? mset wang:email wangweichao@tedu.cn
127.0.0.1:6379> mset wang:email wangweichao@tedu.cn guo:email guods@tedu.cn OK 127.0.0.1:6379> mget wang:email guo:email 1) "wangweichao@tedu.cn" 2) "guods@tedu.cn" 127.0.0.1:6379>string命令匯總
# 字符串操作 1、set key value 2、set key value nx 3、get key 3、mset key1 value1 key2 value2 4、mget key1 key2 key3 5、set key value nx ex seconds 6、strlen key # 返回舊值并設(shè)置新值（如果鍵不存在，就創(chuàng)建并賦值） 7、getset key value # 數(shù)字操作 7、incrby key 步長 8、decrby key 步長 9、incr key 10、decr key 11、incrbyfloat key number#(可為正數(shù)或負(fù)數(shù)) # 設(shè)置過期時間的兩種方式 # 方式一 1、set key value ex 3 # 方式二 1、set key value 2、expire key 5 # 秒 3、pexpire key 5 # 毫秒 # 查看存活時間 ttl key # 刪除過期 persist key- string數(shù)據(jù)類型注意
練習(xí)
1、查看 db0 庫中所有的鍵# select 0# keys * 2、設(shè)置鍵 trill:username 對應(yīng)的值為 user001，并查看# set trill:username user001 3、獲取 trill:username 值的長度# strlen trill:username 4、一次性設(shè)置 trill:password 、trill:gender、trill:fansnumber 并查看（值自定義）# mset trill:password 123 trill:gender M trill:fansnumber 500 5、查看鍵 trill:score 是否存在# exists trill:score 6、增加10個粉絲# incrby trill:fansnumber 10 7、增加2個粉絲（一個一個加）# incr trill:fansnumber# incr trill:fansnumber 8、有3個粉絲取消關(guān)注你了# decrby trill:fansnumber 3 9、又有1個粉絲取消關(guān)注你了# decr trill:fansnumber 10、思考、思考、思考...,清除當(dāng)前庫# flushdb 11、一萬個思考之后，清除所有庫# flushall位圖操作bitmap
定義
1、位圖不是真正的數(shù)據(jù)類型，它是定義在字符串類型中 2、一個字符串類型的值最多能存儲512M字節(jié)的內(nèi)容，位上限：2^32 # 1MB = 1024KB # 1KB = 1024Byte(字節(jié)) # 1Byte = 8bit(位)強(qiáng)勢點(diǎn)
可以實(shí)時的進(jìn)行統(tǒng)計(jì)，極其節(jié)省空間。 官方在模擬1億2千8百萬用戶的模擬環(huán)境下，在一臺MacBookPro上，典型的統(tǒng)計(jì)如“日用戶數(shù)”的時間消耗小于50ms, 占用16MB內(nèi)存設(shè)置某一位上的值（setbit）
# 設(shè)置某一位上的值（offset是偏移量，從0開始） setbit key offset value # 獲取某一位上的值 GETBIT key offset # 統(tǒng)計(jì)鍵所對應(yīng)的值中有多少個 1 2^32 BITCOUNT key示例
# 默認(rèn)擴(kuò)展位以0填充 127.0.0.1:6379> set mykey ab OK 127.0.0.1:6379> get mykey "ab" 127.0.0.1:6379> SETBIT mykey 0 1 (integer) 0 127.0.0.1:6379> get mykey "\xe1b" 127.0.0.1:6379>獲取某一位上的值
GETBIT key offset
127.0.0.1:6379> GETBIT mykey 3 (integer) 0 127.0.0.1:6379> GETBIT mykey 0 (integer) 1 127.0.0.1:6379>bitcount
統(tǒng)計(jì)鍵所對應(yīng)的值中有多少個 1
127.0.0.1:6379> SETBIT user001 1 1 (integer) 0 127.0.0.1:6379> SETBIT user001 30 1 (integer) 0 127.0.0.1:6379> bitcount user001 (integer) 2 127.0.0.1:6379>應(yīng)用場景案例
# 網(wǎng)站用戶的上線次數(shù)統(tǒng)計(jì)（尋找活躍用戶）用戶名為key，上線的天作為offset，上線設(shè)置為1 # 示例用戶名為 user1:login 的用戶，今年第1天上線，第30天上線SETBIT user1:login 0 1 SETBIT user1:login 29 1BITCOUNT user1:login代碼實(shí)現(xiàn)
import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0)# user001: 一年中第5天和200天登錄 r.setbit('user:001',4,1) r.setbit('user:001',199,1) # user002: 一年中第100天和第300天登錄 r.setbit('user:002',99,1) r.setbit('user:002',299,1) # user:003: 登錄了100次以上 for i in range(1,366,2):r.setbit('user:003',i,1) # user:004: 登錄了100次以上 for i in range(1,366,3):r.setbit('user:004',i,1)user_list = r.keys('user:*')# 存放活躍用戶列表 active_users = [] # 存放不活躍用戶列表 no_active_users = []for user in user_list:login_count = r.bitcount(user)if login_count >= 100:active_users.append((user,login_count))else:no_active_users.append((user,login_count))print('活躍用戶:',active_users) print('不活躍用戶:',no_active_users)列表數(shù)據(jù)類型（List）
- 特點(diǎn)
- 列表常用命令
練習(xí)
1、查看所有的鍵# keys * 2、向列表 spider:urls 中以RPUSH放入如下幾個元素：01_baidu.com、02_taobao.com、03_sina.com、04_jd.com、05_xxx.com# RPUSH spider:urls 01_xxx 02_xxx 03_xxx 3、查看列表中所有元素# LRANGE spider:urls 0 -1 4、查看列表長度# LLEN spider:urls 5、將列表中01_baidu.com 改為 01_tmall.com# LSET spider:urls 0 01_tmall.com 6、在列表中04_jd.com之后再加1個元素 02_taobao.com# LINSERT spider:urls after 04_jd.com 02_taobao.com 7、彈出列表中的最后一個元素# RPOP spider:urls 8、刪除列表中所有的 02_taobao.com# LREM spider:urls 0 02_taobao.com 9、剔除列表中的其他元素，只剩前3條# LTRIM spider:urls 0 2Hash散列數(shù)據(jù)類型
- 定義
| username | lya |
| age | 25 |
| gender | F |
| score | 100 |
| hobby | rap |
| key | filed | value |
| name | Lucy | |
| age | 18 | |
| username | gender | F |
| score | 100 | |
| hobby | rap |
- 優(yōu)點(diǎn)
- 缺點(diǎn)（不適合hash情況）
- 基本命令操作
Hash與python交互
# 1、更新一條數(shù)據(jù)的屬性，沒有則新建 hset(name, key, value) # 2、讀取這條數(shù)據(jù)的指定屬性， 返回字符串類型 hget(name, key) # 3、批量更新數(shù)據(jù)（沒有則新建）屬性,參數(shù)為字典 hmset(name, mapping) # 4、批量讀取數(shù)據(jù)（沒有則新建）屬性 hmget(name, keys) # 5、獲取這條數(shù)據(jù)的所有屬性和對應(yīng)的值，返回字典類型 hgetall(name) # 6、獲取這條數(shù)據(jù)的所有屬性名，返回列表類型 hkeys(name) # 7、刪除這條數(shù)據(jù)的指定屬性 hdel(name, *keys)Python代碼hash散列
'''設(shè)置1個字段,更改1個字段,設(shè)置多個字段,獲取相關(guān)信息''' import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0) # 設(shè)置 r.hset('user1','name','bujingyun') # 更新 r.hset('user1','name','kongci') # 取數(shù)據(jù) print(r.hget('user1','name')) # 一次設(shè)置多個field和value user_dict = {'password':'123456','gender':'F','height':'165' } r.hmset('user1',user_dict) # 獲取所有數(shù)據(jù),字典 print(r.hgetall('user1'))# 獲取所有fields和所有values print(r.hkeys('user1')) print(r.hvals('user1'))應(yīng)用場景：微博好友關(guān)注
1、用戶ID為key，Field為好友ID，Value為關(guān)注時間key field valueuser:10000 user:606 20190520user:605 20190521 2、用戶維度統(tǒng)計(jì)統(tǒng)計(jì)數(shù)包括：關(guān)注數(shù)、粉絲數(shù)、喜歡商品數(shù)、發(fā)帖數(shù)用戶為key，不同維度為field，value為統(tǒng)計(jì)數(shù)比如關(guān)注了5人HSET user:10000 fans 5HINCRBY user:10000 fans 1應(yīng)用場景: redis+mysql+hash組合使用
-
原理
用戶想要查詢個人信息 1、到redis緩存中查詢個人信息 2、redis中查詢不到，到mysql查詢，并緩存到redis 3、再次查詢個人信息 -
代碼實(shí)現(xiàn)
import redis import pymysql# 1. 先到redis中查詢 # 2. redis中沒有,到mysql查詢,緩存到redis(設(shè)置過期時間) # 3. 再查詢1次 r = redis.Redis(host='192.168.153.148',port=6379,db=0) username = input('請輸入用戶名:')result = r.hgetall(username) if result:print(result) else:# redis中沒有緩存,需要到mysql中查詢db = pymysql.connect(host='192.168.153.148',user='tiger',password='123456',database='userdb',charset='utf8')cursor = db.cursor()sele = 'select age,gender from user where username=%s'cursor.execute(sele,[username])# userinfo: (('guoxiaonao',36,'M'),)userinfo = cursor.fetchall()if not userinfo:print('用戶不存在')else:# 打印輸出print('mysql',userinfo)# 緩存到redisuser_dict = {'age':userinfo[0][0],'gender':userinfo[0][1]}r.hmset(username,user_dict)# 設(shè)置過期時間r.expire(username,30)
mysql數(shù)據(jù)庫中數(shù)據(jù)更新信息后同步到redis緩存
用戶修改個人信息時，要將數(shù)據(jù)同步到redis緩存
import redis import pymysqlclass Update(object):def __init__(self):self.db = pymysql.connect('127.0.0.1', 'root', '123456','userdb', charset='utf8')self.cursor = self.db.cursor()self.r = redis.Redis(host='127.0.0.1', port=6379, db=0)# 更新mysql表記錄def update_mysql(self,score,username):upd = 'update user set score=%s where name=%s'try:self.cursor.execute(upd,[score,username])self.db.commit()return Trueexcept Exception as e:self.db.rollback()print('Failed',e)# 同步到redis數(shù)據(jù)庫def update_redis(self,username,score):result = self.r.hgetall(username)# 存在,更新score字段的值# 不存在,緩存整個用戶信息if result:self.r.hset(username,'score',score)else:# 到mysql中查詢最新數(shù)據(jù),緩存到redis中self.select_mysql(username)#def select_mysql(self,username):sel = 'select age,gender,score from user where name=%s'self.cursor.execute(sel,[username])result = self.cursor.fetchall()# 緩存到redis數(shù)據(jù)庫user_dict = {'age' : result[0][0],'gender' : result[0][1],'score' : result[0][2]}self.r.hmset(username,user_dict)self.r.expire(username,60)def main(self):username = input('請輸入用戶名:')new_score = input('請輸入新成績:')if self.update_mysql(new_score,username):self.update_redis(username,new_score)else:print('更改信息失敗')if __name__ == '__main__':syn = Update()syn.main()集合數(shù)據(jù)類型（set）
- 特點(diǎn)
- 基本命令
案例: 新浪微博的共同關(guān)注
# 需求: 當(dāng)用戶訪問另一個用戶的時候，會顯示出兩個用戶共同關(guān)注過哪些相同的用戶 # 設(shè)計(jì): 將每個用戶關(guān)注的用戶放在集合中，求交集即可 # 實(shí)現(xiàn):user001 = {'peiqi','qiaozhi','danni'}user002 = {'peiqi','qiaozhi','lingyang'}user001和user002的共同關(guān)注為:SINTER user001 user002結(jié)果為: {'peiqi','qiaozhi'}python操作set
# 1、給name對應(yīng)的集合中添加元素 sadd(name,values) r.sadd("set_name","tom") r.sadd("set_name","tom","jim")# 2、獲取name對應(yīng)的集合的所有成員: python集合 smembers(name) r.smembers('set_name')# 3、獲取name對應(yīng)的集合中的元素個數(shù) scard(name) r.scard("set_name")# 4、檢查value是否是name對應(yīng)的集合內(nèi)的元素:True|False sismember(name, value) r.sismember('set_name','tom')# 5、隨機(jī)刪除并返回指定集合的一個元素 spop(name) member = r.spop('set_name')# 6、刪除集合中的某個元素 srem(name, value) r.srem("set_name", "tom")# 7、獲取多個name對應(yīng)集合的交集 sinter(keys, *args)r.sadd("set_name","a","b") r.sadd("set_name1","b","c") r.sadd("set_name2","b","c","d")print(r.sinter("set_name","set_name1","set_name2")) #輸出:｛b'b'｝# 8、獲取多個name對應(yīng)的集合的并集: python集合 sunion(keys, *args) r.sunion("set_name","set_name1","set_name2")python代碼實(shí)現(xiàn)微博關(guān)注
import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0)# user1關(guān)注的人 r.sadd('user1:focus','peiqi','qiaozhi','danni') # user2關(guān)注的人 r.sadd('user2:focus','peiqi','qiaozhi','lingyang') # 共同關(guān)注: 求交集 {b'qiaozhi', b'peiqi'} focus_set = r.sinter('user1:focus','user2:focus')# 創(chuàng)建空集合,存放最終結(jié)果 result = set()for focus in focus_set:result.add(focus.decode())print(result)有序集合sortedset
- 特點(diǎn)
-
示例
一個保存了水果價(jià)格的有序集合
| 元素 | 西瓜 | 葡萄 | 芒果 | 香蕉 | 蘋果 |
? 一個保存了員工薪水的有序集合
| 元素 | lucy | tom | jim | jack |
? 一個保存了正在閱讀某些技術(shù)書的人數(shù)
| 元素 | 核心編程 | 阿凡提 | 本拉登 | 阿姆斯特朗 | 比爾蓋茨 |
- 有序集合常用命令
python操作sorted set
import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0) # 注意第二個參數(shù)為字典 # 命令行:ZADD salary 6000 tom 8000 jim r.zadd('salary',{'tom':6000,'jim':8000,'jack':12000}) # 結(jié)果為列表中存放元組[(),(),()] print(r.zrange('salary',0,-1,withscores=True)) print(r.zrevrange('salary',0,-1,withscores=True)) # start:起始值,num:顯示條數(shù) print(r.zrangebyscore('salary',6000,12000,start=1,num=2,withscores=True)) # 刪除 r.zrem('salary','tom') print(r.zrange('salary',0,-1,withscores=True)) # 增加分值 r.zincrby('salary',5000,'jack') print(r.zrange('salary',0,-1,withscores=True)) # 返回元素排名 print(r.zrank('salary','jack')) print(r.zrevrank('salary','jack')) # 刪除指定區(qū)間內(nèi)的元素 r.zremrangebyscore('salary',6000,8000) print(r.zrange('salary',0,-1,withscores=True)) # 統(tǒng)計(jì)元素個數(shù) print(r.zcard('salary')) # 返回指定范圍內(nèi)元素個數(shù) print(r.zcount('salary',6000,20000)) # 并集 r.zadd('salary2',{'jack':17000,'lucy':8000}) r.zunionstore('salary3',('salary','salary2'),aggregate='max') print(r.zrange('salary3',0,-1,withscores=True)) # 交集 r.zinterstore('salary4',('salary','salary2'),aggregate='max') print(r.zrange('salary4',0,-1,withscores=True))案例1：網(wǎng)易音樂排行榜
1、每首歌的歌名作為元素 2、每首歌的播放次數(shù)作為分值 3、使用ZREVRANGE來獲取播放次數(shù)最多的歌曲代碼實(shí)現(xiàn)
import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0)# 有序集合中添加了8首歌曲 r.zadd('ranking',{'song1':1,'song2':1,'song3':1,'song4':1}) r.zadd('ranking',{'song5':1,'song6':1,'song7':1,'song8':1}) # 指定成員增加分值 r.zincrby('ranking',50,'song3') r.zincrby('ranking',60,'song4') r.zincrby('ranking',70,'song8') # 獲取前3名: [('song8',71),(),()] rlist = r.zrevrange('ranking',0,2,withscores=True)i = 1 for name in rlist:print('第{}名:{} 播放次數(shù):{}'.format(i,name[0].decode(),int(name[1])))i += 1# 第1名:song8 播放次數(shù):71# 第2名:song4 播放次數(shù):61# 第3名:song3 播放次數(shù):51案例2: 京東商品暢銷榜
# 第1天 ZADD mobile-001 5000 'huawei' 4000 'oppo' 3000 'iphone' # 第2天 ZADD mobile-002 5200 'huawei' 4300 'oppo' 3230 'iphone' # 第3天 ZADD mobile-003 5500 'huawei' 4660 'oppo' 3580 'iphone' 問題：如何獲取三款手機(jī)的銷量排名？ ZUNIONSTORE mobile-001:003 mobile-001 mobile-002 mobile-003 # 可否？ # 正確 方法1: ZRANGE mobile-003 0 -1 WITHSCORES 方法2: ZUNIONSTORE mobile-001:003 3 mobile-001 mobile-002 mobile-003 AGGREGATE MAXpython代碼實(shí)現(xiàn)
import redisr = redis.Redis(host='127.0.0.1',port=6379,db=0)day01_dict = {'huawei':5000,'oppo':4000,'iphone':3000 } day02_dict = {'huawei':5200,'oppo':4300,'iphone':3230 } day03_dict = {'huawei':5500,'oppo':4400,'iphone':3600 }r.zadd('mobile-001',day01_dict) r.zadd('mobile-002',day02_dict) r.zadd('mobile-003',day03_dict)# 并集,第二個參數(shù)為元組 r.zunionstore('mobile-001:003',('mobile-001','mobile-002','mobile-003'),aggregate='max' ) # 逆序:[(),(),()] rlist = r.zrevrange('mobile-001:003',0,2,withscores=True)for r in rlist:print('{}-{}'.format(r[0].decode(),int(r[1])))五大數(shù)據(jù)類型及應(yīng)用場景
| string | 簡單key-value類型，value可為字符串和數(shù)字 | 常規(guī)計(jì)數(shù)（微博數(shù), 粉絲數(shù)等功能） |
| hash | 是一個string類型的field和value的映射表，hash特別適合用于存儲對象 | 存儲部分可能需要變更的數(shù)據(jù)（比如用戶信息） |
| list | 有序可重復(fù)列表 | 關(guān)注列表，粉絲列表，消息隊(duì)列等 |
| set | 無序不可重復(fù)列表 | 存儲并計(jì)算關(guān)系（如微博，關(guān)注人或粉絲存放在集合，可通過交集、并集、差集等操作實(shí)現(xiàn)如共同關(guān)注、共同喜好等功能） |
| sorted set | 每個元素帶有分值的集合 | 各種排行榜 |
數(shù)據(jù)持久化
持久化定義
將數(shù)據(jù)從掉電易失的內(nèi)存放到永久存儲的設(shè)備上為什么需要持久化
因?yàn)樗械臄?shù)據(jù)都在內(nèi)存上，所以必須得持久化- 數(shù)據(jù)持久化分類之 - RDB模式（默認(rèn)開啟）
默認(rèn)模式
1、保存真實(shí)的數(shù)據(jù) 2、將服務(wù)器包含的所有數(shù)據(jù)庫數(shù)據(jù)以二進(jìn)制文件的形式保存到硬盤里面 3、默認(rèn)文件名 ：/var/lib/redis/dump.rdb創(chuàng)建rdb文件的兩種方式
**方式一：**服務(wù)器執(zhí)行客戶端發(fā)送的SAVE或者BGSAVE命令
127.0.0.1:6379> SAVE OK # 特點(diǎn) 1、執(zhí)行SAVE命令過程中，redis服務(wù)器將被阻塞，無法處理客戶端發(fā)送的命令請求，在SAVE命令執(zhí)行完畢后，服務(wù)器才會重新開始處理客戶端發(fā)送的命令請求 2、如果RDB文件已經(jīng)存在，那么服務(wù)器將自動使用新的RDB文件代替舊的RDB文件 # 工作中定時持久化保存一個文件127.0.0.1:6379> BGSAVE Background saving started # 執(zhí)行過程如下 1、客戶端 發(fā)送 BGSAVE 給服務(wù)器 2、服務(wù)器馬上返回 Background saving started 給客戶端 3、服務(wù)器 fork() 子進(jìn)程做這件事情 4、服務(wù)器繼續(xù)提供服務(wù) 5、子進(jìn)程創(chuàng)建完RDB文件后再告知Redis服務(wù)器# 配置文件相關(guān)操作 /etc/redis/redis.conf 263行: dir /var/lib/redis # 表示rdb文件存放路徑 253行: dbfilename dump.rdb # 文件名# 兩個命令比較 SAVE比BGSAVE快，因?yàn)樾枰獎?chuàng)建子進(jìn)程，消耗額外的內(nèi)存# 補(bǔ)充：可以通過查看日志文件來查看redis都做了哪些操作 # 日志文件：配置文件中搜索 logfile logfile /var/log/redis/redis-server.log方式二：設(shè)置配置文件條件滿足時自動保存（使用最多）
# 命令行示例 redis>save 300 10表示如果距離上一次創(chuàng)建RDB文件已經(jīng)過去了300秒，并且服務(wù)器的所有數(shù)據(jù)庫總共已經(jīng)發(fā)生了不少于10次修改，那么自動執(zhí)行BGSAVE命令 redis>save 60 10000表示如果距離上一次創(chuàng)建rdb文件已經(jīng)過去60秒，并且服務(wù)器所有數(shù)據(jù)庫總共已經(jīng)發(fā)生了不少于10000次修改，那么執(zhí)行bgsave命令# redis配置文件默認(rèn) 218行: save 900 1 219行: save 300 10 220行: save 60 100001、只要三個條件中的任意一個被滿足時，服務(wù)器就會自動執(zhí)行BGSAVE2、每次創(chuàng)建RDB文件之后，服務(wù)器為實(shí)現(xiàn)自動持久化而設(shè)置的時間計(jì)數(shù)器和次數(shù)計(jì)數(shù)器就會被清零，并重新開始計(jì)數(shù)，所以多個保存條件的效果不會疊加- 數(shù)據(jù)持久化分類之 - AOF（AppendOnlyFile，默認(rèn)未開啟）
特點(diǎn)
1、存儲的是命令，而不是真實(shí)數(shù)據(jù) 2、默認(rèn)不開啟 # 開啟方式（修改配置文件） 1、/etc/redis/redis.conf672行: appendonly yes # 把 no 改為 yes676行: appendfilename "appendonly.aof" 2、重啟服務(wù)sudo /etc/init.d/redis-server restartRDB缺點(diǎn)
1、創(chuàng)建RDB文件需要將服務(wù)器所有的數(shù)據(jù)庫的數(shù)據(jù)都保存起來，這是一個非常消耗資源和時間的操作，所以服務(wù)器需要隔一段時間才創(chuàng)建一個新的RDB文件，也就是說，創(chuàng)建RDB文件不能執(zhí)行的過于頻繁，否則會嚴(yán)重影響服務(wù)器的性能 2、可能丟失數(shù)據(jù)AOF持久化原理及優(yōu)點(diǎn)
# 原理1、每當(dāng)有修改數(shù)據(jù)庫的命令被執(zhí)行時，服務(wù)器就會將執(zhí)行的命令寫入到AOF文件的末尾2、因?yàn)锳OF文件里面存儲了服務(wù)器執(zhí)行過的所有數(shù)據(jù)庫修改的命令，所以給定一個AOF文件，服務(wù)器只要重新執(zhí)行一遍AOF文件里面包含的所有命令，就可以達(dá)到還原數(shù)據(jù)庫的目的# 優(yōu)點(diǎn)用戶可以根據(jù)自己的需要對AOF持久化進(jìn)行調(diào)整，讓Redis在遭遇意外停機(jī)時不丟失任何數(shù)據(jù)，或者只丟失一秒鐘的數(shù)據(jù)，這比RDB持久化丟失的數(shù)據(jù)要少的多安全性問題考慮
# 因?yàn)?/span>雖然服務(wù)器執(zhí)行一個修改數(shù)據(jù)庫的命令，就會把執(zhí)行的命令寫入到AOF文件，但這并不意味著AOF文件持久化不會丟失任何數(shù)據(jù)，在目前常見的操作系統(tǒng)中，執(zhí)行系統(tǒng)調(diào)用write函數(shù)，將一些內(nèi)容寫入到某個文件里面時，為了提高效率，系統(tǒng)通常不會直接將內(nèi)容寫入硬盤里面，而是將內(nèi)容放入一個內(nèi)存緩存區(qū)（buffer）里面，等到緩沖區(qū)被填滿時才將存儲在緩沖區(qū)里面的內(nèi)容真正寫入到硬盤里# 所以1、AOF持久化：當(dāng)一條命令真正的被寫入到硬盤里面時，這條命令才不會因?yàn)橥C(jī)而意外丟失2、AOF持久化在遭遇停機(jī)時丟失命令的數(shù)量，取決于命令被寫入到硬盤的時間3、越早將命令寫入到硬盤，發(fā)生意外停機(jī)時丟失的數(shù)據(jù)就越少，反之亦然策略 - 配置文件
# 打開配置文件:/etc/redis/redis.conf，找到相關(guān)策略如下 1、701行: alwarys服務(wù)器每寫入一條命令，就將緩沖區(qū)里面的命令寫入到硬盤里面，服務(wù)器就算意外停機(jī)，也不會丟失任何已經(jīng)成功執(zhí)行的命令數(shù)據(jù) 2、702行: everysec（# 默認(rèn)）服務(wù)器每一秒將緩沖區(qū)里面的命令寫入到硬盤里面，這種模式下，服務(wù)器即使遭遇意外停機(jī)，最多只丟失1秒的數(shù)據(jù) 3、703行: no服務(wù)器不主動將命令寫入硬盤,由操作系統(tǒng)決定何時將緩沖區(qū)里面的命令寫入到硬盤里面，丟失命令數(shù)量不確定# 運(yùn)行速度比較 always：速度慢 everysec和no都很快，默認(rèn)值為everysecAOF文件中是否會產(chǎn)生很多的冗余命令？
為了讓AOF文件的大小控制在合理范圍，避免胡亂增長，redis提供了AOF重寫功能，通過這個功能，服務(wù)器可以產(chǎn)生一個新的AOF文件-- 新的AOF文件記錄的數(shù)據(jù)庫數(shù)據(jù)和原由的AOF文件記錄的數(shù)據(jù)庫數(shù)據(jù)完全一樣-- 新的AOF文件會使用盡可能少的命令來記錄數(shù)據(jù)庫數(shù)據(jù)，因此新的AOF文件的提及通常會小很多-- AOF重寫期間，服務(wù)器不會被阻塞，可以正常處理客戶端發(fā)送的命令請求示例
| select 0 | SELECT 0 |
| sadd myset peiqi | SADD myset peiqi qiaozhi danni lingyang |
| sadd myset qiaozhi | SET msg ‘hello tarena’ |
| sadd myset danni | RPUSH mylist 2 3 5 |
| sadd myset lingyang | |
| INCR number | |
| INCR number | |
| DEL number | |
| SET message ‘hello world’ | |
| SET message ‘hello tarena’ | |
| RPUSH mylist 1 2 3 | |
| RPUSH mylist 5 | |
| LPOP mylist |
AOF文件重寫方法觸發(fā)
1、客戶端向服務(wù)器發(fā)送BGREWRITEAOF命令127.0.0.1:6379> BGREWRITEAOFBackground append only file rewriting started2、修改配置文件讓服務(wù)器自動執(zhí)行BGREWRITEAOF命令auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb# 解釋1、只有當(dāng)AOF文件的增量大于100%時才進(jìn)行重寫，也就是大一倍的時候才觸發(fā)# 第一次重寫新增：64M# 第二次重寫新增：128M# 第三次重寫新增：256M（新增128M）RDB和AOF持久化對比
| 全量備份，一次保存整個數(shù)據(jù)庫 | 增量備份，一次保存一個修改數(shù)據(jù)庫的命令 |
| 保存的間隔較長 | 保存的間隔默認(rèn)為一秒鐘 |
| 數(shù)據(jù)還原速度快 | 數(shù)據(jù)還原速度一般，冗余命令多，還原速度慢 |
| 執(zhí)行SAVE命令時會阻塞服務(wù)器，但手動或者自動觸發(fā)的BGSAVE不會阻塞服務(wù)器 | 無論是平時還是進(jìn)行AOF重寫時，都不會阻塞服務(wù)器 |
數(shù)據(jù)恢復(fù)（無需手動操作）
既有dump.rdb，又有appendonly.aof，恢復(fù)時找誰？ 先找appendonly.aof配置文件常用配置總結(jié)
# 設(shè)置密碼 1、requirepass password # 開啟遠(yuǎn)程連接 2、bind 127.0.0.1 ::1 注釋掉 3、protected-mode no 把默認(rèn)的 yes 改為 no # rdb持久化-默認(rèn)配置 4、dbfilename 'dump.rdb' 5、dir /var/lib/redis # rdb持久化-自動觸發(fā)(條件) 6、save 900 1 7、save 300 10 8、save 60 10000 # aof持久化開啟 9、appendonly yes 10、appendfilename 'appendonly.aof' # aof持久化策略 11、appendfsync always 12、appendfsync everysec # 默認(rèn) 13、appendfsync no # aof重寫觸發(fā) 14、auto-aof-rewrite-percentage 100 15、auto-aof-rewrite-min-size 64mb # 設(shè)置為從服務(wù)器 16、salveof <master-ip> <master-port>Redis相關(guān)文件存放路徑
1、配置文件: /etc/redis/redis.conf 2、備份文件: /var/lib/redis/*.rdb|*.aof 3、日志文件: /var/log/redis/redis-server.log 4、啟動文件: /etc/init.d/redis-server # /etc/下存放配置文件 # /etc/init.d/下存放服務(wù)啟動文件Redis主從復(fù)制
- 定義
- 作用
- 原理
-
兩種實(shí)現(xiàn)方式
方式一（Linux命令行實(shí)現(xiàn)1）
redis-server --slaveof
方式一（Redis命令行實(shí)現(xiàn)2）
# 兩條命令 1、>slaveof IP PORT 2、>slaveof no one示例
# 服務(wù)端啟動 redis-server --port 6301 # 客戶端連接 tarena@tedu:~$ redis-cli -p 6301 127.0.0.1:6301> keys * 1) "myset" 2) "mylist" 127.0.0.1:6301> set mykey 123 OK # 切換為從 127.0.0.1:6301> slaveof 127.0.0.1 6379 OK 127.0.0.1:6301> set newkey 456 (error) READONLY You can't write against a read only slave. 127.0.0.1:6301> keys * 1) "myset" 2) "mylist" # 再切換為主 127.0.0.1:6301> slaveof no one OK 127.0.0.1:6301> set name hello OK方式二(修改配置文件)
# 每個redis服務(wù),都有1個和他對應(yīng)的配置文件 # 兩個redis服務(wù)1、6379 -> /etc/redis/redis.conf2、6300 -> /home/tarena/redis_6300.conf# 修改配置文件 vi redis_6300.conf slaveof 127.0.0.1 6379 port 6300 # 啟動redis服務(wù) redis-server redis_6300.conf # 客戶端連接測試 redis-cli -p 6300 127.0.0.1:6300> hset user:1 username guods (error) READONLY You can't write against a read only slave.問題總結(jié)：master掛了怎么辦？
1、一個Master可以有多個Slaves 2、Slave下線，只是讀請求的處理性能下降 3、Master下線，寫請求無法執(zhí)行 4、其中一臺Slave使用SLAVEOF no one命令成為Master，其他Slaves執(zhí)行SLAVEOF命令指向這個新的Master，從它這里同步數(shù)據(jù) # 以上過程是手動的，能夠?qū)崿F(xiàn)自動，這就需要Sentinel哨兵，實(shí)現(xiàn)故障轉(zhuǎn)移Failover操作演示
1、啟動端口6400redis，設(shè)置為6379的slaveredis-server --port 6400redis-cli -p 6400redis>slaveof 127.0.0.1 6379 2、啟動端口6401redis，設(shè)置為6379的slaveredis-server --port 6401redis-cli -p 6401redis>slaveof 127.0.0.1 6379 3、關(guān)閉6379redissudo /etc/init.d/redis-server stop 4、把6400redis設(shè)置為masterredis-cli -p 6401redis>slaveof no one 5、把6401的redis設(shè)置為6400redis的salveredis-cli -p 6401redis>slaveof 127.0.0.1 6400 # 這是手動操作，效率低，而且需要時間，有沒有自動的？？？官方高可用方案Sentinel
Redis之哨兵 - sentinel
1、Sentinel會不斷檢查Master和Slaves是否正常 2、每一個Sentinel可以監(jiān)控任意多個Master和該Master下的Slaves案例演示
? **1、**環(huán)境搭建
# 共3臺redis的服務(wù)器，如果是不同機(jī)器端口號可以是一樣的 1、啟動6379的redis服務(wù)器sudo /etc/init.d/redis-server start 2、啟動6380的redis服務(wù)器，設(shè)置為6379的從redis-server --port 6380tarena@tedu:~$ redis-cli -p 6380127.0.0.1:6380> slaveof 127.0.0.1 6379OK 3、啟動6381的redis服務(wù)器，設(shè)置為6379的從redis-server --port 6381tarena@tedu:~$ redis-cli -p 6381127.0.0.1:6381> slaveof 127.0.0.1 6379? **2、**安裝并搭建sentinel哨兵
# 1、安裝redis-sentinel sudo apt install redis-sentinel 驗(yàn)證: sudo /etc/init.d/redis-sentinel stop # 2、新建配置文件sentinel.conf port 26379 Sentinel monitor tedu 127.0.0.1 6379 1# 3、啟動sentinel 方式一: redis-sentinel sentinel.conf 方式二: redis-server sentinel.conf --sentinel#4、將master的redis服務(wù)終止，查看從是否會提升為主 sudo /etc/init.d/redis-server stop # 發(fā)現(xiàn)提升6381為master，其他兩個為從 # 在6381上設(shè)置新值，6380查看 127.0.0.1:6381> set name tedu OK# 啟動6379，觀察日志，發(fā)現(xiàn)變?yōu)榱?381的從 主從+哨兵基本就夠用了sentinel.conf解釋
# sentinel監(jiān)聽端口，默認(rèn)是26379，可以修改 port 26379 # 告訴sentinel去監(jiān)聽地址為ip:port的一個master，這里的master-name可以自定義，quorum是一個數(shù)字，指明當(dāng)有多少個sentinel認(rèn)為一個master失效時，master才算真正失效 sentinel monitor <master-name> <ip> <redis-port> <quorum>生產(chǎn)環(huán)境中設(shè)置哨兵sentinel
1、安裝sentinelsudo apt-get install redis-sentinel 2、創(chuàng)建配置文件 sentinel.confport 26379Sentinel monitor 名字 IP PORT 投票數(shù) 3、啟動sentinel開始監(jiān)控redis-sentinel sentinel.conf分布式鎖
高并發(fā)產(chǎn)生的問題？
1、購票: 多個用戶搶到同一張票？ 2、購物: 庫存只剩1個,被多個用戶成功買到？ ... ...怎么辦？
在不同進(jìn)程需要互斥地訪問共享資源時，分布式鎖是一種非常有用的技術(shù)手段原理
1、多個客戶端先到redis數(shù)據(jù)庫中獲取一把鎖,得到鎖的用戶才可以操作數(shù)據(jù)庫 2、此用戶操作完成后釋放鎖，下一個成功獲取鎖的用戶再繼續(xù)操作數(shù)據(jù)庫實(shí)現(xiàn)
set key value nx ex 3 # 見圖: 分布式鎖原理.png博客項(xiàng)目解決高并發(fā)問題
1、在數(shù)據(jù)庫中創(chuàng)建庫 blog，指定字符編碼utf8
mysql -uroot -p123456 mysql>create database wiki charset utf8;2、同步數(shù)據(jù)庫，并在user_profile中插入表記錄
1、python3 manage.py makemigrations 2、python3 manage.py migrate 3、insert into user_profile values ('guoxiaonao','guoxiaonao','guoxiaonao@tedu.cn','123456','aaaaaaaa','bbbbbbbb','cccccccc');3、啟動django項(xiàng)目，并找到django路由測試 test函數(shù)
1、python3 manage.py runserver 2、查看項(xiàng)目的 urls.py 路由，打開firefox瀏覽器輸入地址：http://127.0.0.1:8000/test/ # 返回結(jié)果： {"code": 200}4、在數(shù)據(jù)庫表中創(chuàng)建測試字段score
1、user/models.py添加:score = models.IntegerField(verbose_name=u'分?jǐn)?shù)',null=True,default=0) 2、同步到數(shù)據(jù)庫python3 manage.py makemigrations userpython3 manage.py migrate user 3、到數(shù)據(jù)庫中確認(rèn)查看3、在wiki/views.py中補(bǔ)充 test函數(shù)，對數(shù)據(jù)庫中score字段進(jìn)行 +1 操作
from user.models import UserProfile def test(request):u = UserProfile.objects.get(username='guoxiaonao')u.score += 1u.save()return JsonResponse('HI HI HI')4、啟多個服務(wù)端，模擬30個并發(fā)請求
(1)多臺服務(wù)器啟動項(xiàng)目
python3 manage.py runserver 127.0.0.1:8000 python3 manage.py runserver 127.0.0.1:8001(2)在tools中新建py文件 test_api.py，模擬30個并發(fā)請求
import threading import requests import randomdef getRequest():url='http://127.0.0.1:8000/test/'url2='http://127.0.0.1:8001/test/'get_url = random.choice([url, url2])requests.get(get_url)ts = [] for i in range(30):t=threading.Thread(target=getRequest,args=())ts.append(t)if __name__ == '__main__':for t in ts:t.start()for t in ts:t.join()(3) python3 test_api.py
(4) 在數(shù)據(jù)庫中查看 score 字段的值
并沒有+30，而且沒有規(guī)律，每次加的次數(shù)都不同，如何解決？？？解決方案：redis分布式鎖
def test(request):# 解決方法二:redis分布式鎖import redispool = redis.ConnectionPool(host='localhost', port=6379, db=0)r = redis.Redis(connection_pool=pool)while True:try:with r.lock('guoxiaonao', blocking_timeout=3) as lock:u = UserProfile.objects.get(username='guoxiaonao')u.score += 1u.save()breakexcept Exception as e:print('lock is failed')return JsonResponse({'code':200,'data':{}})Redis事務(wù)
特點(diǎn)
1. 單獨(dú)的隔離操作：事務(wù)中的所有命令會被序列化、按順序執(zhí)行，在執(zhí)行的過程中不會被其他客戶端發(fā)送來的命令打斷 2. 不保證原子性：redis中的一個事務(wù)中如果存在命令執(zhí)行失敗，那么其他命令依然會被執(zhí)行，沒有回滾機(jī)制事務(wù)命令
1、MULTI # 開啟事務(wù) 2、命令1 # 執(zhí)行命令 3、命令2 ... ... 4、EXEC # 提交到數(shù)據(jù)庫執(zhí)行 4、DISCARD # 取消事務(wù)使用步驟
# 開啟事務(wù) 127.0.0.1:6379> MULTI OK # 命令1入隊(duì)列 127.0.0.1:6379> INCR n1 QUEUED # 命令2入隊(duì)列 127.0.0.1:6379> INCR n2 QUEUED # 提交到數(shù)據(jù)庫執(zhí)行 127.0.0.1:6379> EXEC 1) (integer) 1 2) (integer) 1事務(wù)中命令錯誤處理
# 1、命令語法錯誤，命令入隊(duì)失敗，直接自動discard退出這個事務(wù)這個在命令在執(zhí)行調(diào)用之前會發(fā)生錯誤。例如，這個命令可能有語法錯誤（錯誤的參數(shù)數(shù)量，錯誤的命令名）處理方案：客戶端發(fā)生了第一個錯誤情況，在exec執(zhí)行之前發(fā)生的。通過檢查隊(duì)列命令返回值:如果這個命令回答這個隊(duì)列的命令是正確的，否者redis會返回一個錯誤。如果那里發(fā)生了一個隊(duì)列命令錯誤，大部分客戶端將會退出并丟棄這個事務(wù)# 2、命令語法沒錯，但類型操作有誤，則事務(wù)執(zhí)行調(diào)用之后失敗，無法進(jìn)行事務(wù)回滾從我們施行了一個由于錯誤的value的ke y操作（例如對著String類型的value施行了List命令操作）處理方案：發(fā)生在EXEC之后的是沒有特殊方式去處理的：即使某些命令在事務(wù)中失敗，所有的其他命令都將會被執(zhí)行。 127.0.0.1:6379> MULTI OK 127.0.0.1:6379> set num 10 QUEUED 127.0.0.1:6379> LPOP num QUEUED 127.0.0.1:6379> exec 1) OK 2) (error) WRONGTYPE Operation against a key holding the wrong kind of value 127.0.0.1:6379> get num "10" 127.0.0.1:6379>為什么redis不支持事務(wù)回滾
- 觀點(diǎn)
pipeline補(bǔ)充
python使用pipeline()與execute()批量進(jìn)行批量操作
示例
import redis# 創(chuàng)建連接池并連接到redis pool = redis.ConnectionPool(host = '192.168.153.150',db=0,port=6379) r = redis.Redis(connection_pool=pool)# 第一組 pipe = r.pipeline() pipe.set('fans',50) pipe.incr('fans') pipe.incrby('fans',100) pipe.execute()# 第二組 pipe.get('fans') pipe.get('pwd') # [b'151', b'123'] result = pipe.execute() print(result)Redis常見問題匯總
- Redis優(yōu)點(diǎn)
-
來介紹一下redis中的數(shù)據(jù)類型
類型特點(diǎn)使用場景 string 簡單key-value類型，value可為字符串和數(shù)字 常規(guī)計(jì)數(shù)（微博數(shù), 粉絲數(shù)等功能） hash 是一個string類型的field和value的映射表，hash特別適合用于存儲對象 存儲部分可能需要變更的數(shù)據(jù)（比如用戶信息） list 有序可重復(fù)列表 關(guān)注列表，粉絲列表，消息隊(duì)列等 set 無序不可重復(fù)列表 存儲并計(jì)算關(guān)系（如微博，關(guān)注人或粉絲存放在集合，可通過交集、并集、差集等操作實(shí)現(xiàn)如共同關(guān)注、共同喜好等功能） sorted set 每個元素帶有分值的集合 各種排行榜 -
redis中的持久化方案
-
使用過Redis分布式鎖么，它是什么回事？
1、從redis2.8開始，set命令集成了兩個參數(shù)，nx和ex，先拿nx來爭搶鎖，搶到之后，再用ex參數(shù)給鎖加一個過期時間防止鎖無法釋放，造成死鎖set username AAA nx ex 3 2、redis分布式鎖原理見圖 -
緩存穿透
-
緩存擊穿
# 原理 緩存沒有，數(shù)據(jù)庫有，一般是緩存時間到期， 順勢并發(fā)太大#解決方案 1、熱點(diǎn)數(shù)據(jù)不過期 2、上鎖: 重新設(shè)計(jì)緩存的使用方式，當(dāng)我們通過key去查詢數(shù)據(jù)時，首先查詢緩存，如果沒有，就通過分布式鎖進(jìn)行加鎖，取得鎖的進(jìn)程查DB并設(shè)置緩存，然后解鎖；其他進(jìn)程如果發(fā)現(xiàn)有鎖就等待，然后等解鎖后返回緩存數(shù)據(jù)或者再次查詢DB -
緩存雪崩
# 原理 緩存中大批量數(shù)據(jù)過期，導(dǎo)致瞬時大批量不同請求注入DB# 解決方案 解決方案 1、緩存設(shè)置隨機(jī)時間（避免緩存設(shè)置相近的有效期；為有效期增加隨機(jī)值） 2、熱點(diǎn)數(shù)據(jù)不過期
總結(jié)
以上是生活随笔為你收集整理的学一点Redis基础的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 笔记本无线网卡天线接线柱掉了（AUX和M
- 下一篇： 将sql数据导入mysql数据库_将sq