? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ?談談Memcached與Redis

??1. Memcached簡介

Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric為首開發的高性能分布式內存緩存服務器。其本質上就是一個內存key-value數據庫，但是不支持數據的持久化，服務器關閉之后數據全部丟失。Memcached使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上，只要安裝了libevent即可使用。在Windows下，它也有一個可用的非官方版本(http://code.jellycan.com/memcached/)。Memcached的客戶端軟件實現非常多，包括C/C++, PHP, Java, Python, Ruby, Perl, Erlang, Lua等。當前Memcached使用廣泛，除了LiveJournal以外還有Wikipedia、Flickr、Twitter、Youtube和WordPress等。 在Window系統下，Memcached的安裝非常方便，只需從以上給出的地址下載可執行軟件然后運行memcached.exe –d install即可完成安裝。在Linux等系統下，我們首先需要安裝libevent，然后從獲取源碼，make && make install即可。默認情況下，Memcached的服務器啟動程序會安裝到/usr/local/bin目錄下。在啟動Memcached時，我們可以為其配置不同的啟動參數。 1.1 Memcache配置 Memcached服務器在啟動時需要對關鍵的參數進行配置，下面我們就看一看Memcached在啟動時需要設定哪些關鍵參數以及這些參數的作用。 1）-p <num> Memcached的TCP監聽端口，缺省配置為11211； 2）-U <num> Memcached的UDP監聽端口，缺省配置為11211，為0時表示關閉UDP監聽； 3）-s <file> Memcached監聽的UNIX套接字路徑； 4）-a <mask> 訪問UNIX套接字的八進制掩碼，缺省配置為0700； 5）-l <addr> 監聽的服務器IP地址，默認為所有網卡； 6）-d 為Memcached服務器啟動守護進程； 7）-r 最大core文件大小； 8）-u <username> 運行Memcached的用戶，如果當前為root的話需要使用此參數指定用戶； 9）-m <num> 分配給Memcached使用的內存數量，單位是MB； 10）-M 指示Memcached在內存用光的時候返回錯誤而不是使用LRU算法移除數據記錄； 11）-c <num> 最大并發連數，缺省配置為1024； 12）-v –vv –vvv 設定服務器端打印的消息的詳細程度，其中-v僅打印錯誤和警告信息，-vv在-v的基礎上還會打印客戶端的命令和相應，-vvv在-vv的基礎上還會打印內存狀態轉換信息； 13）-f <factor> 用于設置chunk大小的遞增因子； 14）-n <bytes> 最小的chunk大小，缺省配置為48個字節； 15）-t <num> Memcached服務器使用的線程數，缺省配置為4個； 16）-L 嘗試使用大內存頁； 17）-R 每個事件的最大請求數，缺省配置為20個； 18）-C 禁用CAS，CAS模式會帶來8個字節的冗余； 2. Redis簡介 Redis是一個開源的key-value存儲系統。與Memcached類似，Redis將大部分數據存儲在內存中，支持的數據類型包括：字符串、哈希表、鏈表、集合、有序集合以及基于這些數據類型的相關操作。Redis使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上無需任何外部依賴就可以使用。Redis支持的客戶端語言也非常豐富，常用的計算機語言如C、C#、C++、Object-C、PHP、Python、Java、Perl、Lua、Erlang等均有可用的客戶端來訪問Redis服務器。當前Redis的應用已經非常廣泛，國內像新浪、淘寶，國外像Flickr、Github等均在使用Redis的緩存服務。 Redis的安裝非常方便，只需從http://redis.io/download獲取源碼，然后make && make install即可。默認情況下，Redis的服務器啟動程序和客戶端程序會安裝到/usr/local/bin目錄下。在啟動Redis服務器時，我們需要為其指定一個配置文件，缺省情況下配置文件在Redis的源碼目錄下，文件名為redis.conf。 2.1 Redis配置文件 為了對Redis的系統實現有一個直接的認識，我們首先來看一下Redis的配置文件中定義了哪些主要參數以及這些參數的作用。 1）daemonize no 默認情況下，redis不是在后臺運行的。如果需要在后臺運行，把該項的值更改為yes； 2）pidfile /var/run/redis.pid當Redis在后臺運行的時候，Redis默認會把pid文件放在/var/run/redis.pid，你可以配置到其他地址。當運行多個redis服務時，需要指定不同的pid文件和端口； 3）port 6379指定redis運行的端口，默認是6379； 4）bind 127.0.0.1 指定redis只接收來自于該IP地址的請求，如果不進行設置，那么將處理所有請求。在生產環境中最好設置該項； 5）loglevel debug 指定日志記錄級別，其中Redis總共支持四個級別：debug、verbose、notice、warning，默認為verbose。debug表示記錄很多信息，用于開發和測試。verbose表示記錄有用的信息，但不像debug會記錄那么多。notice表示普通的verbose，常用于生產環境。warning 表示只有非常重要或者嚴重的信息會記錄到日志； 6）logfile /var/log/redis/redis.log 配置log文件地址，默認值為stdout。若后臺模式會輸出到/dev/null； 7）databases 16 可用數據庫數，默認值為16，默認數據庫為0，數據庫范圍在0-（database-1）之間； 8）save 900 1保存數據到磁盤，格式為save <seconds> <changes>，指出在多長時間內，有多少次更新操作，就將數據同步到數據文件rdb。相當于條件觸發抓取快照，這個可以多個條件配合。save 900 1就表示900秒內至少有1個key被改變就保存數據到磁盤； 9）rdbcompression yes 存儲至本地數據庫時（持久化到rdb文件）是否壓縮數據，默認為yes； 10）dbfilename dump.rdb本地持久化數據庫文件名，默認值為dump.rdb； 11）dir ./ 工作目錄，數據庫鏡像備份的文件放置的路徑。這里的路徑跟文件名要分開配置是因為redis在進行備份時，先會將當前數據庫的狀態寫入到一個臨時文件中，等備份完成時，再把該臨時文件替換為上面所指定的文件。而這里的臨時文件和上面所配置的備份文件都會放在這個指定的路徑當中，AOF文件也會存放在這個目錄下面。注意這里必須指定一個目錄而不是文件； 12）slaveof <masterip> <masterport> 主從復制，設置該數據庫為其他數據庫的從數據庫。設置當本機為slave服務時，設置master服務的IP地址及端口。在Redis啟動時，它會自動從master進行數據同步； 13）masterauth <master-password> 當master服務設置了密碼保護時(用requirepass制定的密碼)slave服務連接master的密碼； 14）slave-serve-stale-data yes 當從庫同主機失去連接或者復制正在進行，從機庫有兩種運行方式：如果slave-serve-stale-data設置為yes(默認設置)，從庫會繼續相應客戶端的請求。如果slave-serve-stale-data是指為no，除去INFO和SLAVOF命令之外的任何請求都會返回一個錯誤"SYNC with master in progress"； 15）repl-ping-slave-period 10從庫會按照一個時間間隔向主庫發送PING，可以通過repl-ping-slave-period設置這個時間間隔，默認是10秒； 16）repl-timeout 60 設置主庫批量數據傳輸時間或者ping回復時間間隔，默認值是60秒，一定要確保repl-timeout大于repl-ping-slave-period； 17）requirepass foobared 設置客戶端連接后進行任何其他指定前需要使用的密碼。因為redis速度相當快，所以在一臺比較好的服務器下，一個外部的用戶可以在一秒鐘進行150K次的密碼嘗試，這意味著你需要指定非常強大的密碼來防止暴力破解； 18）rename-command CONFIG "" 命令重命名，在一個共享環境下可以重命名相對危險的命令，比如把CONFIG重名為一個不容易猜測的字符：# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52。如果想刪除一個命令，直接把它重命名為一個空字符""即可：rename-command CONFIG ""； 19）maxclients 128設置同一時間最大客戶端連接數，默認無限制。Redis可以同時打開的客戶端連接數為Redis進程可以打開的最大文件描述符數。如果設置 maxclients 0，表示不作限制。當客戶端連接數到達限制時，Redis會關閉新的連接并向客戶端返回max number of clients reached錯誤信息； 20）maxmemory <bytes> 指定Redis最大內存限制。Redis在啟動時會把數據加載到內存中，達到最大內存后，Redis會先嘗試清除已到期或即將到期的Key，Redis同時也會移除空的list對象。當此方法處理后，仍然到達最大內存設置，將無法再進行寫入操作，但仍然可以進行讀取操作。注意：Redis新的vm機制，會把Key存放內存，Value會存放在swap區； 21）maxmemory-policy volatile-lru 當內存達到最大值的時候Redis會選擇刪除哪些數據呢？有五種方式可供選擇：volatile-lru代表利用LRU算法移除設置過過期時間的key (LRU:最近使用 Least Recently Used )，allkeys-lru代表利用LRU算法移除任何key，volatile-random代表移除設置過過期時間的隨機key，allkeys_random代表移除一個隨機的key，volatile-ttl代表移除即將過期的key(minor TTL)，noeviction代表不移除任何key，只是返回一個寫錯誤。 注意：對于上面的策略，如果沒有合適的key可以移除，寫的時候Redis會返回一個錯誤； 22）appendonly no 默認情況下，redis會在后臺異步的把數據庫鏡像備份到磁盤，但是該備份是非常耗時的，而且備份也不能很頻繁。如果發生諸如拉閘限電、拔插頭等狀況，那么將造成比較大范圍的數據丟失，所以redis提供了另外一種更加高效的數據庫備份及災難恢復方式。開啟append only模式之后，redis會把所接收到的每一次寫操作請求都追加到appendonly.aof文件中。當redis重新啟動時，會從該文件恢復出之前的狀態，但是這樣會造成appendonly.aof文件過大，所以redis還支持了BGREWRITEAOF指令對appendonly.aof 進行重新整理，你可以同時開啟asynchronous dumps 和 AOF； 23）appendfilename appendonly.aof ?AOF文件名稱,默認為"appendonly.aof"; 24）appendfsync everysec ?Redis支持三種同步AOF文件的策略: no代表不進行同步，系統去操作，always代表每次有寫操作都進行同步，everysec代表對寫操作進行累積，每秒同步一次，默認是"everysec"，按照速度和安全折中這是最好的。 25）slowlog-log-slower-than 10000 記錄超過特定執行時間的命令。執行時間不包括I/O計算，比如連接客戶端，返回結果等，只是命令執行時間。可以通過兩個參數設置slow log：一個是告訴Redis執行超過多少時間被記錄的參數slowlog-log-slower-than(微妙)，另一個是slow log 的長度。當一個新命令被記錄的時候最早的命令將被從隊列中移除，下面的時間以微妙微單位，因此1000000代表一分鐘。注意制定一個負數將關閉慢日志，而設置為0將強制每個命令都會記錄； 26）hash-max-zipmap-entries 512 && hash-max-zipmap-value 64 當hash中包含超過指定元素個數并且最大的元素沒有超過臨界時，hash將以一種特殊的編碼方式（大大減少內存使用）來存儲，這里可以設置這兩個臨界值。Redis Hash對應Value內部實際就是一個HashMap，實際這里會有2種不同實現。這個Hash的成員比較少時Redis為了節省內存會采用類似一維數組的方式來緊湊存儲，而不會采用真正的HashMap結構，對應的value redisObject的encoding為zipmap。當成員數量增大時會自動轉成真正的HashMap，此時encoding為ht； 27）list-max-ziplist-entries 512 list數據類型多少節點以下會采用去指針的緊湊存儲格式； 28）list-max-ziplist-value 64數據類型節點值大小小于多少字節會采用緊湊存儲格式； 29）set-max-intset-entries 512 set數據類型內部數據如果全部是數值型，且包含多少節點以下會采用緊湊格式存儲； 30）zset-max-ziplist-entries 128 zsort數據類型多少節點以下會采用去指針的緊湊存儲格式； 31）zset-max-ziplist-value 64 zsort數據類型節點值大小小于多少字節會采用緊湊存儲格式。 32）activerehashing yes Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash，可以降低內存的使用。當你的使用場景中，有非常嚴格的實時性需要，不能夠接受Redis時不時的對請求有2毫秒的延遲的話，把這項配置為no。如果沒有這么嚴格的實時性要求，可以設置為yes，以便能夠盡可能快的釋放內存； ?

2.2 Redis的常用數據類型

與Memcached僅支持簡單的key-value結構的數據記錄不同，Redis支持的數據類型要豐富得多。最為常用的數據類型主要由五種：String、Hash、List、Set和Sorted Set。在具體描述這幾種數據類型之前，我們先通過一張圖來了解下Redis內部內存管理中是如何描述這些不同數據類型的。 圖1 Redis對象 Redis內部使用一個redisObject對象來表示所有的key和value。redisObject最主要的信息如圖1所示：type代表一個value對象具體是何種數據類型，encoding是不同數據類型在redis內部的存儲方式，比如：type=string代表value存儲的是一個普通字符串，那么對應的encoding可以是raw或者是int，如果是int則代表實際redis內部是按數值型類存儲和表示這個字符串的，當然前提是這個字符串本身可以用數值表示，比如:"123" "456"這樣的字符串。這里需要特殊說明一下vm字段，只有打開了Redis的虛擬內存功能，此字段才會真正的分配內存，該功能默認是關閉狀態的。通過Figure1我們可以發現Redis使用redisObject來表示所有的key/value數據是比較浪費內存的，當然這些內存管理成本的付出主要也是為了給Redis不同數據類型提供一個統一的管理接口，實際作者也提供了多種方法幫助我們盡量節省內存使用。下面我們先來逐一的分析下這五種數據類型的使用和內部實現方式。 1）String 常用命令：set/get/decr/incr/mget等； 應用場景：String是最常用的一種數據類型，普通的key/value存儲都可以歸為此類； 實現方式：String在redis內部存儲默認就是一個字符串，被redisObject所引用，當遇到incr、decr等操作時會轉成數值型進行計算，此時redisObject的encoding字段為int。 2）Hash 常用命令：hget/hset/hgetall等 應用場景：我們要存儲一個用戶信息對象數據，其中包括用戶ID、用戶姓名、年齡和生日，通過用戶ID我們希望獲取該用戶的姓名或者年齡或者生日； 實現方式：Redis的Hash實際是內部存儲的Value為一個HashMap，并提供了直接存取這個Map成員的接口。如圖2所示，Key是用戶ID, value是一個Map。這個Map的key是成員的屬性名，value是屬性值。這樣對數據的修改和存取都可以直接通過其內部Map的Key(Redis里稱內部Map的key為field), 也就是通過 key(用戶ID) + field(屬性標簽) 就可以操作對應屬性數據。當前HashMap的實現有兩種方式：當HashMap的成員比較少時Redis為了節省內存會采用類似一維數組的方式來緊湊存儲，而不會采用真正的HashMap結構，這時對應的value的redisObject的encoding為zipmap，當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。 圖2 Redis的Hash數據類型 3）List 常用命令：lpush/rpush/lpop/rpop/lrange等； 應用場景：Redis list的應用場景非常多，也是Redis最重要的數據結構之一，比如twitter的關注列表，粉絲列表等都可以用Redis的list結構來實現； 實現方式：Redis list的實現為一個雙向鏈表，即可以支持反向查找和遍歷，更方便操作，不過帶來了部分額外的內存開銷，Redis內部的很多實現，包括發送緩沖隊列等也都是用的這個數據結構。 4）Set 常用命令：sadd/spop/smembers/sunion等； 應用場景：Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在于set是可以自動排重的，當你需要存儲一個列表數據，又不希望出現重復數據時，set是一個很好的選擇，并且set提供了判斷某個成員是否在一個set集合內的重要接口，這個也是list所不能提供的； 實現方式：set 的內部實現是一個 value永遠為null的HashMap，實際就是通過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合內的原因。 5）Sorted Set 常用命令：zadd/zrange/zrem/zcard等； 應用場景：Redis sorted set的使用場景與set類似，區別是set不是自動有序的，而sorted set可以通過用戶額外提供一個優先級(score)的參數來為成員排序，并且是插入有序的，即自動排序。當你需要一個有序的并且不重復的集合列表，那么可以選擇sorted set數據結構，比如twitter 的public timeline可以以發表時間作為score來存儲，這樣獲取時就是自動按時間排好序的。 實現方式：Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證數據的存儲和有序，HashMap里放的是成員到score的映射，而跳躍表里存放的是所有的成員，排序依據是HashMap里存的score,使用跳躍表的結構可以獲得比較高的查找效率，并且在實現上比較簡單。 2.3 Redis的持久化 Redis雖然是基于內存的存儲系統，但是它本身是支持內存數據的持久化的，而且提供兩種主要的持久化策略：RDB快照和AOF日志。我們會在下文分別介紹這兩種不同的持久化策略。 2.3.1 Redis的AOF日志 Redis支持將當前數據的快照存成一個數據文件的持久化機制，即RDB快照。這種方法是非常好理解的，但是一個持續寫入的數據庫如何生成快照呢？Redis借助了fork命令的copy on write機制。在生成快照時，將當前進程fork出一個子進程，然后在子進程中循環所有的數據，將數據寫成為RDB文件。 我們可以通過Redis的save指令來配置RDB快照生成的時機，比如你可以配置當10分鐘以內有100次寫入就生成快照，也可以配置當1小時內有1000次寫入就生成快照，也可以多個規則一起實施。這些規則的定義就在Redis的配置文件中，你也可以通過Redis的CONFIG SET命令在Redis運行時設置規則，不需要重啟Redis。 Redis的RDB文件不會壞掉，因為其寫操作是在一個新進程中進行的，當生成一個新的RDB文件時，Redis生成的子進程會先將數據寫到一個臨時文件中，然后通過原子性rename系統調用將臨時文件重命名為RDB文件，這樣在任何時候出現故障，Redis的RDB文件都總是可用的。同時，Redis的RDB文件也是Redis主從同步內部實現中的一環。 但是，我們可以很明顯的看到，RDB有他的不足，就是一旦數據庫出現問題，那么我們的RDB文件中保存的數據并不是全新的，從上次RDB文件生成到Redis停機這段時間的數據全部丟掉了。在某些業務下，這是可以忍受的，我們也推薦這些業務使用RDB的方式進行持久化，因為開啟RDB的代價并不高。但是對于另外一些對數據安全性要求極高的應用，無法容忍數據丟失的應用，RDB就無能為力了，所以Redis引入了另一個重要的持久化機制：AOF日志。 2.3.2 Redis的AOF日志 AOF日志的全稱是append only file，從名字上我們就能看出來，它是一個追加寫入的日志文件。與一般數據庫的binlog不同的是，AOF文件是可識別的純文本，它的內容就是一個個的Redis標準命令。當然，并不是發送發Redis的所有命令都要記錄到AOF日志里面，只有那些會導致數據發生修改的命令才會追加到AOF文件。那么每一條修改數據的命令都生成一條日志，那么AOF文件是不是會很大？答案是肯定的，AOF文件會越來越大，所以Redis又提供了一個功能，叫做AOF rewrite。其功能就是重新生成一份AOF文件，新的AOF文件中一條記錄的操作只會有一次，而不像一份老文件那樣，可能記錄了對同一個值的多次操作。其生成過程和RDB類似，也是fork一個進程，直接遍歷數據，寫入新的AOF臨時文件。在寫入新文件的過程中，所有的寫操作日志還是會寫到原來老的AOF文件中，同時還會記錄在內存緩沖區中。當重完操作完成后，會將所有緩沖區中的日志一次性寫入到臨時文件中。然后調用原子性的rename命令用新的AOF文件取代老的AOF文件。 AOF是一個寫文件操作，其目的是將操作日志寫到磁盤上，所以它也同樣會遇到我們上面說的寫操作的5個流程。那么寫AOF的操作安全性又有多高呢。實際上這是可以設置的，在Redis中對AOF調用write(2)寫入后，何時再調用fsync將其寫到磁盤上，通過appendfsync選項來控制，下面appendfsync的三個設置項，安全強度逐漸變強。 1）appendfsync no 當設置appendfsync為no的時候，Redis不會主動調用fsync去將AOF日志內容同步到磁盤，所以這一切就完全依賴于操作系統的調試了。對大多數Linux操作系統，是每30秒進行一次fsync，將緩沖區中的數據寫到磁盤上。 2）appendfsync everysec 當設置appendfsync為everysec的時候，Redis會默認每隔一秒進行一次fsync調用，將緩沖區中的數據寫到磁盤。但是當這一次的fsync調用時長超過1秒時。Redis會采取延遲fsync的策略，再等一秒鐘。也就是在兩秒后再進行fsync，這一次的fsync就不管會執行多長時間都會進行。這時候由于在fsync時文件描述符會被阻塞，所以當前的寫操作就會阻塞。所以結論就是，在絕大多數情況下，Redis會每隔一秒進行一次fsync。在最壞的情況下，兩秒鐘會進行一次fsync操作。這一操作在大多數數據庫系統中被稱為group commit，就是組合多次寫操作的數據，一次性將日志寫到磁盤。 3）appednfsync always 當設置appendfsync為always時，每一次寫操作都會調用一次fsync，這時數據是最安全的，當然，由于每次都會執行fsync，所以其性能也會受到影響。

3. Memcached和Redis關鍵技術對比

作為內存數據緩沖系統，Memcached和Redis均具有很高的性能，但是兩者在關鍵實現技術上具有很大差異，這種差異決定了兩者具有不同的特點和不同的適用條件。下面我們會對兩者的關鍵技術進行一些對比，以此來揭示兩者的差異。 3.1 Memcached和Redis的內存管理機制對比 對于像Redis和Memcached這種基于內存的數據庫系統來說，內存管理的效率高低是影響系統性能的關鍵因素。傳統C語言中的malloc/free函數是最常用的分配和釋放內存的方法，但是這種方法存在著很大的缺陷：首先，對于開發人員來說不匹配的malloc和free容易造成內存泄露；其次，頻繁調用會造成大量內存碎片無法回收重新利用，降低內存利用率；最后，作為系統調用，其系統開銷遠遠大于一般函數調用。所以，為了提高內存的管理效率，高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制，但是實現方法存在很大的差異，下面將會對兩者的內存管理機制分別進行介紹。 3.1.1 Memcached的內存管理機制 Memcached默認使用Slab Allocation機制管理內存，其主要思想是按照預先規定的大小，將分配的內存分割成特定長度的塊以存儲相應長度的key-value數據記錄，以完全解決內存碎片問題。Slab Allocation機制只為存儲外部數據而設計，也就是說所有的key-value數據都存儲在Slab Allocation系統里，而Memcached的其它內存請求則通過普通的malloc/free來申請，因為這些請求的數量和頻率決定了它們不會對整個系統的性能造成影響 Slab Allocation的原理相當簡單。 如圖3所示，它首先從操作系統申請一大塊內存，并將其分割成各種尺寸的塊Chunk，并把尺寸相同的塊分成組Slab Class。其中，Chunk就是用來存儲key-value數據的最小單位。每個Slab Class的大小，可以在Memcached啟動的時候通過制定Growth Factor來控制。假定Figure 1中Growth Factor的取值為1.25，所以如果第一組Chunk的大小為88個字節，第二組Chunk的大小就為112個字節，依此類推。 圖3 Memcached內存管理架構 當Memcached接收到客戶端發送過來的數據時首先會根據收到數據的大小選擇一個最合適的Slab Class，然后通過查詢Memcached保存著的該Slab Class內空閑Chunk的列表就可以找到一個可用于存儲數據的Chunk。當一條數據庫過期或者丟棄時，該記錄所占用的Chunk就可以回收，重新添加到空閑列表中。從以上過程我們可以看出Memcached的內存管理制效率高，而且不會造成內存碎片，但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的內存空間，所以變長數據無法充分利用這些空間。如圖 4所示，將100個字節的數據緩存到128個字節的Chunk中，剩余的28個字節就浪費掉了。
圖4 Memcached的存儲空間浪費 3.1.2 Redis的內存管理機制 Redis的內存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現的。Redis為了方便內存的管理，在分配一塊內存之后，會將這塊內存的大小存入內存塊的頭部。如圖 5所示，real_ptr是redis調用malloc后返回的指針。redis將內存塊的大小size存入頭部，size所占據的內存大小是已知的，為size_t類型的長度，然后返回ret_ptr。當需要釋放內存的時候，ret_ptr被傳給內存管理程序。通過ret_ptr，程序可以很容易的算出real_ptr的值，然后將real_ptr傳給free釋放內存。 圖5 Redis塊分配 Redis通過定義一個數組來記錄所有的內存分配情況，這個數組的長度為ZMALLOC_MAX_ALLOC_STAT。數組的每一個元素代表當前程序所分配的內存塊的個數，且內存塊的大小為該元素的下標。在源碼中，這個數組為zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為16bytes的內存塊的個數。zmalloc.c中有一個靜態變量used_memory用來記錄當前分配的內存總大小。所以，總的來看，Redis采用的是包裝的mallc/free，相較于Memcached的內存管理方法來說，要簡單很多。

3.2 Redis和Memcached的集群實現機制對比

Memcached是全內存的數據緩沖系統，Redis雖然支持數據的持久化，但是全內存畢竟才是其高性能的本質。作為基于內存的存儲系統來說，機器物理內存的大小就是系統能夠容納的最大數據量。如果需要處理的數據量超過了單臺機器的物理內存大小，就需要構建分布式集群來擴展存儲能力。 3.2.1 Memcached的分布式存儲 Memcached本身并不支持分布式，因此只能在客戶端通過像一致性哈希這樣的分布式算法來實現Memcached的分布式存儲。圖6 給出了Memcached的分布式存儲實現架構。當客戶端向Memcached集群發送數據之前，首先會通過內置的分布式算法計算出該條數據的目標節點，然后數據會直接發送到該節點上存儲。但客戶端查詢數據時，同樣要計算出查詢數據所在的節點，然后直接向該節點發送查詢請求以獲取數據。 圖6 Memcached客戶端分布式存儲實現 3.2.2 Redis的分布式存儲 相較于Memcached只能采用客戶端實現分布式存儲，Redis更偏向于在服務器端構建分布式存儲。盡管Redis當前已經發布的穩定版本還沒有添加分布式存儲功能，但Redis開發版中已經具備了Redis Cluster的基本功能。預計在2.6版本之后，Redis就會發布完全支持分布式的穩定版本，時間不晚于2012年底。下面我們會根據開發版中的實現，簡單介紹一下Redis Cluster的核心思想。 Redis Cluster是一個實現了分布式且允許單點故障的Redis高級版本，它沒有中心節點，具有線性可伸縮的功能。圖7給出Redis Cluster的分布式存儲架構，其中節點與節點之間通過二進制協議進行通信，節點與客戶端之間通過ascii協議進行通信。在數據的放置策略上，Redis Cluster將整個key的數值域分成4096個哈希槽，每個節點上可以存儲一個或多個哈希槽，也就是說當前Redis Cluster支持的最大節點數就是4096。Redis Cluster使用的分布式算法也很簡單：crc16( key ) % HASH_SLOTS_NUMBER。 圖7 Redis分布式架構 為了保證單點故障下的數據可用性，Redis Cluster引入了Master節點和Slave節點。如圖4所示，在Redis Cluster中，每個Master節點都會有對應的兩個用于冗余的Slave節點。這樣在整個集群中，任意兩個節點的宕機都不會導致數據的不可用。當Master節點退出后，集群會自動選擇一個Slave節點成為新的Master節點。 圖8 Redis Cluster中的Master節點和Slave節點 3.3 Redis和Memcached整體對比 Redis的作者Salvatore Sanfilippo曾經對這兩種基于內存的數據存儲系統進行過比較，總體來看還是比較客觀的，現總結如下： 1）性能對比：由于Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中，Memcached性能要高于Redis，雖然Redis最近也在存儲大數據的性能上進行優化，但是比起Memcached，還是稍有遜色。 2）內存使用效率對比：使用簡單的key-value存儲的話，Memcached的內存利用率更高，而如果Redis采用hash結構來做key-value存儲，由于其組合式的壓縮，其內存利用率會高于Memcached。 3）Redis支持服務器端的數據操作：Redis相比Memcached來說，擁有更多的數據結構和并支持更豐富的數據操作，通常在Memcached里，你需要將數據拿到客戶端來進行類似的修改再set回去。這大大增加了網絡IO的次數和數據體積。在Redis中，這些復雜的操作通常和一般的GET/SET一樣高效。所以，如果需要緩存能夠支持更復雜的結構和操作，那么Redis會是不錯的選擇。

Redis與Memcached的區別

?

傳統MySQL+ Memcached架構遇到的問題

　　實際MySQL是適合進行海量數據存儲的，通過Memcached將熱點數據加載到cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務數據量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：

　　1.MySQL需要不斷進行拆庫拆表，Memcached也需不斷跟著擴容，擴容和維護工作占據大量開發時間。

　　2.Memcached與MySQL數據庫數據一致性問題。

　　3.Memcached數據命中率低或down機，大量訪問直接穿透到DB，MySQL無法支撐。

　　4.跨機房cache同步問題。

　　眾多NoSQL百花齊放，如何選擇

　　最近幾年，業界不斷涌現出很多各種各樣的NoSQL產品，那么如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的問題，實際歸根結底最重要的是了解這些產品的定位，并且了解到每款產品的tradeoffs，在實際應用中做到揚長避短，總體上這些NoSQL主要用于解決以下幾種問題

　　1.少量數據存儲，高速讀寫訪問。此類產品通過數據全部in-momery 的方式來保證高速訪問，同時提供數據落地的功能，實際這正是Redis最主要的適用場景。

　　2.海量數據存儲，分布式系統支持，數據一致性保證，方便的集群節點添加/刪除。

　　3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間通過gossip方式傳遞集群信息，數據保證最終一致性，后者是一個中心化的方案設計，通過類似一個分布式鎖服務來保證強一致性,數據寫入先寫內存和redo log，然后定期compat歸并到磁盤上，將隨機寫優化為順序寫，提高寫入性能。

　　4.Schema free，auto-sharding等。比如目前常見的一些文檔數據庫都是支持schema-free的，直接存儲json格式數據，并且支持auto-sharding等功能，比如mongodb。

　　面對這些不同類型的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。

　　Redis適用場景，如何正確的使用

　　前面已經分析過，Redis最適合所有數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那么可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那么何時使用Memcached,何時使用Redis呢?

?

如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：

1? Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。

2? Redis支持數據的備份，即master-slave模式的數據備份。

3? Redis支持數據的持久化，可以將內存中的數據保持在磁盤中，重啟的時候可以再次加載進行使用。

拋開這些，可以深入到Redis內部構造去觀察更加本質的區別，理解Redis的設計。

在Redis中，并不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。Redis只會緩存所有的 key的信息，如果Redis發現內存的使用量超過了某一個閥值，將觸發swap的操作，Redis根據“swappability = age*log(size_in_memory)”計 算出哪些key對應的value需要swap到磁盤。然后再將這些key對應的value持久化到磁盤中，同時在內存中清除。這種特性使得Redis可以 保持超過其機器本身內存大小的數據。當然，機器本身的內存必須要能夠保持所有的key，畢竟這些數據是不會進行swap操作的。同時由于Redis將內存 中的數據swap到磁盤中的時候，提供服務的主線程和進行swap操作的子線程會共享這部分內存，所以如果更新需要swap的數據，Redis將阻塞這個 操作，直到子線程完成swap操作后才可以進行修改。

使用Redis特有內存模型前后的情況對比：
VM off: 300k keys, 4096 bytes values: 1.3G used
VM on:? 300k keys, 4096 bytes values: 73M used
VM off: 1 million keys, 256 bytes values: 430.12M used
VM on:? 1 million keys, 256 bytes values: 160.09M used
VM on:? 1 million keys, values as large as you want, still: 160.09M used

當 從Redis中讀取數據的時候，如果讀取的key對應的value不在內存中，那么Redis就需要從swap文件中加載相應數據，然后再返回給請求方。 這里就存在一個I/O線程池的問題。在默認的情況下，Redis會出現阻塞，即完成所有的swap文件加載后才會相應。這種策略在客戶端的數量較小，進行 批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中，這顯然是無法滿足大并發的情況的。所以Redis運行我們設置I/O線程 池的大小，對需要從swap文件中加載相應數據的讀取請求進行并發操作，減少阻塞的時間。

如果希望在海量數據的環境中使用好Redis，我相信理解Redis的內存設計和阻塞的情況是不可缺少的。

?

補充的知識點：

memcached和redis的比較

1 網絡IO模型

　　Memcached是多線程，非阻塞IO復用的網絡模型，分為監聽主線程和worker子線程，監聽線程監聽網絡連接，接受請求后，將連接描述字pipe 傳遞給worker線程，進行讀寫IO, 網絡層使用libevent封裝的事件庫，多線程模型可以發揮多核作用，但是引入了cache coherency和鎖的問題，比如，Memcached最常用的stats 命令，實際Memcached所有操作都要對這個全局變量加鎖，進行計數等工作，帶來了性能損耗。

(Memcached網絡IO模型)

　　Redis使用單線程的IO復用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，對于單純只有IO操作來說，單線程可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能，比如排序、聚合等，對于這些操作，單線程模型實際會嚴重影響整體吞吐量，CPU計算過程中，整個IO調度都是被阻塞住的。

　　2.內存管理方面

　　Memcached使用預分配的內存池的方式，使用slab和大小不同的chunk來管理內存，Item根據大小選擇合適的chunk存儲，內存池的方式可以省去申請/釋放內存的開銷，并且能減小內存碎片產生，但這種方式也會帶來一定程度上的空間浪費，并且在內存仍然有很大空間時，新的數據也可能會被剔除，原因可以參考Timyang的文章：http://timyang.net/data/Memcached-lru-evictions/

　　Redis使用現場申請內存的方式來存儲數據，并且很少使用free-list等方式來優化內存分配，會在一定程度上存在內存碎片，Redis跟據存儲命令參數，會把帶過期時間的數據單獨存放在一起，并把它們稱為臨時數據，非臨時數據是永遠不會被剔除的，即便物理內存不夠，導致swap也不會剔除任何非臨時數據(但會嘗試剔除部分臨時數據)，這點上Redis更適合作為存儲而不是cache。

　　3.數據一致性問題

　　Memcached提供了cas命令，可以保證多個并發訪問操作同一份數據的一致性問題。 Redis沒有提供cas 命令，并不能保證這點，不過Redis提供了事務的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。

　　4.存儲方式及其它方面

　　Memcached基本只支持簡單的key-value存儲，不支持枚舉，不支持持久化和復制等功能

　　Redis除key/value之外，還支持list,set,sorted set,hash等眾多數據結構，提供了KEYS

　　進行枚舉操作，但不能在線上使用，如果需要枚舉線上數據，Redis提供了工具可以直接掃描其dump文件，枚舉出所有數據，Redis還同時提供了持久化和復制等功能。

　　5.關于不同語言的客戶端支持

　　在不同語言的客戶端方面，Memcached和Redis都有豐富的第三方客戶端可供選擇，不過因為Memcached發展的時間更久一些，目前看在客戶端支持方面，Memcached的很多客戶端更加成熟穩定，而Redis由于其協議本身就比Memcached復雜，加上作者不斷增加新的功能等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。

　　根據以上比較不難看出，當我們不希望數據被踢出，或者需要除key/value之外的更多數據類型時，或者需要落地功能時，使用Redis比使用Memcached更合適。

　　關于Redis的一些周邊功能

　　Redis除了作為存儲之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting等，對于此類功能需要了解其實現原理，清楚地了解到它的局限性后，才能正確的使用，比如pubsub功能，這個實際是沒有任何持久化支持的，消費方連接閃斷或重連之間過來的消息是會全部丟失的，又比如聚合計算和scripting等功能受Redis單線程模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。

　　總的來說Redis作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入了解后再使用。

　　總結：

　　1.Redis使用最佳方式是全部數據in-memory。

　　2.Redis更多場景是作為Memcached的替代者來使用。

　　3.當需要除key/value之外的更多數據類型支持時，使用Redis更合適。

　　4.當存儲的數據不能被剔除時，使用Redis更合適。

?

?

轉載于:https://www.cnblogs.com/itman70s/p/5781039.html

總結

以上是生活随笔為你收集整理的Redis与Memcached汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。