NoSQL分类及ehcache memcache redis 三大缓存的对比
NoSQL分類
由于NoSQL中沒有像傳統(tǒng)數(shù)據(jù)庫那樣定義數(shù)據(jù)的組織方式為關(guān)系型的,所以只要內(nèi)部的數(shù)據(jù)組織采用了非關(guān)系型的方式,就可以稱之為NoSQL數(shù)據(jù)庫。
目前,可以將眾多的NoSQL數(shù)據(jù)庫按照內(nèi)部的數(shù)據(jù)組織形式進(jìn)行如下分類:
- Key/Value的NoSQL數(shù)據(jù)庫
- 面向文檔的NoSQL數(shù)據(jù)庫
- 面向列的NoSQL數(shù)據(jù)庫
- 面向圖的NoSQL數(shù)據(jù)庫
不同的數(shù)據(jù)組織適合于不同的應(yīng)用場景,后面將進(jìn)行介紹。
為什么要使用NoSQL
SQL語言和關(guān)系型數(shù)據(jù)庫(My SQL、PostgreSQL、Oracle等) 是通用的數(shù)據(jù)解決方案,占有絕大多數(shù)的市場。不過在最近興起的NoSQL運(yùn)動中,涌現(xiàn)出一批具備高可用性、支持線性擴(kuò)展、支持Map/Reduce操作等特性的數(shù)據(jù)產(chǎn)品,它們具有如下特性:
Key/Value的NoSQL庫
1 memcached
memcached是國外社區(qū)網(wǎng)站LiveJournal開發(fā)的高性能的內(nèi)存Key/Value緩存服務(wù)器,目的是通過緩存數(shù)據(jù)庫查詢結(jié)果,減少數(shù)據(jù)庫訪問次數(shù),以提高動態(tài)Web應(yīng)用的速度,從而提高系統(tǒng)的可擴(kuò)展性。
2 redis
redis是一款先進(jìn)的Key/Value存儲系統(tǒng)。它與Memcached類似,區(qū)別如下:
redis不僅支持簡單的Key/Value類型的數(shù)據(jù),同時還提供list、set、hash等數(shù)據(jù)結(jié)構(gòu)的存儲。
redis支持?jǐn)?shù)據(jù)的備份,即master slave模式的數(shù)據(jù)備份。
redis支持?jǐn)?shù)據(jù)的持久化,可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中,重啟的時候再次加載進(jìn)行使用。
在redis中,并不是所有的數(shù)據(jù)都一直存儲在內(nèi)存中。redis只會緩存所有的Key的信息,如果redis發(fā)現(xiàn)內(nèi)存的使用量超過了某個閾值,將觸發(fā)交換(swap) 的操作。redis根據(jù)“swappabillity=age*log(size_in_memory)” 計算出哪些Key對應(yīng)的Value需要交換到磁盤,然后再將這些key對應(yīng)的value持久化到磁盤中,同時在內(nèi)存中清除。這種特性使得redis可以保持超過其機(jī)器本身內(nèi)存大小的數(shù)據(jù)。當(dāng)然,機(jī)器本身的內(nèi)存必須要能夠保持所有的key,畢竟這些數(shù)據(jù)是不會進(jìn)行交換操作的。同時由于redis將內(nèi)存中的數(shù)據(jù)交換到磁盤中的時候,提供服務(wù)的主線程和進(jìn)行交換操作的子線程會共享這部分內(nèi)存,所以如果更新需要交換的數(shù)據(jù),redis將阻塞這個操作,直到子線程完成交換操作后才可以進(jìn)行修改。
3 Dynamo
Dynamo是亞馬遜公司開發(fā)的一款分布式Key/Value存儲系統(tǒng),用于存儲用戶的購物車信息。Dynamo與傳統(tǒng)的Key/Value存儲系統(tǒng)相比,最大的優(yōu)勢在于無單點故障,整個系統(tǒng)的可用性非常高,同時具備數(shù)據(jù)的最終一致性。
面向文檔的NoSQL數(shù)據(jù)庫
1 MongoDB
MongoDB是一個高性能、開源、模式自由(schma free) 的文檔型數(shù)據(jù)庫,它在許多場景下可用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或Key/Value存儲方式。MongoDB使用C++開發(fā),具有以下特性:
2 CouchDB
CouchDB是Apache社區(qū)中的一款文檔型數(shù)據(jù)庫服務(wù)器。與現(xiàn)在流行的關(guān)系數(shù)據(jù)庫服務(wù)器不同,CouchDB是圍繞一系列語義上自包含的文檔而組織的。CouchDB中的文檔是模式自由的,也就是說,并不要求文檔具有某種特定的結(jié)構(gòu)。CouchDB的這種特性使得它相對于傳統(tǒng)的關(guān)系數(shù)據(jù)庫而言,有自己的適用范圍。一般來說,圍繞文檔來構(gòu)建的應(yīng)用都比較適合使用CouchDB作為其后臺存儲。CouchDB強(qiáng)調(diào)其中所存儲的文檔,在語義上是自包含的。這種面向文檔的設(shè)計思路,更貼近很多應(yīng)用的問題域的真實情況。對于這類應(yīng)用,使用CouchDB的文檔來進(jìn)行建模,會更加自然和簡單。與此同時,CouchDB也提供基于Map/Reduce編程模型的視圖來對文檔進(jìn)行查詢,可以提供類似于關(guān)系數(shù)據(jù)庫中SQL語句的能力。CouchDB對于很多應(yīng)用來說,提供了關(guān)系數(shù)據(jù)庫之外的更好的選擇。
面向列的NoSQL數(shù)據(jù)庫
1 Cassandra
Cassandra是一款面向列的NoSQL數(shù)據(jù)庫,和Google的Bigtable數(shù)據(jù)庫屬于同一類。此數(shù)據(jù)庫比一個類似Dynamo的Key/Value數(shù)據(jù)庫功能更多,但相比于面向文檔的數(shù)據(jù)庫(如MongoDB),它所支持的查詢類型要少。
HBase
HBase是Hadoop項目中的數(shù)據(jù)庫。它用于需要對大量的數(shù)據(jù)進(jìn)行隨機(jī)、實時的讀寫操作的場景中。HBase的目標(biāo)就是處理數(shù)據(jù)量非常龐大的表,可以用普通的計算機(jī)處理超過10億行數(shù)據(jù),還可處理有數(shù)百萬列元素的數(shù)據(jù)表。
HBase是一個開源的、分布式的、支持多版本的、面向列存儲的GoogleBigtable實現(xiàn)。
HBase的實現(xiàn)基于Hadoop分布式文件系統(tǒng)(HDFS),模仿并提供了基于Google文件系統(tǒng)的Bigtable數(shù)據(jù)庫的所有功能。HBase有如下特點:
面向圖的NoSQL數(shù)據(jù)庫
Neo4J是一個用Java實現(xiàn)、完全兼容ACID的圖形數(shù)據(jù)庫。數(shù)據(jù)以一種針對圖形網(wǎng)絡(luò)進(jìn)行過優(yōu)化的格式保存在磁盤上。Neo4J的內(nèi)核是一種極快的圖形引擎,具有數(shù)據(jù)庫產(chǎn)品期望的所有特性,如恢復(fù)、兩階段提交、符合XA等。自2003年起,Neo4J就已經(jīng)作為724的產(chǎn)品使用。該項目已經(jīng)發(fā)布了12版,它是關(guān)于伸縮性和社區(qū)測試的一個主要里程碑。通過聯(lián)機(jī)備份實現(xiàn)的高可用性和主從復(fù)制功能目前處于測試階段,預(yù)計在下一版本中發(fā)布。Neo4J既可作為無須任何管理開銷的內(nèi)嵌數(shù)據(jù)庫使用,也可以作為單獨(dú)的服務(wù)器使用,在這種使用場景下,它提供了廣泛使用的REST接口,能夠方便地集成到基于PHP、NET和JavaScript的環(huán)境里。
Neo4J的特點如下:
?
示例:
如圖1-1所示,可以在一個網(wǎng)站中使用4款數(shù)據(jù)產(chǎn)品來提供服務(wù)。
選擇多樣的數(shù)據(jù)存儲方案同樣有利于提升我們對NoSQL的數(shù)據(jù)產(chǎn)品的理解,幫助我們從大量的解決方案中選擇最適用的產(chǎn)品,而不是把眼光僅僅放在某一款產(chǎn)品上。
核心的思想是:最適用的才是最好的。
Redis與Memcached的比較
1、Redis和Memcache都是將數(shù)據(jù)存放在內(nèi)存中,都是內(nèi)存數(shù)據(jù)庫。不過memcache還可用于緩存其他東西,例如圖片、視頻等等,而Redis,并不是所有的數(shù)據(jù)都一直存儲在內(nèi)存中的。
2、Redis不僅僅支持簡單的k/v類型的數(shù)據(jù),同時還提供list,set,hash等數(shù)據(jù)結(jié)構(gòu)的存儲。
3、虛擬內(nèi)存--Redis當(dāng)物理內(nèi)存用完時,可以將一些很久沒用到的value 交換到磁盤
4、過期策略--memcache在set時就指定,例如set key1 0 0 8,即永不過期。Redis可以通過例如expire 設(shè)定,例如expire name 10
5、分布式--設(shè)定memcache集群,利用magent做一主多從;redis可以做一主多從。都可以一主一從
6、存儲數(shù)據(jù)安全--memcache掛掉后,數(shù)據(jù)沒了;redis可以定期保存到磁盤(持久化),重啟的時候可以再次加載進(jìn)行使用。
7、災(zāi)難恢復(fù)--memcache掛掉后,數(shù)據(jù)不可恢復(fù); redis數(shù)據(jù)丟失后可以通過aof恢復(fù)
8、Redis支持?jǐn)?shù)據(jù)的備份,即master-slave模式的數(shù)據(jù)備份
Redis在很多方面具備數(shù)據(jù)庫的特征,或者說就是一個數(shù)據(jù)庫系統(tǒng),而Memcached只是簡單的K/V緩存
實現(xiàn)原理等不同:
Memcached是多線程,非阻塞IO復(fù)用的網(wǎng)絡(luò)模型,分為監(jiān)聽主線程和worker子線程,監(jiān)聽線程監(jiān)聽網(wǎng)絡(luò)連接,接受請求后,將連接描述字pipe 傳遞給worker線程,進(jìn)行讀寫IO, 網(wǎng)絡(luò)層使用libevent封裝的事件庫,多線程模型可以發(fā)揮多核作用,但是引入了cache coherency和鎖的問題,比如,Memcached最常用的stats 命令,實際Memcached所有操作都要對這個全局變量加鎖,進(jìn)行計數(shù)等工作,帶來了性能損耗。
(Memcached網(wǎng)絡(luò)IO模型)
Redis使用單線程的IO復(fù)用模型,自己封裝了一個簡單的AeEvent事件處理框架,主要實現(xiàn)了epoll、kqueue和select,對于單純只有IO操作來說,單線程可以將速度優(yōu)勢發(fā)揮到最大,但是Redis也提供了一些簡單的計算功能,比如排序、聚合等,對于這些操作,單線程模型實際會嚴(yán)重影響整體吞吐量,CPU計算過程中,整個IO調(diào)度都是被阻塞住的。
Memcached使用預(yù)分配的內(nèi)存池的方式,使用slab和大小不同的chunk來管理內(nèi)存,Item根據(jù)大小選擇合適的chunk存儲,內(nèi)存池的方式可以省去申請/釋放內(nèi)存的開銷,并且能減小內(nèi)存碎片產(chǎn)生,但這種方式也會帶來一定程度上的空間浪費(fèi),并且在內(nèi)存仍然有很大空間時,新的數(shù)據(jù)也可能會被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/
Redis使用現(xiàn)場申請內(nèi)存的方式來存儲數(shù)據(jù),并且很少使用free-list等方式來優(yōu)化內(nèi)存分配,會在一定程度上存在內(nèi)存碎片,Redis跟據(jù)存儲命令參數(shù),會把帶過期時間的數(shù)據(jù)單獨(dú)存放在一起,并把它們稱為臨時數(shù)據(jù),非臨時數(shù)據(jù)是永遠(yuǎn)不會被剔除的,即便物理內(nèi)存不夠,導(dǎo)致swap也不會剔除任何非臨時數(shù)據(jù)(但會嘗試剔除部分臨時數(shù)據(jù)),這點上Redis更適合作為存儲而不是cache。
Memcached提供了cas命令,可以保證多個并發(fā)訪問操作同一份數(shù)據(jù)的一致性問題。 Redis沒有提供cas 命令,并不能保證這點,不過Redis提供了事務(wù)的功能,可以保證一串 命令的原子性,中間不會被任何操作打斷。
Memcached基本只支持簡單的key-value存儲,不支持枚舉,不支持持久化和復(fù)制等功能
Redis除key/value之外,還支持list,set,sorted set,hash等眾多數(shù)據(jù)結(jié)構(gòu),提供了KEYS
進(jìn)行枚舉操作,但不能在線上使用,如果需要枚舉線上數(shù)據(jù),Redis提供了工具可以直接掃描其dump文件,枚舉出所有數(shù)據(jù),Redis還同時提供了持久化和復(fù)制等功能。
在不同語言的客戶端方面,Memcached和Redis都有豐富的第三方客戶端可供選擇,不過因為Memcached發(fā)展的時間更久一些,目前看在客戶端支持方面,Memcached的很多客戶端更加成熟穩(wěn)定,而Redis由于其協(xié)議本身就比Memcached復(fù)雜,加上作者不斷增加新的功能等,對應(yīng)第三方客戶端跟進(jìn)速度可能會趕不上,有時可能需要自己在第三方客戶端基礎(chǔ)上做些修改才能更好的使用。
根據(jù)以上比較不難看出,當(dāng)我們不希望數(shù)據(jù)被踢出,或者需要除key/value之外的更多數(shù)據(jù)類型時,或者需要落地功能時,使用Redis比使用Memcached更合適。
關(guān)于Redis的一些周邊功能
Redis除了作為存儲之外還提供了一些其它方面的功能,比如聚合計算、pubsub、scripting等,對于此類功能需要了解其實現(xiàn)原理,清楚地了解到它的局限性后,才能正確的使用,比如pubsub功能,這個實際是沒有任何持久化支持的,消費(fèi)方連接閃斷或重連之間過來的消息是會全部丟失的,又比如聚合計算和scripting等功能受Redis單線程模型所限,是不可能達(dá)到很高的吞吐量的,需要謹(jǐn)慎使用。
總的來說Redis作者是一位非常勤奮的開發(fā)者,可以經(jīng)常看到作者在嘗試著各種不同的新鮮想法和思路,針對這些方面的功能就要求我們需要深入了解后再使用。
總結(jié):
后續(xù)關(guān)于Redis文章計劃:
最近項目組有用到這三個緩存,去各自的官方看了下,覺得還真的各有千秋!今天特意歸納下各個緩存的優(yōu)缺點,僅供參考!
?Ehcache
在java項目廣泛的使用。它是一個開源的、設(shè)計于提高在數(shù)據(jù)從RDBMS中取出來的高花費(fèi)、高延遲采取的一種緩存方案。正因為Ehcache具有健壯性(基于java開發(fā))、被認(rèn)證(具有apache 2.0 ?license)、充滿特色(稍后會詳細(xì)介紹),所以被用于大型復(fù)雜分布式web application的各個節(jié)點中。
什么特色?
1. ?夠快
Ehcache的發(fā)行有一段時長了,經(jīng)過幾年的努力和不計其數(shù)的性能測試,Ehcache終被設(shè)計于large, high concurrency systems.
2. 夠簡單
開發(fā)者提供的接口非常簡單明了,從Ehcache的搭建到運(yùn)用運(yùn)行僅僅需要的是你寶貴的幾分鐘。其實很多開發(fā)者都不知道自己用在用Ehcache,Ehcache被廣泛的運(yùn)用于其他的開源項目
比如:hibernate
3.夠袖珍
關(guān)于這點的特性,官方給了一個很可愛的名字small foot print ,一般Ehcache的發(fā)布版本不會到2M,V 2.2.3 ?才 668KB。
4.?夠輕量
核心程序僅僅依賴slf4j這一個包,沒有之一!
5.好擴(kuò)展
Ehcache提供了對大數(shù)據(jù)的內(nèi)存和硬盤的存儲,最近版本允許多實例、保存對象高靈活性、提供LRU、LFU、FIFO淘汰算法,基礎(chǔ)屬性支持熱配置、支持的插件多
6.監(jiān)聽器
緩存管理器監(jiān)聽器 (CacheManagerListener)和 緩存監(jiān)聽器(CacheEvenListener),做一些統(tǒng)計或數(shù)據(jù)一致性廣播挺好用的
如何使用?
夠簡單就是Ehcache的一大特色,自然用起來just so easy!
貼一段基本使用代碼
CacheManager manager = CacheManager.newInstance("src/config/ehcache.xml"); Ehcache cache = new Cache("testCache", 5000, false, false, 5, 2); cacheManager.addCache(cache); 代碼中有個ehcache.xml文件,現(xiàn)在來介紹一下這個文件中的一些屬性 name:緩存名稱。maxElementsInMemory:緩存最大個數(shù)。eternal:對象是否永久有效,一但設(shè)置了,timeout將不起作用。timeToIdleSeconds:設(shè)置對象在失效前的允許閑置時間(單位:秒)。僅當(dāng)eternal=false對象不是永久有效時使用,可選屬性,默認(rèn)值是0,也就是可閑置時間無窮大。timeToLiveSeconds:設(shè)置對象在失效前允許存活時間,最大時間介于創(chuàng)建時間和失效時間之間。僅當(dāng)eternal=false對象不是永久有效時使用,默認(rèn)是0.,也就是對象存活時 間無窮大。overflowToDisk:當(dāng)內(nèi)存中對象數(shù)量達(dá)到maxElementsInMemory時,Ehcache將會對象寫到磁盤中。diskSpoolBufferSizeMB:這個參數(shù)設(shè)置DiskStore(磁盤緩存)的緩存區(qū)大小。默認(rèn)是30MB。每個Cache都應(yīng)該有自己的一個緩沖區(qū)。maxElementsOnDisk:硬盤最大緩存?zhèn)€數(shù)。diskPersistent:是否緩存虛擬機(jī)重啟期數(shù)據(jù) Whether the disk store persists between restarts of the Virtual Machine. The default value is false.diskExpiryThreadIntervalSeconds:磁盤失效線程運(yùn)行時間間隔,默認(rèn)是120秒。memoryStoreEvictionPolicy:當(dāng)達(dá)到maxElementsInMemory限制時,Ehcache將會根據(jù)指定的策略去清理內(nèi)存。默認(rèn)策略是LRU。你可以設(shè)置為 FIFO或是LFU。clearOnFlush:內(nèi)存數(shù)量最大時是否清除。?
memcache
memcache 是一種高性能、分布式對象緩存系統(tǒng),最初設(shè)計于緩解動態(tài)網(wǎng)站數(shù)據(jù)庫加載數(shù)據(jù)的延遲性,你可以把它想象成一個大的內(nèi)存HashTable,就是一個key-value鍵值緩存。Danga Interactive為了LiveJournal所發(fā)展的,以BSD license釋放的一套開放源代碼軟件。
1.依賴
memcache C語言所編寫,依賴于最近版本的GCC和libevent。GCC是它的編譯器,同事基于libevent做socket io。在安裝memcache時保證你的系統(tǒng)同事具備有這兩個環(huán)境。
2.多線程支持
memcache支持多個cpu同時工作,在memcache安裝文件下有個叫threads.txt中特別說明,By default, memcached is compiled as a single-threaded application.默認(rèn)是單線程編譯安裝,如果你需要多線程則需要修改./configure --enable-threads,為了支持多核系統(tǒng),前提是你的系統(tǒng)必須具有多線程工作模式。開啟多線程工作的線程數(shù)默認(rèn)是4,如果線程數(shù)超過cpu數(shù)容易發(fā)生操作死鎖的概率。結(jié)合自己業(yè)務(wù)模式選擇才能做到物盡其用。
3.高性能
通過libevent完成socket 的通訊,理論上性能的瓶頸落在網(wǎng)卡上。
簡單安裝:
1.分別把memcached和libevent下載回來,放到 /tmp 目錄下:
# cd /tmp
# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz
2.先安裝libevent:
# tar zxvf libevent-1.2.tar.gz
# cd libevent-1.2
# ./configure -prefix=/usr
# make (如果遇到提示gcc 沒有安裝則先安裝gcc)
# make install
3.測試libevent是否安裝成功:
# ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3
-rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3
-rw-r-r- 1 root root 454156 11?? 12 17:38 libevent.a
-rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la
lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3
還不錯,都安裝上了。
4.安裝memcached,同時需要安裝中指定libevent的安裝位置:
# cd /tmp
# tar zxvf memcached-1.2.0.tar.gz
# cd memcached-1.2.0
# ./configure -with-libevent=/usr
# make
# make install
如果中間出現(xiàn)報錯,請仔細(xì)檢查錯誤信息,按照錯誤信息來配置或者增加相應(yīng)的庫或者路徑。
安裝完成后會把memcached放到 /usr/local/bin/memcached ,
5.測試是否成功安裝memcached:
# ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached
-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug
啟動Memcached服務(wù):
1.啟動Memcache的服務(wù)器端:
# /usr/local/bin/memcached -d -m 8096 -u root -l 192.168.77.105 -p 12000 -c 256 -P /tmp/memcached.pid
-d選項是啟動一個守護(hù)進(jìn)程,
-m是分配給Memcache使用的內(nèi)存數(shù)量,單位是MB,我這里是8096MB,
-u是運(yùn)行Memcache的用戶,我這里是root,
-l是監(jiān)聽的服務(wù)器IP地址,如果有多個地址的話,我這里指定了服務(wù)器的IP地址192.168.77.105,
-p是設(shè)置Memcache監(jiān)聽的端口,我這里設(shè)置了12000,最好是1024以上的端口,
-c選項是最大運(yùn)行的并發(fā)連接數(shù),默認(rèn)是1024,我這里設(shè)置了256,按照你服務(wù)器的負(fù)載量來設(shè)定,
-P是設(shè)置保存Memcache的pid文件,我這里是保存在 /tmp/memcached.pid,
?
2.如果要結(jié)束Memcache進(jìn)程,執(zhí)行:
# cat?/tmp/memcached.pid 或者 ps -aux | grep memcache ? (找到對應(yīng)的進(jìn)程id號)
# kill 進(jìn)程id號
也可以啟動多個守護(hù)進(jìn)程,不過端口不能重復(fù)。
?memcache 的連接
telnet ?ip ? port?
注意連接之前需要再memcache服務(wù)端把memcache的防火墻規(guī)則加上
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT?
重新加載防火墻規(guī)則
service iptables restart
OK ,現(xiàn)在應(yīng)該就可以連上memcache了
在客戶端輸入stats 查看memcache的狀態(tài)信息
?
pid ? ? ? ? ? ? ?memcache服務(wù)器的進(jìn)程ID
uptime ? ? ?服務(wù)器已經(jīng)運(yùn)行的秒數(shù)
time ? ? ? ? ? 服務(wù)器當(dāng)前的unix時間戳
version ? ? memcache版本
pointer_size ? ? ? ? 當(dāng)前操作系統(tǒng)的指針大小(32位系統(tǒng)一般是32bit)
rusage_user ? ? ? ? ?進(jìn)程的累計用戶時間
rusage_system ? ?進(jìn)程的累計系統(tǒng)時間
curr_items ? ? ? ? ? ?服務(wù)器當(dāng)前存儲的items數(shù)量
total_items ? ? ? ? ? 從服務(wù)器啟動以后存儲的items總數(shù)量
bytes ? ? ? ? ? ? ? ? ? ? ? 當(dāng)前服務(wù)器存儲items占用的字節(jié)數(shù)
curr_connections ? ? ? ?當(dāng)前打開著的連接數(shù)
total_connections ? ? ? ?從服務(wù)器啟動以后曾經(jīng)打開過的連接數(shù)
connection_structures ? ? ? ? ?服務(wù)器分配的連接構(gòu)造數(shù)
cmd_get get命令 ? ? ? ? ?(獲取)總請求次數(shù)
cmd_set set命令 ? ? ? ? ?(保存)總請求次數(shù)
get_hits ? ? ? ? ?總命中次數(shù)
get_misses ? ? ? ?總未命中次數(shù)
evictions ? ? 為獲取空閑內(nèi)存而刪除的items數(shù)(分配給memcache的空間用滿后需要刪除舊的items來得到空間分配給新的items)
bytes_read ? ?讀取字節(jié)數(shù)(請求字節(jié)數(shù))
bytes_written ? ? 總發(fā)送字節(jié)數(shù)(結(jié)果字節(jié)數(shù))
limit_maxbytes ? ? 分配給memcache的內(nèi)存大小(字節(jié))
threads ? ? ? ? 當(dāng)前線程數(shù)
redis
?redis是在memcache之后編寫的,大家經(jīng)常把這兩者做比較,如果說它是個key-value store 的話但是它具有豐富的數(shù)據(jù)類型,我想暫時把它叫做緩存數(shù)據(jù)流中心,就像現(xiàn)在物流中心那樣,order、package、store、classification、distribute、end。現(xiàn)在還很流行的LAMP PHP架構(gòu) 不知道和 redis+mysql 或者 redis + mongodb的性能比較(聽群里的人說mongodb分片不穩(wěn)定)。
先說說reidis的特性
1. 支持持久化
? ? ?redis的本地持久化支持兩種方式:RDB和AOF。RDB 在redis.conf配置文件里配置持久化觸發(fā)器,AOF指的是redis每增加一條記錄都會保存到持久化文件中(保存的是這條記錄的生成命令),如果不是用redis做DB用的話還會不要開AOF ,數(shù)據(jù)太龐大了,重啟恢復(fù)的時候是一個巨大的工程!
2.豐富的數(shù)據(jù)類型
? ? redis 支持 String 、Lists、sets、sorted sets、hashes 多種數(shù)據(jù)類型,新浪微博會使用redis做nosql主要也是它具有這些類型,時間排序、職能排序、我的微博、發(fā)給我的這些功能List 和 sorted set?的強(qiáng)大操作功能息息相關(guān)
?3.高性能
? ?這點跟memcache很相像,內(nèi)存操作的級別是毫秒級的比硬盤操作秒級操作自然高效不少,較少了磁頭尋道、數(shù)據(jù)讀取、頁面交換這些高開銷的操作!這也是NOSQL冒出來的原因吧,應(yīng)該是高性能是基于RDBMS的衍生產(chǎn)品,雖然RDBMS也具有緩存結(jié)構(gòu),但是始終在app層面不是我們想要的那么操控的。
4.replication
? ? redis提供主從復(fù)制方案,跟mysql一樣增量復(fù)制而且復(fù)制的實現(xiàn)都很相似,這個復(fù)制跟AOF有點類似復(fù)制的是新增記錄命令,主庫新增記錄將新增腳本發(fā)送給從庫,從庫根據(jù)腳本生成記錄,這個過程非常快,就看網(wǎng)絡(luò)了,一般主從都是在同一個局域網(wǎng),所以可以說redis的主從近似及時同步,同事它還支持一主多從,動態(tài)添加從庫,從庫數(shù)量沒有限制。 主從庫搭建,我覺得還是采用網(wǎng)狀模式,如果使用鏈?zhǔn)?#xff08;master-slave-slave-slave-slave·····)如果第一個slave出現(xiàn)宕機(jī)重啟,首先從master 接收數(shù)據(jù)恢復(fù)腳本,這個是阻塞的,如果主庫數(shù)據(jù)幾TB的情況恢復(fù)過程得花上一段時間,在這個過程中其他的slave就無法和主庫同步了。
5.更新快
? ?這點好像從我接觸到redis到目前為止 已經(jīng)發(fā)了大版本就4個,小版本沒算過。redis作者是個非常積極的人,無論是郵件提問還是論壇發(fā)帖,他都能及時耐心的為你解答,維護(hù)度很高。有人維護(hù)的話,讓我們用的也省心和放心。目前作者對redis 的主導(dǎo)開發(fā)方向是redis的集群方向。
redis的安裝
redis的安裝其實還是挺簡單的,總的來說就三步:下載tar包,解壓tar包,安裝。
不過最近我在2.6.7后用centos 5.5 32bit 時碰到一個安裝問題,下面我就用圖片分享下安裝過程碰到的問題,在redis 文件夾內(nèi)執(zhí)行make時有個如下的錯?undefined reference to '__sync_add_and_fetch_4'
上網(wǎng)找了了好多最后在 ?https://github.com/antirez/redis/issues/736 找到解決方案,write CFLAGS= -march=i686 on src/Makefile head!
記得要把剛安裝失敗的文件刪除,重新解壓新的安裝文件,修改Makefile文件,再make安裝。就不會發(fā)現(xiàn)原來那個錯誤了
關(guān)于redis的一些屬性注釋和基本類型操作在上一篇redis 的開胃菜有詳細(xì)的說明,這里就不再重復(fù)累贅了(實質(zhì)是想偷懶 ,哈哈!)
?
最后,把memcache和redis放在一起不得不會讓人想到兩者的比較,誰快誰好用啊,群里面已經(jīng)為這個事打架很久了,我就把我看到的在這里跟大家分享下。
在別人發(fā)了一個memcache性能比redis好很多后,redis 作者 antirez 發(fā)表了一篇博文,主要是說到如何給redis 和 memcache 做壓力測試,文中講到有個人說許多開源軟件都應(yīng)該丟進(jìn)廁所,因為他們的壓力測試腳本太2了,作者對這個說明了一番。redis ?vs ?memcache is??definitely an apple to apple comparison。 呵呵,很明確吧,兩者的比較是不是有點雞蛋挑骨頭的效果,作者在相同的運(yùn)行環(huán)境做了三次測試取多好的值,得到的結(jié)果如下圖:
需要申明的是此次測試在單核心處理的過程的數(shù)據(jù),memcache是支持多核心多線程操作的(默認(rèn)沒開)所以在默認(rèn)情況下上圖具有參考意義,若然則memcache快于redis。那為什么redis不支持多線程多核心處理呢?作者也發(fā)表了一下自己的看法,首先是多線程不變于bug的修復(fù),其實是不易軟件的擴(kuò)展,還有數(shù)據(jù)一致性問題因為redis所有的操作都是原子操作,作者用到一個詞nightmare 噩夢,呵呵! ?當(dāng)然不支持多線程操作,肯定也有他的弊端的比如性能想必必然差,作者從2.2版本后專注redis cluster的方向開發(fā)來緩解其性能上的弊端,說白了就是縱向不行,橫向提高。
轉(zhuǎn)載于:https://www.cnblogs.com/duanxz/p/5215274.html
總結(jié)
以上是生活随笔為你收集整理的NoSQL分类及ehcache memcache redis 三大缓存的对比的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Luogu P4114 Qtree1
- 下一篇: powerdesigner中如何在自动生