日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

NoSQL分类及ehcache memcache redis 三大缓存的对比

發(fā)布時(shí)間:2023/12/13 数据库 25 豆豆
生活随笔 收集整理的這篇文章主要介紹了 NoSQL分类及ehcache memcache redis 三大缓存的对比 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

NoSQL分類(lèi)

由于NoSQL中沒(méi)有像傳統(tǒng)數(shù)據(jù)庫(kù)那樣定義數(shù)據(jù)的組織方式為關(guān)系型的,所以只要內(nèi)部的數(shù)據(jù)組織采用了非關(guān)系型的方式,就可以稱(chēng)之為NoSQL數(shù)據(jù)庫(kù)。
目前,可以將眾多的NoSQL數(shù)據(jù)庫(kù)按照內(nèi)部的數(shù)據(jù)組織形式進(jìn)行如下分類(lèi):

  • Key/Value的NoSQL數(shù)據(jù)庫(kù)
  • 面向文檔的NoSQL數(shù)據(jù)庫(kù)
  • 面向列的NoSQL數(shù)據(jù)庫(kù)
  • 面向圖的NoSQL數(shù)據(jù)庫(kù)

不同的數(shù)據(jù)組織適合于不同的應(yīng)用場(chǎng)景,后面將進(jìn)行介紹。

為什么要使用NoSQL
SQL語(yǔ)言和關(guān)系型數(shù)據(jù)庫(kù)(My SQL、PostgreSQL、Oracle等) 是通用的數(shù)據(jù)解決方案,占有絕大多數(shù)的市場(chǎng)。不過(guò)在最近興起的NoSQL運(yùn)動(dòng)中,涌現(xiàn)出一批具備高可用性、支持線性擴(kuò)展、支持Map/Reduce操作等特性的數(shù)據(jù)產(chǎn)品,它們具有如下特性:

  • 頻繁的寫(xiě)入操作、相對(duì)較少的讀取統(tǒng)計(jì)信息的操作(如網(wǎng)站訪問(wèn)計(jì)數(shù)器),應(yīng)該使用基于內(nèi)存的Key/Value(鍵/值)存儲(chǔ)系統(tǒng)(如redis) 或者是具備本地更新特性的文檔存儲(chǔ)系統(tǒng)(如MongoDB)。
  • 海量數(shù)據(jù)(如數(shù)據(jù)倉(cāng)庫(kù)中需要分析的數(shù)據(jù)) 適合存儲(chǔ)在一個(gè)結(jié)構(gòu)松散、分布式的文件存儲(chǔ)系統(tǒng)中,如Hadoop。
  • 存儲(chǔ)二進(jìn)制文件(如mp3或者pdf文檔) 并且能夠直接為用戶的瀏覽器提供下載功能,可以使用Amazon S3。
  • 臨時(shí)性的數(shù)據(jù)(如網(wǎng)站的session、緩存HTML頁(yè)面信息等) 適合存儲(chǔ)在Memcache中。
  • 如果希望數(shù)據(jù)具備高可用性,并且能夠?qū)?shù)據(jù)丟失的風(fēng)險(xiǎn)降到最低,同時(shí)整個(gè)系統(tǒng)具備線性擴(kuò)展的能力,可以考慮使用Cassandra和HBase。
  • Key/Value的NoSQL庫(kù)

    1 memcached
    memcached是國(guó)外社區(qū)網(wǎng)站LiveJournal開(kāi)發(fā)的高性能的內(nèi)存Key/Value緩存服務(wù)器,目的是通過(guò)緩存數(shù)據(jù)庫(kù)查詢結(jié)果,減少數(shù)據(jù)庫(kù)訪問(wèn)次數(shù),以提高動(dòng)態(tài)Web應(yīng)用的速度,從而提高系統(tǒng)的可擴(kuò)展性。

    2 redis
    redis是一款先進(jìn)的Key/Value存儲(chǔ)系統(tǒng)。它與Memcached類(lèi)似,區(qū)別如下:
    redis不僅支持簡(jiǎn)單的Key/Value類(lèi)型的數(shù)據(jù),同時(shí)還提供list、set、hash等數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)。
    redis支持?jǐn)?shù)據(jù)的備份,即master slave模式的數(shù)據(jù)備份。
    redis支持?jǐn)?shù)據(jù)的持久化,可以將內(nèi)存中的數(shù)據(jù)保持在磁盤(pán)中,重啟的時(shí)候再次加載進(jìn)行使用。
    在redis中,并不是所有的數(shù)據(jù)都一直存儲(chǔ)在內(nèi)存中。redis只會(huì)緩存所有的Key的信息,如果redis發(fā)現(xiàn)內(nèi)存的使用量超過(guò)了某個(gè)閾值,將觸發(fā)交換(swap) 的操作。redis根據(jù)“swappabillity=age*log(size_in_memory)” 計(jì)算出哪些Key對(duì)應(yīng)的Value需要交換到磁盤(pán),然后再將這些key對(duì)應(yīng)的value持久化到磁盤(pán)中,同時(shí)在內(nèi)存中清除。這種特性使得redis可以保持超過(guò)其機(jī)器本身內(nèi)存大小的數(shù)據(jù)。當(dāng)然,機(jī)器本身的內(nèi)存必須要能夠保持所有的key,畢竟這些數(shù)據(jù)是不會(huì)進(jìn)行交換操作的。同時(shí)由于redis將內(nèi)存中的數(shù)據(jù)交換到磁盤(pán)中的時(shí)候,提供服務(wù)的主線程和進(jìn)行交換操作的子線程會(huì)共享這部分內(nèi)存,所以如果更新需要交換的數(shù)據(jù),redis將阻塞這個(gè)操作,直到子線程完成交換操作后才可以進(jìn)行修改。
    3 Dynamo
    Dynamo是亞馬遜公司開(kāi)發(fā)的一款分布式Key/Value存儲(chǔ)系統(tǒng),用于存儲(chǔ)用戶的購(gòu)物車(chē)信息。Dynamo與傳統(tǒng)的Key/Value存儲(chǔ)系統(tǒng)相比,最大的優(yōu)勢(shì)在于無(wú)單點(diǎn)故障,整個(gè)系統(tǒng)的可用性非常高,同時(shí)具備數(shù)據(jù)的最終一致性。

    面向文檔的NoSQL數(shù)據(jù)庫(kù)
    1 MongoDB
      MongoDB是一個(gè)高性能、開(kāi)源、模式自由(schma free) 的文檔型數(shù)據(jù)庫(kù),它在許多場(chǎng)景下可用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)或Key/Value存儲(chǔ)方式。MongoDB使用C++開(kāi)發(fā),具有以下特性:

  • 面向文檔的存儲(chǔ),適合存儲(chǔ)對(duì)象及JSON形式的數(shù)據(jù)。
  • 動(dòng)態(tài)查詢,MongoDB支持豐富的查詢表達(dá)式。查詢指令使用JSON形式的標(biāo)記,可輕易查詢文檔中內(nèi)嵌的對(duì)象及數(shù)組。
  • 完整的索引支持,包括文檔內(nèi)嵌對(duì)象及數(shù)組。MongoDB的查詢優(yōu)化器會(huì)分析查詢表達(dá)式,并生成一個(gè)高效的查詢計(jì)劃。
  • 查詢監(jiān)視,MongoDB包含一個(gè)監(jiān)視工具用于分析數(shù)據(jù)庫(kù)操作的性能。
  • 復(fù)制及自動(dòng)故障轉(zhuǎn)移,MongoDB數(shù)據(jù)庫(kù)支持服務(wù)器之間的數(shù)據(jù)復(fù)制,支持主-從模式(Master/Slave)及服務(wù)器之間的相互復(fù)制。復(fù)制的主要目標(biāo)是提供冗余及自動(dòng)故障轉(zhuǎn)移。
  • 高效的傳統(tǒng)存儲(chǔ)方式,支持二進(jìn)制數(shù)據(jù)及大型對(duì)象(如照片或圖片)。
  • 自動(dòng)分片以支持云級(jí)別的伸縮性,自動(dòng)分片功能支持水平的數(shù)據(jù)庫(kù)集群,可動(dòng)態(tài)添加額外的機(jī)器。
  • 模式自由,意味著對(duì)于存儲(chǔ)在MongoDB數(shù)據(jù)庫(kù)中的文件,我們不需要知道它的任何結(jié)構(gòu)定義。
  • 支持Map/Reduce計(jì)算,代表MongoDB具有強(qiáng)大的數(shù)據(jù)分析能力。
  • 2 CouchDB
      CouchDB是Apache社區(qū)中的一款文檔型數(shù)據(jù)庫(kù)服務(wù)器。與現(xiàn)在流行的關(guān)系數(shù)據(jù)庫(kù)服務(wù)器不同,CouchDB是圍繞一系列語(yǔ)義上自包含的文檔而組織的。CouchDB中的文檔是模式自由的,也就是說(shuō),并不要求文檔具有某種特定的結(jié)構(gòu)。CouchDB的這種特性使得它相對(duì)于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)而言,有自己的適用范圍。一般來(lái)說(shuō),圍繞文檔來(lái)構(gòu)建的應(yīng)用都比較適合使用CouchDB作為其后臺(tái)存儲(chǔ)。CouchDB強(qiáng)調(diào)其中所存儲(chǔ)的文檔,在語(yǔ)義上是自包含的。這種面向文檔的設(shè)計(jì)思路,更貼近很多應(yīng)用的問(wèn)題域的真實(shí)情況。對(duì)于這類(lèi)應(yīng)用,使用CouchDB的文檔來(lái)進(jìn)行建模,會(huì)更加自然和簡(jiǎn)單。與此同時(shí),CouchDB也提供基于Map/Reduce編程模型的視圖來(lái)對(duì)文檔進(jìn)行查詢,可以提供類(lèi)似于關(guān)系數(shù)據(jù)庫(kù)中SQL語(yǔ)句的能力。CouchDB對(duì)于很多應(yīng)用來(lái)說(shuō),提供了關(guān)系數(shù)據(jù)庫(kù)之外的更好的選擇。

     面向列的NoSQL數(shù)據(jù)庫(kù)
    1 Cassandra
    Cassandra是一款面向列的NoSQL數(shù)據(jù)庫(kù),和Google的Bigtable數(shù)據(jù)庫(kù)屬于同一類(lèi)。此數(shù)據(jù)庫(kù)比一個(gè)類(lèi)似Dynamo的Key/Value數(shù)據(jù)庫(kù)功能更多,但相比于面向文檔的數(shù)據(jù)庫(kù)(如MongoDB),它所支持的查詢類(lèi)型要少。

  • Cassandra結(jié)合了Dynamo的Key/Value與Bigtable的面向列的特點(diǎn)。
  • 模式靈活:數(shù)據(jù)不需要像數(shù)據(jù)庫(kù)一樣使用預(yù)先設(shè)計(jì)的模式,增加或者刪除字段非常方便(onthefly)。
  • 支持范圍查詢:可以對(duì)任意Key進(jìn)行范圍查詢。
  • 支持二級(jí)索引查詢:可以對(duì)任意列(Column)的值進(jìn)行查詢。
  • 支持Map/Reduce計(jì)算:可以對(duì)Cassandra中的數(shù)據(jù)批量進(jìn)行復(fù)雜的分析計(jì)算。
  • 數(shù)據(jù)具備最終一致性,集群整體的可用性非常高。
  • 高可用,可擴(kuò)展:單點(diǎn)故障不影響集群服務(wù),集群的性能可線性擴(kuò)展。
  • 數(shù)據(jù)可靠性高:一旦數(shù)據(jù)寫(xiě)入成功,數(shù)據(jù)就已經(jīng)在機(jī)器的磁盤(pán)中完成了存儲(chǔ),不容易丟失。
  • HBase
    HBase是Hadoop項(xiàng)目中的數(shù)據(jù)庫(kù)。它用于需要對(duì)大量的數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)的讀寫(xiě)操作的場(chǎng)景中。HBase的目標(biāo)就是處理數(shù)據(jù)量非常龐大的表,可以用普通的計(jì)算機(jī)處理超過(guò)10億行數(shù)據(jù),還可處理有數(shù)百萬(wàn)列元素的數(shù)據(jù)表。
    HBase是一個(gè)開(kāi)源的、分布式的、支持多版本的、面向列存儲(chǔ)的GoogleBigtable實(shí)現(xiàn)。
    HBase的實(shí)現(xiàn)基于Hadoop分布式文件系統(tǒng)(HDFS),模仿并提供了基于Google文件系統(tǒng)的Bigtable數(shù)據(jù)庫(kù)的所有功能。HBase有如下特點(diǎn):

  • 可以直接從HBase中讀取數(shù)據(jù)運(yùn)行Map/Reduce任務(wù),并可以將運(yùn)行后的結(jié)果直接寫(xiě)入HBase中。
  • 數(shù)據(jù)查詢過(guò)濾和掃描操作在服務(wù)器端進(jìn)行。
  • 為實(shí)時(shí)查詢做了特殊優(yōu)化。
  • 使用高性能的Thrift通信框架。
  • 支持REST、Protobuf以及二進(jìn)制形式的數(shù)據(jù)交互。
  • 可以與Cascading、Hive和Pig配合使用,從而提高使用的效率。
  • 提供可擴(kuò)展的JRuby(JIRB)的命令行工具。
  • 支持Ganglia和JMX,能夠方便監(jiān)視整個(gè)程序的運(yùn)行狀態(tài)。
  • 面向圖的NoSQL數(shù)據(jù)庫(kù)
    Neo4J是一個(gè)用Java實(shí)現(xiàn)、完全兼容ACID的圖形數(shù)據(jù)庫(kù)。數(shù)據(jù)以一種針對(duì)圖形網(wǎng)絡(luò)進(jìn)行過(guò)優(yōu)化的格式保存在磁盤(pán)上。Neo4J的內(nèi)核是一種極快的圖形引擎,具有數(shù)據(jù)庫(kù)產(chǎn)品期望的所有特性,如恢復(fù)、兩階段提交、符合XA等。自2003年起,Neo4J就已經(jīng)作為724的產(chǎn)品使用。該項(xiàng)目已經(jīng)發(fā)布了12版,它是關(guān)于伸縮性和社區(qū)測(cè)試的一個(gè)主要里程碑。通過(guò)聯(lián)機(jī)備份實(shí)現(xiàn)的高可用性和主從復(fù)制功能目前處于測(cè)試階段,預(yù)計(jì)在下一版本中發(fā)布。Neo4J既可作為無(wú)須任何管理開(kāi)銷(xiāo)的內(nèi)嵌數(shù)據(jù)庫(kù)使用,也可以作為單獨(dú)的服務(wù)器使用,在這種使用場(chǎng)景下,它提供了廣泛使用的REST接口,能夠方便地集成到基于PHP、NET和JavaScript的環(huán)境里。
    Neo4J的特點(diǎn)如下:

  • 用直觀的圖模型取代了嚴(yán)格定義的表模型,從而可以使用節(jié)點(diǎn)(node)、關(guān)系(relationship)、屬性(property)來(lái)表達(dá)復(fù)雜的數(shù)據(jù)模型,如圖1-2所示。

  • 針對(duì)磁盤(pán)存儲(chǔ)進(jìn)行了特殊優(yōu)化,使得其具備優(yōu)異的性能和可擴(kuò)展性。
  • 每一臺(tái)Neo4J服務(wù)器都可以處理上10億的數(shù)據(jù),并且可以通過(guò)水平拆分支持更大的數(shù)據(jù)量。
  • 包含高效的圖遍歷算法,大大提高了數(shù)據(jù)的查詢和分析能力。
  • 程序本身非常簡(jiǎn)單小巧,核心功能的Jar包大小只有500KB。
  • 具備簡(jiǎn)單好用的編程接口,方便程序的開(kāi)發(fā)。
  • ?

    示例:

    如圖1-1所示,可以在一個(gè)網(wǎng)站中使用4款數(shù)據(jù)產(chǎn)品來(lái)提供服務(wù)。

  • My SQL用于存儲(chǔ)敏感的數(shù)據(jù),比如用戶的資料、交易的信息等。
  • MongoDB用于存儲(chǔ)大量的、相對(duì)不敏感的數(shù)據(jù),比如博客文章的內(nèi)容、文章訪問(wèn)次數(shù)等。
  • Amazon S3用于存儲(chǔ)用戶上傳的文檔、圖片、音樂(lè)等數(shù)據(jù)。
  • Memcached用于存儲(chǔ)臨時(shí)性的信息,比如緩存HTML頁(yè)面等。
  • 選擇多樣的數(shù)據(jù)存儲(chǔ)方案同樣有利于提升我們對(duì)NoSQL的數(shù)據(jù)產(chǎn)品的理解,幫助我們從大量的解決方案中選擇最適用的產(chǎn)品,而不是把眼光僅僅放在某一款產(chǎn)品上。
    核心的思想是:最適用的才是最好的。

    Redis與Memcached的比較

    1、Redis和Memcache都是將數(shù)據(jù)存放在內(nèi)存中,都是內(nèi)存數(shù)據(jù)庫(kù)。不過(guò)memcache還可用于緩存其他東西,例如圖片、視頻等等,而Redis,并不是所有的數(shù)據(jù)都一直存儲(chǔ)在內(nèi)存中的。
    2、Redis不僅僅支持簡(jiǎn)單的k/v類(lèi)型的數(shù)據(jù),同時(shí)還提供list,set,hash等數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)。
    3、虛擬內(nèi)存--Redis當(dāng)物理內(nèi)存用完時(shí),可以將一些很久沒(méi)用到的value 交換到磁盤(pán)
    4、過(guò)期策略--memcache在set時(shí)就指定,例如set key1 0 0 8,即永不過(guò)期。Redis可以通過(guò)例如expire 設(shè)定,例如expire name 10
    5、分布式--設(shè)定memcache集群,利用magent做一主多從;redis可以做一主多從。都可以一主一從
    6、存儲(chǔ)數(shù)據(jù)安全--memcache掛掉后,數(shù)據(jù)沒(méi)了;redis可以定期保存到磁盤(pán)(持久化),重啟的時(shí)候可以再次加載進(jìn)行使用。
    7、災(zāi)難恢復(fù)--memcache掛掉后,數(shù)據(jù)不可恢復(fù); redis數(shù)據(jù)丟失后可以通過(guò)aof恢復(fù)
    8、Redis支持?jǐn)?shù)據(jù)的備份,即master-slave模式的數(shù)據(jù)備份

    Redis在很多方面具備數(shù)據(jù)庫(kù)的特征,或者說(shuō)就是一個(gè)數(shù)據(jù)庫(kù)系統(tǒng),而Memcached只是簡(jiǎn)單的K/V緩存

    實(shí)現(xiàn)原理等不同:

  • 網(wǎng)絡(luò)IO模型
  • Memcached是多線程,非阻塞IO復(fù)用的網(wǎng)絡(luò)模型,分為監(jiān)聽(tīng)主線程和worker子線程,監(jiān)聽(tīng)線程監(jiān)聽(tīng)網(wǎng)絡(luò)連接,接受請(qǐng)求后,將連接描述字pipe 傳遞給worker線程,進(jìn)行讀寫(xiě)IO, 網(wǎng)絡(luò)層使用libevent封裝的事件庫(kù),多線程模型可以發(fā)揮多核作用,但是引入了cache coherency和鎖的問(wèn)題,比如,Memcached最常用的stats 命令,實(shí)際Memcached所有操作都要對(duì)這個(gè)全局變量加鎖,進(jìn)行計(jì)數(shù)等工作,帶來(lái)了性能損耗。

    (Memcached網(wǎng)絡(luò)IO模型)

    Redis使用單線程的IO復(fù)用模型,自己封裝了一個(gè)簡(jiǎn)單的AeEvent事件處理框架,主要實(shí)現(xiàn)了epoll、kqueue和select,對(duì)于單純只有IO操作來(lái)說(shuō),單線程可以將速度優(yōu)勢(shì)發(fā)揮到最大,但是Redis也提供了一些簡(jiǎn)單的計(jì)算功能,比如排序、聚合等,對(duì)于這些操作,單線程模型實(shí)際會(huì)嚴(yán)重影響整體吞吐量,CPU計(jì)算過(guò)程中,整個(gè)IO調(diào)度都是被阻塞住的。

  • 內(nèi)存管理方面
  • Memcached使用預(yù)分配的內(nèi)存池的方式,使用slab和大小不同的chunk來(lái)管理內(nèi)存,Item根據(jù)大小選擇合適的chunk存儲(chǔ),內(nèi)存池的方式可以省去申請(qǐng)/釋放內(nèi)存的開(kāi)銷(xiāo),并且能減小內(nèi)存碎片產(chǎn)生,但這種方式也會(huì)帶來(lái)一定程度上的空間浪費(fèi),并且在內(nèi)存仍然有很大空間時(shí),新的數(shù)據(jù)也可能會(huì)被剔除,原因可以參考Timyang的文章:http://timyang.net/data/Memcached-lru-evictions/

    Redis使用現(xiàn)場(chǎng)申請(qǐng)內(nèi)存的方式來(lái)存儲(chǔ)數(shù)據(jù),并且很少使用free-list等方式來(lái)優(yōu)化內(nèi)存分配,會(huì)在一定程度上存在內(nèi)存碎片,Redis跟據(jù)存儲(chǔ)命令參數(shù),會(huì)把帶過(guò)期時(shí)間的數(shù)據(jù)單獨(dú)存放在一起,并把它們稱(chēng)為臨時(shí)數(shù)據(jù),非臨時(shí)數(shù)據(jù)是永遠(yuǎn)不會(huì)被剔除的,即便物理內(nèi)存不夠,導(dǎo)致swap也不會(huì)剔除任何非臨時(shí)數(shù)據(jù)(但會(huì)嘗試剔除部分臨時(shí)數(shù)據(jù)),這點(diǎn)上Redis更適合作為存儲(chǔ)而不是cache。

  • 數(shù)據(jù)一致性問(wèn)題
  • Memcached提供了cas命令,可以保證多個(gè)并發(fā)訪問(wèn)操作同一份數(shù)據(jù)的一致性問(wèn)題。 Redis沒(méi)有提供cas 命令,并不能保證這點(diǎn),不過(guò)Redis提供了事務(wù)的功能,可以保證一串 命令的原子性,中間不會(huì)被任何操作打斷。

  • 存儲(chǔ)方式及其它方面
  • Memcached基本只支持簡(jiǎn)單的key-value存儲(chǔ),不支持枚舉,不支持持久化和復(fù)制等功能

    Redis除key/value之外,還支持list,set,sorted set,hash等眾多數(shù)據(jù)結(jié)構(gòu),提供了KEYS

    進(jìn)行枚舉操作,但不能在線上使用,如果需要枚舉線上數(shù)據(jù),Redis提供了工具可以直接掃描其dump文件,枚舉出所有數(shù)據(jù),Redis還同時(shí)提供了持久化和復(fù)制等功能。

  • 關(guān)于不同語(yǔ)言的客戶端支持
  • 在不同語(yǔ)言的客戶端方面,Memcached和Redis都有豐富的第三方客戶端可供選擇,不過(guò)因?yàn)镸emcached發(fā)展的時(shí)間更久一些,目前看在客戶端支持方面,Memcached的很多客戶端更加成熟穩(wěn)定,而Redis由于其協(xié)議本身就比Memcached復(fù)雜,加上作者不斷增加新的功能等,對(duì)應(yīng)第三方客戶端跟進(jìn)速度可能會(huì)趕不上,有時(shí)可能需要自己在第三方客戶端基礎(chǔ)上做些修改才能更好的使用。

    根據(jù)以上比較不難看出,當(dāng)我們不希望數(shù)據(jù)被踢出,或者需要除key/value之外的更多數(shù)據(jù)類(lèi)型時(shí),或者需要落地功能時(shí),使用Redis比使用Memcached更合適。

    關(guān)于Redis的一些周邊功能

    Redis除了作為存儲(chǔ)之外還提供了一些其它方面的功能,比如聚合計(jì)算、pubsub、scripting等,對(duì)于此類(lèi)功能需要了解其實(shí)現(xiàn)原理,清楚地了解到它的局限性后,才能正確的使用,比如pubsub功能,這個(gè)實(shí)際是沒(méi)有任何持久化支持的,消費(fèi)方連接閃斷或重連之間過(guò)來(lái)的消息是會(huì)全部丟失的,又比如聚合計(jì)算和scripting等功能受Redis單線程模型所限,是不可能達(dá)到很高的吞吐量的,需要謹(jǐn)慎使用。

    總的來(lái)說(shuō)Redis作者是一位非常勤奮的開(kāi)發(fā)者,可以經(jīng)常看到作者在嘗試著各種不同的新鮮想法和思路,針對(duì)這些方面的功能就要求我們需要深入了解后再使用。

    總結(jié):

  • Redis使用最佳方式是全部數(shù)據(jù)in-memory。
  • Redis更多場(chǎng)景是作為Memcached的替代者來(lái)使用。
  • 當(dāng)需要除key/value之外的更多數(shù)據(jù)類(lèi)型支持時(shí),使用Redis更合適。
  • 當(dāng)存儲(chǔ)的數(shù)據(jù)不能被剔除時(shí),使用Redis更合適。
  • 后續(xù)關(guān)于Redis文章計(jì)劃:

  • Redis數(shù)據(jù)類(lèi)型與容量規(guī)劃。
  • 如何根據(jù)業(yè)務(wù)場(chǎng)景搭建穩(wěn)定,可靠,可擴(kuò)展的Redis集群。
  • Redis參數(shù),代碼優(yōu)化及二次開(kāi)發(fā)基礎(chǔ)實(shí)踐。
  • 最近項(xiàng)目組有用到這三個(gè)緩存,去各自的官方看了下,覺(jué)得還真的各有千秋!今天特意歸納下各個(gè)緩存的優(yōu)缺點(diǎn),僅供參考!

    ?Ehcache

    在java項(xiàng)目廣泛的使用。它是一個(gè)開(kāi)源的、設(shè)計(jì)于提高在數(shù)據(jù)從RDBMS中取出來(lái)的高花費(fèi)、高延遲采取的一種緩存方案。正因?yàn)镋hcache具有健壯性(基于java開(kāi)發(fā))、被認(rèn)證(具有apache 2.0 ?license)、充滿特色(稍后會(huì)詳細(xì)介紹),所以被用于大型復(fù)雜分布式web application的各個(gè)節(jié)點(diǎn)中。

    什么特色?

    1. ?夠快

    Ehcache的發(fā)行有一段時(shí)長(zhǎng)了,經(jīng)過(guò)幾年的努力和不計(jì)其數(shù)的性能測(cè)試,Ehcache終被設(shè)計(jì)于large, high concurrency systems.

    2. 夠簡(jiǎn)單

    開(kāi)發(fā)者提供的接口非常簡(jiǎn)單明了,從Ehcache的搭建到運(yùn)用運(yùn)行僅僅需要的是你寶貴的幾分鐘。其實(shí)很多開(kāi)發(fā)者都不知道自己用在用Ehcache,Ehcache被廣泛的運(yùn)用于其他的開(kāi)源項(xiàng)目

    比如:hibernate

    3.夠袖珍

    關(guān)于這點(diǎn)的特性,官方給了一個(gè)很可愛(ài)的名字small foot print ,一般Ehcache的發(fā)布版本不會(huì)到2M,V 2.2.3 ?才 668KB。

    4.?夠輕量

    核心程序僅僅依賴(lài)slf4j這一個(gè)包,沒(méi)有之一!

    5.好擴(kuò)展

    Ehcache提供了對(duì)大數(shù)據(jù)的內(nèi)存和硬盤(pán)的存儲(chǔ),最近版本允許多實(shí)例、保存對(duì)象高靈活性、提供LRU、LFU、FIFO淘汰算法,基礎(chǔ)屬性支持熱配置、支持的插件多

    6.監(jiān)聽(tīng)器

    緩存管理器監(jiān)聽(tīng)器 (CacheManagerListener)和 緩存監(jiān)聽(tīng)器(CacheEvenListener),做一些統(tǒng)計(jì)或數(shù)據(jù)一致性廣播挺好用的

    如何使用?

    夠簡(jiǎn)單就是Ehcache的一大特色,自然用起來(lái)just so easy!

    貼一段基本使用代碼

    CacheManager manager = CacheManager.newInstance("src/config/ehcache.xml"); Ehcache cache = new Cache("testCache", 5000, false, false, 5, 2); cacheManager.addCache(cache); 代碼中有個(gè)ehcache.xml文件,現(xiàn)在來(lái)介紹一下這個(gè)文件中的一些屬性 name:緩存名稱(chēng)。maxElementsInMemory:緩存最大個(gè)數(shù)。eternal:對(duì)象是否永久有效,一但設(shè)置了,timeout將不起作用。timeToIdleSeconds:設(shè)置對(duì)象在失效前的允許閑置時(shí)間(單位:秒)。僅當(dāng)eternal=false對(duì)象不是永久有效時(shí)使用,可選屬性,默認(rèn)值是0,也就是可閑置時(shí)間無(wú)窮大。timeToLiveSeconds:設(shè)置對(duì)象在失效前允許存活時(shí)間,最大時(shí)間介于創(chuàng)建時(shí)間和失效時(shí)間之間。僅當(dāng)eternal=false對(duì)象不是永久有效時(shí)使用,默認(rèn)是0.,也就是對(duì)象存活時(shí) 間無(wú)窮大。overflowToDisk:當(dāng)內(nèi)存中對(duì)象數(shù)量達(dá)到maxElementsInMemory時(shí),Ehcache將會(huì)對(duì)象寫(xiě)到磁盤(pán)中。diskSpoolBufferSizeMB:這個(gè)參數(shù)設(shè)置DiskStore(磁盤(pán)緩存)的緩存區(qū)大小。默認(rèn)是30MB。每個(gè)Cache都應(yīng)該有自己的一個(gè)緩沖區(qū)。maxElementsOnDisk:硬盤(pán)最大緩存?zhèn)€數(shù)。diskPersistent:是否緩存虛擬機(jī)重啟期數(shù)據(jù) Whether the disk store persists between restarts of the Virtual Machine. The default value is false.diskExpiryThreadIntervalSeconds:磁盤(pán)失效線程運(yùn)行時(shí)間間隔,默認(rèn)是120秒。memoryStoreEvictionPolicy:當(dāng)達(dá)到maxElementsInMemory限制時(shí),Ehcache將會(huì)根據(jù)指定的策略去清理內(nèi)存。默認(rèn)策略是LRU。你可以設(shè)置為 FIFO或是LFU。clearOnFlush:內(nèi)存數(shù)量最大時(shí)是否清除。

    ?

    memcache

    memcache 是一種高性能、分布式對(duì)象緩存系統(tǒng),最初設(shè)計(jì)于緩解動(dòng)態(tài)網(wǎng)站數(shù)據(jù)庫(kù)加載數(shù)據(jù)的延遲性,你可以把它想象成一個(gè)大的內(nèi)存HashTable,就是一個(gè)key-value鍵值緩存。Danga Interactive為了LiveJournal所發(fā)展的,以BSD license釋放的一套開(kāi)放源代碼軟件。

    1.依賴(lài)

    memcache C語(yǔ)言所編寫(xiě),依賴(lài)于最近版本的GCC和libevent。GCC是它的編譯器,同事基于libevent做socket io。在安裝memcache時(shí)保證你的系統(tǒng)同事具備有這兩個(gè)環(huán)境。

    2.多線程支持

    memcache支持多個(gè)cpu同時(shí)工作,在memcache安裝文件下有個(gè)叫threads.txt中特別說(shuō)明,By default, memcached is compiled as a single-threaded application.默認(rèn)是單線程編譯安裝,如果你需要多線程則需要修改./configure --enable-threads,為了支持多核系統(tǒng),前提是你的系統(tǒng)必須具有多線程工作模式。開(kāi)啟多線程工作的線程數(shù)默認(rèn)是4,如果線程數(shù)超過(guò)cpu數(shù)容易發(fā)生操作死鎖的概率。結(jié)合自己業(yè)務(wù)模式選擇才能做到物盡其用。

    3.高性能

    通過(guò)libevent完成socket 的通訊,理論上性能的瓶頸落在網(wǎng)卡上。

    簡(jiǎn)單安裝:

    1.分別把memcached和libevent下載回來(lái),放到 /tmp 目錄下:

    # cd /tmp

    # wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz

    # wget http://www.monkey.org/~provos/libevent-1.2.tar.gz

    2.先安裝libevent:

    # tar zxvf libevent-1.2.tar.gz

    # cd libevent-1.2

    # ./configure -prefix=/usr

    # make (如果遇到提示gcc 沒(méi)有安裝則先安裝gcc)

    # make install

    3.測(cè)試libevent是否安裝成功:

    # ls -al /usr/lib | grep libevent

    lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3

    -rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3

    -rw-r-r- 1 root root 454156 11?? 12 17:38 libevent.a

    -rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la

    lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3

    還不錯(cuò),都安裝上了。

    4.安裝memcached,同時(shí)需要安裝中指定libevent的安裝位置:

    # cd /tmp

    # tar zxvf memcached-1.2.0.tar.gz

    # cd memcached-1.2.0

    # ./configure -with-libevent=/usr

    # make

    # make install

    如果中間出現(xiàn)報(bào)錯(cuò),請(qǐng)仔細(xì)檢查錯(cuò)誤信息,按照錯(cuò)誤信息來(lái)配置或者增加相應(yīng)的庫(kù)或者路徑。

    安裝完成后會(huì)把memcached放到 /usr/local/bin/memcached ,

    5.測(cè)試是否成功安裝memcached:

    # ls -al /usr/local/bin/mem*

    -rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached

    -rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

    啟動(dòng)Memcached服務(wù):

    1.啟動(dòng)Memcache的服務(wù)器端:

    # /usr/local/bin/memcached -d -m 8096 -u root -l 192.168.77.105 -p 12000 -c 256 -P /tmp/memcached.pid

    -d選項(xiàng)是啟動(dòng)一個(gè)守護(hù)進(jìn)程,

    -m是分配給Memcache使用的內(nèi)存數(shù)量,單位是MB,我這里是8096MB,

    -u是運(yùn)行Memcache的用戶,我這里是root,

    -l是監(jiān)聽(tīng)的服務(wù)器IP地址,如果有多個(gè)地址的話,我這里指定了服務(wù)器的IP地址192.168.77.105,

    -p是設(shè)置Memcache監(jiān)聽(tīng)的端口,我這里設(shè)置了12000,最好是1024以上的端口,

    -c選項(xiàng)是最大運(yùn)行的并發(fā)連接數(shù),默認(rèn)是1024,我這里設(shè)置了256,按照你服務(wù)器的負(fù)載量來(lái)設(shè)定,

    -P是設(shè)置保存Memcache的pid文件,我這里是保存在 /tmp/memcached.pid,

    ?

    2.如果要結(jié)束Memcache進(jìn)程,執(zhí)行:

    # cat?/tmp/memcached.pid 或者 ps -aux | grep memcache ? (找到對(duì)應(yīng)的進(jìn)程id號(hào))

    # kill 進(jìn)程id號(hào)

    也可以啟動(dòng)多個(gè)守護(hù)進(jìn)程,不過(guò)端口不能重復(fù)。

    ?memcache 的連接

    telnet ?ip ? port?

    注意連接之前需要再memcache服務(wù)端把memcache的防火墻規(guī)則加上

    -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT?

    重新加載防火墻規(guī)則

    service iptables restart

    OK ,現(xiàn)在應(yīng)該就可以連上memcache了

    在客戶端輸入stats 查看memcache的狀態(tài)信息

    ?

    pid ? ? ? ? ? ? ?memcache服務(wù)器的進(jìn)程ID

    uptime ? ? ?服務(wù)器已經(jīng)運(yùn)行的秒數(shù)

    time ? ? ? ? ? 服務(wù)器當(dāng)前的unix時(shí)間戳

    version ? ? memcache版本

    pointer_size ? ? ? ? 當(dāng)前操作系統(tǒng)的指針大小(32位系統(tǒng)一般是32bit)

    rusage_user ? ? ? ? ?進(jìn)程的累計(jì)用戶時(shí)間

    rusage_system ? ?進(jìn)程的累計(jì)系統(tǒng)時(shí)間

    curr_items ? ? ? ? ? ?服務(wù)器當(dāng)前存儲(chǔ)的items數(shù)量

    total_items ? ? ? ? ? 從服務(wù)器啟動(dòng)以后存儲(chǔ)的items總數(shù)量

    bytes ? ? ? ? ? ? ? ? ? ? ? 當(dāng)前服務(wù)器存儲(chǔ)items占用的字節(jié)數(shù)

    curr_connections ? ? ? ?當(dāng)前打開(kāi)著的連接數(shù)

    total_connections ? ? ? ?從服務(wù)器啟動(dòng)以后曾經(jīng)打開(kāi)過(guò)的連接數(shù)

    connection_structures ? ? ? ? ?服務(wù)器分配的連接構(gòu)造數(shù)

    cmd_get get命令 ? ? ? ? ?(獲取)總請(qǐng)求次數(shù)

    cmd_set set命令 ? ? ? ? ?(保存)總請(qǐng)求次數(shù)

    get_hits ? ? ? ? ?總命中次數(shù)

    get_misses ? ? ? ?總未命中次數(shù)

    evictions ? ? 為獲取空閑內(nèi)存而刪除的items數(shù)(分配給memcache的空間用滿后需要?jiǎng)h除舊的items來(lái)得到空間分配給新的items)

    bytes_read ? ?讀取字節(jié)數(shù)(請(qǐng)求字節(jié)數(shù))

    bytes_written ? ? 總發(fā)送字節(jié)數(shù)(結(jié)果字節(jié)數(shù))

    limit_maxbytes ? ? 分配給memcache的內(nèi)存大小(字節(jié))

    threads ? ? ? ? 當(dāng)前線程數(shù)

    redis

    ?redis是在memcache之后編寫(xiě)的,大家經(jīng)常把這兩者做比較,如果說(shuō)它是個(gè)key-value store 的話但是它具有豐富的數(shù)據(jù)類(lèi)型,我想暫時(shí)把它叫做緩存數(shù)據(jù)流中心,就像現(xiàn)在物流中心那樣,order、package、store、classification、distribute、end。現(xiàn)在還很流行的LAMP PHP架構(gòu) 不知道和 redis+mysql 或者 redis + mongodb的性能比較(聽(tīng)群里的人說(shuō)mongodb分片不穩(wěn)定)。

    先說(shuō)說(shuō)reidis的特性

    1. 支持持久化

    ? ? ?redis的本地持久化支持兩種方式:RDB和AOF。RDB 在redis.conf配置文件里配置持久化觸發(fā)器,AOF指的是redis每增加一條記錄都會(huì)保存到持久化文件中(保存的是這條記錄的生成命令),如果不是用redis做DB用的話還會(huì)不要開(kāi)AOF ,數(shù)據(jù)太龐大了,重啟恢復(fù)的時(shí)候是一個(gè)巨大的工程!

    2.豐富的數(shù)據(jù)類(lèi)型

    ? ? redis 支持 String 、Lists、sets、sorted sets、hashes 多種數(shù)據(jù)類(lèi)型,新浪微博會(huì)使用redis做nosql主要也是它具有這些類(lèi)型,時(shí)間排序、職能排序、我的微博、發(fā)給我的這些功能List 和 sorted set?的強(qiáng)大操作功能息息相關(guān)

    ?3.高性能

    ? ?這點(diǎn)跟memcache很相像,內(nèi)存操作的級(jí)別是毫秒級(jí)的比硬盤(pán)操作秒級(jí)操作自然高效不少,較少了磁頭尋道、數(shù)據(jù)讀取、頁(yè)面交換這些高開(kāi)銷(xiāo)的操作!這也是NOSQL冒出來(lái)的原因吧,應(yīng)該是高性能是基于RDBMS的衍生產(chǎn)品,雖然RDBMS也具有緩存結(jié)構(gòu),但是始終在app層面不是我們想要的那么操控的。

    4.replication

    ? ? redis提供主從復(fù)制方案,跟mysql一樣增量復(fù)制而且復(fù)制的實(shí)現(xiàn)都很相似,這個(gè)復(fù)制跟AOF有點(diǎn)類(lèi)似復(fù)制的是新增記錄命令,主庫(kù)新增記錄將新增腳本發(fā)送給從庫(kù),從庫(kù)根據(jù)腳本生成記錄,這個(gè)過(guò)程非常快,就看網(wǎng)絡(luò)了,一般主從都是在同一個(gè)局域網(wǎng),所以可以說(shuō)redis的主從近似及時(shí)同步,同事它還支持一主多從,動(dòng)態(tài)添加從庫(kù),從庫(kù)數(shù)量沒(méi)有限制。 主從庫(kù)搭建,我覺(jué)得還是采用網(wǎng)狀模式,如果使用鏈?zhǔn)?#xff08;master-slave-slave-slave-slave·····)如果第一個(gè)slave出現(xiàn)宕機(jī)重啟,首先從master 接收數(shù)據(jù)恢復(fù)腳本,這個(gè)是阻塞的,如果主庫(kù)數(shù)據(jù)幾TB的情況恢復(fù)過(guò)程得花上一段時(shí)間,在這個(gè)過(guò)程中其他的slave就無(wú)法和主庫(kù)同步了。

    5.更新快

    ? ?這點(diǎn)好像從我接觸到redis到目前為止 已經(jīng)發(fā)了大版本就4個(gè),小版本沒(méi)算過(guò)。redis作者是個(gè)非常積極的人,無(wú)論是郵件提問(wèn)還是論壇發(fā)帖,他都能及時(shí)耐心的為你解答,維護(hù)度很高。有人維護(hù)的話,讓我們用的也省心和放心。目前作者對(duì)redis 的主導(dǎo)開(kāi)發(fā)方向是redis的集群方向。

    redis的安裝

    redis的安裝其實(shí)還是挺簡(jiǎn)單的,總的來(lái)說(shuō)就三步:下載tar包,解壓tar包,安裝。

    不過(guò)最近我在2.6.7后用centos 5.5 32bit 時(shí)碰到一個(gè)安裝問(wèn)題,下面我就用圖片分享下安裝過(guò)程碰到的問(wèn)題,在redis 文件夾內(nèi)執(zhí)行make時(shí)有個(gè)如下的錯(cuò)?undefined reference to '__sync_add_and_fetch_4'

    上網(wǎng)找了了好多最后在 ?https://github.com/antirez/redis/issues/736 找到解決方案,write CFLAGS= -march=i686 on src/Makefile head!

    記得要把剛安裝失敗的文件刪除,重新解壓新的安裝文件,修改Makefile文件,再make安裝。就不會(huì)發(fā)現(xiàn)原來(lái)那個(gè)錯(cuò)誤了

    關(guān)于redis的一些屬性注釋和基本類(lèi)型操作在上一篇redis 的開(kāi)胃菜有詳細(xì)的說(shuō)明,這里就不再重復(fù)累贅了(實(shí)質(zhì)是想偷懶 ,哈哈!)

    ?

    最后,把memcache和redis放在一起不得不會(huì)讓人想到兩者的比較,誰(shuí)快誰(shuí)好用啊,群里面已經(jīng)為這個(gè)事打架很久了,我就把我看到的在這里跟大家分享下。

    在別人發(fā)了一個(gè)memcache性能比redis好很多后,redis 作者 antirez 發(fā)表了一篇博文,主要是說(shuō)到如何給redis 和 memcache 做壓力測(cè)試,文中講到有個(gè)人說(shuō)許多開(kāi)源軟件都應(yīng)該丟進(jìn)廁所,因?yàn)樗麄兊膲毫y(cè)試腳本太2了,作者對(duì)這個(gè)說(shuō)明了一番。redis ?vs ?memcache is??definitely an apple to apple comparison。 呵呵,很明確吧,兩者的比較是不是有點(diǎn)雞蛋挑骨頭的效果,作者在相同的運(yùn)行環(huán)境做了三次測(cè)試取多好的值,得到的結(jié)果如下圖:

    需要申明的是此次測(cè)試在單核心處理的過(guò)程的數(shù)據(jù),memcache是支持多核心多線程操作的(默認(rèn)沒(méi)開(kāi))所以在默認(rèn)情況下上圖具有參考意義,若然則memcache快于redis。那為什么redis不支持多線程多核心處理呢?作者也發(fā)表了一下自己的看法,首先是多線程不變于bug的修復(fù),其實(shí)是不易軟件的擴(kuò)展,還有數(shù)據(jù)一致性問(wèn)題因?yàn)閞edis所有的操作都是原子操作,作者用到一個(gè)詞nightmare 噩夢(mèng),呵呵! ?當(dāng)然不支持多線程操作,肯定也有他的弊端的比如性能想必必然差,作者從2.2版本后專(zhuān)注redis cluster的方向開(kāi)發(fā)來(lái)緩解其性能上的弊端,說(shuō)白了就是縱向不行,橫向提高。

    轉(zhuǎn)載于:https://www.cnblogs.com/duanxz/p/5215274.html

    總結(jié)

    以上是生活随笔為你收集整理的NoSQL分类及ehcache memcache redis 三大缓存的对比的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。