memcache、Redis与MongoDB的学习-1
生活随笔
收集整理的這篇文章主要介紹了
memcache、Redis与MongoDB的学习-1
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
除此接觸這三個詞的概念,對今天看的資料最了一些整理。
之前經常有看到memcache、Redis與MongoDB相關的數據庫,最開始意味這些都只是用來做數據庫優化的緩存工具,后來具體看了一些資料之后才發現,這些都是Nosql,下面是網站查找的資料整理出來的知識,比較粗糙,希望在之后的學習中能夠不斷地完善,獲得更深層次的理解。
memcache、Redis與MongoDB是最常用的Nosql數據庫,用于解決大規模數據集合多重數據種類帶來的挑戰,尤其是大數據應用難題。對于超大規模,超大流量以及高并發應用情景具有極大的優勢。下面是三種數據庫的相關特點與比較。
Memcache
優點
- Memcached可以利用多核優勢,單實例吞吐量極高,可以達到幾十萬QPS(取決于key、value的字節大小以及服務器硬件性能,日常環境中QPS高峰大約在4-6w左右)。適用于最大程度扛量。
- 支持直接配置為session handle。
缺點
- 只支持簡單的key/value數據結構,不像Redis可以支持豐富的數據類型。
- 無法進行持久化,數據不能備份,只能用于緩存使用,且重啟后數據全部丟失。
- 無法進行數據同步,不能將MC中的數據遷移到其他MC實例中。
- Memcached內存分配采用Slab Allocation機制管理內存,value大小分布差異較大時會造成內存利用率降低,并引發低利用率時依然出現踢出等問題。需要用戶注重value設計。
Redis
優點
- 支持多種數據結構,如 string(字符串)、 list(雙向鏈表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數估算)
- 支持持久化操作,可以進行aof及rdb數據持久化到磁盤,從而進行數據備份或數據恢復等操作,較好的防止數據丟失 的手段。
- 支持通過Replication進行數據復制,通過master-slave機制,可以實時進行數據的同步復制,支持多級復制和增量復制,master-slave機制是Redis進行HA的重要手段。
- 單線程請求,所有命令串行執行,并發情況下不需要考慮數據一致性問題。
- 支持pub/sub消息訂閱機制,可以用來進行消息訂閱與通知。
- 支持簡單的事務需求,但業界使用場景很少,并不成熟。
缺點
- Redis只能使用單線程,性能受限于CPU性能,故單實例CPU最高才可能達到5-6wQPS每秒(取決于數據結構,數據大小以及服務器硬件性能,日常環境中QPS高峰大約在1-2w左右)。
- 支持簡單的事務需求,但業界使用場景很少,并不成熟,既是優點也是缺點。
- Redis在string類型上會消耗較多內存,可以使用dict(hash表)壓縮存儲以降低內存耗用。
MongoDB
優點
- 更高的寫負載,MongoDB擁有更高的插入速度。
- 處理很大的規模的單表,當數據表太大的時候可以很容易的分割表。
- 高可用性,設置M-S不僅方便而且很快,MongoDB還可以快速、安全及自動化的實現節點(數據中心)故障轉移。
- 快速的查詢,MongoDB支持二維空間索引,比如管道,因此可以快速及精確的從指定位置獲取數據。MongoDB在啟動后會將數據庫中的數據以文件映射的方式加載到內存中。如果內存資源相當豐富的話,這將極大地提高數據庫的查詢速度。
- 非結構化數據的爆發增長,增加列在有些情況下可能鎖定整個數據庫,或者增加負載從而導致性能下降,由于MongoDB的弱數據結構模式,添加1個新字段不會對舊表格有任何影響,整個過程會非常快速。
更類似Mysql,支持字段索引、游標操作,其優勢在于查詢功能比較強大,擅長查詢JSON數據,能存儲海量數據。Mysql在大數據量時效率顯著下降,MongoDB更多時候作為關系數據庫的一種替代。
缺點
- 不支持事務。
- MongoDB占用空間過大 。
- MongoDB沒有成熟的維護工具。
對比
memcache、Redis與MongoDB等常用nosql解決方案。
三者的對比特性對比如下表:
| 性能(TPS) | 較高 | 較高 | 高 |
| 便利性 | 數據結構單一 | 數據結構較豐富,較少IO | 數據結構比較單一,但是支持豐富的數據表達,索引,最類似關系型數據庫,支持的查詢語言非常豐富。 |
| 存儲空間 | 基于LRU算法可改最大可用內存 | redis2.0后增加VM特性,突破物理內存的限制;可設置過期時間(類似memcache) | 適合大數據量存儲,依賴OS的VM做內存管理,內存消耗較大,服務應獨立 |
| 可用性(單點問題) | 本身無數據冗余機制;依賴成熟的hash或者環狀算法預防故障,解決單點故障引起的抖動問題 | 單點問題比較復雜;不支持自動sharding,需要依賴程序設定一致hash 機制。依賴客戶端來實現分布式讀寫;主從復制時,無增量復制,存在性能和效率問題 | 支持master-slave,replicaset(內部采用paxos選舉算法,自動故障恢復),auto sharding機制,對客戶端屏蔽了故障轉移和切分機制 |
| 可靠性(持久化) | 不支持,通常用在做緩存,提升性能 | 依賴快照進行持久化,aof增強了可靠性的同時,對性能有所影響 | 從1.8版本開始采用binlog方式支持持久化的可靠性 |
| 事務支持 | 在并發場景下,用cas保證一致性 | 事務支持比較弱,只能保證事務中的每個操作連續執行 | 不支持事務 |
| 數據分析 | 不支持 | 不支持 | 內置了數據分析的功能(mapreduce) |
| 應用場景 | 動態系統中減少數據庫負載,提升性能;做緩存,提高性能(適合讀多寫少,對于數據量比較大,可以采用sharding) | 數據量較小的性能操作和運算 | 主要解決海量數據的訪問效率問題 |
參考:
總結
以上是生活随笔為你收集整理的memcache、Redis与MongoDB的学习-1的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: “雅虎 Yahoo”成 2022 年 Q
- 下一篇: PHP操作MySQL数据库(连接、增删改