日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

架构设计 | 缓存管理模式,监控和内存回收策略

發布時間:2025/3/16 编程问答 22 豆豆
生活随笔 收集整理的這篇文章主要介紹了 架构设计 | 缓存管理模式,监控和内存回收策略 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本文源碼:GitHub·點這里 || GitEE·點這里

一、緩存設計

1、緩存的作用

在業務系統中,查詢時最容易出現性能問題的模塊,查詢面對的數據量大,篩選條件復雜,所以在系統架構中引入緩存層,則是非常必要的,用來緩存熱點數據,達到快速響應的目的。

緩存使用的基本原則:

  • 所有緩存數據,必須設置過期時間;
  • 核心業務流程不通過緩存層;
  • 緩存層移除,不影響現有流程;
  • 系統各個端首頁數據不實時查詢;
  • 報表數據不實時查詢加載;
  • 歸檔數據(定時統計的結果數據)不實時查詢;

這里是業務架構中常用的緩存策略,緩存通過犧牲強一致性來提高性能,所以并不是所有的業務都適合用緩存,實際考量都會針對具體的業務,比如用戶相關維度的數據修改頻率低,會使用緩存,但是用戶權限數據(比如:免費次數)會考慮實時校驗,緩存層使用的相對較少。

2、緩存設計模式

Cache-Aside模式

業務中最常用的緩存層設計模式,基本實現邏輯和相關概念如下:

  • 緩存命中:直接查詢緩存且命中,返回數據;
  • 緩存加載:查詢緩存未命中,從數據庫中查詢數據,獲取數據后并加載到緩存;
  • 緩存失效:數據更新寫到數據庫,操作成功后,讓緩存失效,查詢時候再重新加載;
  • 緩存穿透:查詢數據庫不存在的對象,也就不存在緩存層的命中;
  • 緩存擊穿:熱點key在失效的瞬間,高并發查詢這個key,擊穿緩存,直接請求數據庫;
  • 緩存雪崩:緩存Key大批量到過期時間,導致數據庫壓力過大;
  • 命中率:緩存設計的是否合理要看命中率,命中率高說明緩存有效抗住了大部分請求,命中率可以通過Redis監控信息計算,一般來說命中率在(70-80)%都算合理。
    并發問題

執行讀操作未命中緩存,然后查詢數據庫中取數據,數據已經查詢到還沒放入緩存,同時一個更新寫操作讓緩存失效,然后讀操作再把查詢到數據加載緩存,導致緩存的臟數據。

在遵守緩存使用原則下出現該情況概率非常低,可以通過復雜的Paxos協議保證一致性,一般情況是不考量該場景的處理,如果緩存管理過于復雜,會和緩存層核心理念相悖。

基本描述代碼:

@Service public class KeyValueServiceImpl extends ServiceImpl<KeyValueMapper, KeyValueEntity> implements KeyValueService {@Resourceprivate RedisService redisService ;@Overridepublic KeyValueEntity select(Integer id) {// 查詢緩存String redisKey = RedisKeyUtil.getObectKey(id) ;String value = redisService.get(redisKey) ;if (!StringUtils.isEmpty(value) && !value.equals("null")){return JSON.parseObject(value,KeyValueEntity.class);}// 查詢庫KeyValueEntity keyValueEntity = this.getById(id) ;if (keyValueEntity != null){// 緩存寫入redisService.set(redisKey,JSON.toJSONString(keyValueEntity)) ;}// 返回值return keyValueEntity ;}@Overridepublic boolean update(KeyValueEntity keyValueEntity) {// 更新數據boolean updateFlag = this.updateById(keyValueEntity) ;// 清除緩存if (updateFlag){redisService.delete(RedisKeyUtil.getObectKey(keyValueEntity.getId()));}return updateFlag ;} }

Read-Throug模式

當應用系統向緩存系統請求數據時,如果緩存中并沒有對應的數據存在,緩存系統將向底層數據源的讀取數據。如果數據在緩存中存在,則直接返回緩存中存在的數據。把更新數據庫的操作由緩存層代勞了。

Write-Through模式

更新寫數據時,如果沒有命中緩存,則直接更新數據庫,如果命中了緩存,則先更新緩存,然后由緩存系統自行更新數據庫。

Write-Behind模式

應用系統對緩存中的數據進行更新時,只更新緩存,不更新數據庫,緩存系統會異步批量向底層數據源更新數據。

二、數據一致問題

業務開發模式中,會涉及到一個問題:如何最大限度保證數據庫和Redis緩存的數據一致性?

首先說明一下:數據庫和緩存強一致性同步成本太高,如果追求強一致,緩存層存在的價值就會很低,如上緩存模式一中幾乎可以解決大部分業務場景問題。

解決這個問題的方式很多:

方案一說明:

  • 數據庫更新寫入數據成功;
  • 準備一個先進先出模式的消息隊列;
  • 把更新的數據包裝為一個消息放入隊列;
  • 基于消息消費服務更新Redis緩存;

分析:消息隊列的穩定和可靠性,操作層面數據庫和緩存層解耦。

方案二說明:

  • 提供一個數據庫Binlog訂閱服務,并解析修改日志;
  • 服務獲取修改數據,并向Redis服務發送消息;
  • Redis數據進行修改,類似MySQL的主從同步機制;

分析:系統架構層面多出一個服務,且需要解析MySQL日志,操作難度較大,但流程上更為合理。

總結描述

分布式架構中,緩存層面的基本需求就是提高響應速度,不斷優化,追求數據庫和Redis緩存的數據快速一致性,從提供的各種方案中都可以看出,這也在增加緩存層面處理的復雜性,架構邏輯復雜,就容易導致程序錯誤,所以針對業務選擇合理的處理邏輯,這點很關鍵。

三、緩存監控

1、Redis服務監控

通過info命令查看Redis服務的參數信息,可以通過傳參查看指定分類配置。通過config…set設置具體配置參數。例如:

@Override public Properties info(String var) {if (StringUtils.isEmpty(var)){return redisTemplate.getRequiredConnectionFactory().getConnection().info();}return redisTemplate.getRequiredConnectionFactory().getConnection().info(var); }

傳參說明:

  • memory:內存消耗相關信息
  • server:有關Redis服務器的常規信息
  • clients:客戶端連接部分
  • stats:一般統計
  • cpu:CPU消耗統計信息

應用案例:

@RestController public class MonitorController {@Resourceprivate RedisService redisService ;private static final String[] monitorParam = new String[]{"memory","server","clients","stats","cpu"} ;@GetMapping("/monitor")public List<MonitorEntity> monitor (){List<MonitorEntity> monitorEntityList = new ArrayList<>() ;for (String param:monitorParam){Properties properties = redisService.info(param) ;MonitorEntity monitorEntity = new MonitorEntity () ;monitorEntity.setMonitorParam(param);monitorEntity.setProperties(properties);monitorEntityList.add(monitorEntity);}return monitorEntityList ;}}

通過上述參數組合,把Redis相關配置參數打印出來,然后可視化輸出,儼然一副高端的感覺。

配置參數說明:

這里只對兩個參數說明一下,計算命中率的關鍵信息:

  • keyspace_misses:查找緩存Key失敗的次數;
  • keyspace_hits:查找緩存Key命中的次數;

公式:命中率=命中次數/(hits+misses)查找總次數。

2、LRU算法說明

Redis的數據是放在內存中的,所以速度快,自然也就受到內存大小的限制,如果內存使用超過配置,Redis有不同的回收處理策略。

內存模塊參數:maxmemory_policy

  • noenviction:不回收數據,查詢直接返回錯誤,但可以執行刪除;
  • allkeys-lru:從所有的數據中挑選最近最少使用的數據淘汰;
  • volatile-lru:已設置過期時間的數據中挑選最近最少使用的數據淘汰;
  • allkeys-random:從所有數據中任意選擇數據淘汰;
  • volatile-random:從已設置過期時間的數據中任意選擇數據淘汰;
  • volatile-ttl:從已設置過期時間的數據中挑選將要過期的數據淘汰;

大部分情況下,業務都是希望最熱點數據可以被緩存,所以相對使用allkeys-lru策略偏多。這里要根據業務模式特點衡量。

四、源代碼地址

GitHub·地址 https://github.com/cicadasmile/data-manage-parent GitEE·地址 https://gitee.com/cicadasmile/data-manage-parent

推薦閱讀:《架構設計系列》,蘿卜青菜,各有所需

序號標題
01架構基礎:單服務.集群.分布式,基本區別和聯系
02架構設計:分布式業務系統中,全局ID生成策略
03架構設計:分布式系統調度,Zookeeper集群化管理
04架構設計:接口冪等性原則,防重復提交Token管理

總結

以上是生活随笔為你收集整理的架构设计 | 缓存管理模式,监控和内存回收策略的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。