日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

Minio过期分片上传文件清理引出的系统配置

發布時間:2023/12/20 windows 55 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Minio过期分片上传文件清理引出的系统配置 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

上篇文章【SpringBoot通過Minio實現大文件分片上傳】中,很多問到了關于分片上傳,未使用過期的歷史分片如何清理的問題,其實官方默認有策略會定時清理歷史過期臨時文件,查了一下發現這方便資料非常少,而且官方文檔也沒有說明,于是帶著問題查詢了下Minio相關的配置才引出這篇文章。

查詢到的資料有限,本文章主要說明以下幾個方便:

  • 關于過期分片的清理問題,擔心過多冗余分片占用磁盤空間,Minio是否會自動清理?
  • 是否可自定義清理策略?
  • Minio部署有哪些可自定義配置?如何配置?
  • 1. 過期分片是否會自動清理

    答案顯而易見,臨時上傳的分片,會被定時清理。否則隨著時間推移,垃圾定會越積越多。那么問題又來了,有些系統用戶量大,系統調用頻繁可能堆積速度快,那么是否可配置清理頻率呢?

    2. 清理策略是否可配置

    查詢到官方github已有優秀的用戶反饋并提交了部分清理策略修改的PR請求(感興趣的可查看:fix: allow configuring cleanup of stale multipart uploads),并已合并到主分支,如果使用可更新到該版本(RELEASE.2021-10-06T23-36-31Z)之后的新版本。

    在此可查看此版本更新內容:
    RELEASE.2021-10-06T23-36-31Z

    其中包含一條即為:

    • Allow configuring cleanup of stale multipart uploads. See (#13354) for more details.

    此時,我們發現可通過配置部分清理策略,那么接下來看如果使用這些配置,以及一些其他配置,且Docker及原生部署是否有區別?Mc是否可設置?

    3. 新增配置項解釋

    首先看下清理策略的配置包含哪些(英文描述挺簡單,相信大家一定沒問題):

    配置參數Env參數名(后續說明如何使用)說明
    stale_uploads_expiryMINIO_API_STALE_UPLOADS_EXPIRYset to expire stale multipart uploads older than this value, defaults to 24 hours
    stale_uploads_cleanup_intervalMINIO_API_STALE_UPLOADS_CLEANUP_INTERVALset to change intervals when stale multipart uploads are expired, defaults to every 6 hours
    delete_cleanup_intervalMINIO_API_DELETE_CLEANUP_INTERVALset to change intervals when deleted objects are permanently deleted from “.trash” folder, defaults to every 5 minutes
    其他配置
    requests_maxMINIO_API_REQUESTS_MAXset the maximum number of concurrent requests, e.g. “1600”
    requests_deadlineMINIO_API_REQUESTS_DEADLINEset the deadline for API requests waiting to be processed e.g. “1m”
    cluster_deadlineMINIO_API_CLUSTER_DEADLINEset the deadline for cluster readiness check e.g. “10s”
    cors_allow_originMINIO_API_CORS_ALLOW_ORIGINset comma separated list of origins allowed for CORS requests e.g. “https://example1.com,https://example2.com”
    remote_transport_deadlineMINIO_API_REMOTE_TRANSPORT_DEADLINEset the deadline for API requests on remote transports while proxying between federated instances e.g. “2h”
    list_quorumMINIO_API_LIST_QUORUMset the acceptable quorum expected for list operations e.g. “optimal”, “reduced”, “disk”, “strict”, defaults to “strict”
    replication_workersMINIO_API_SECURE_CIPHERSset the number of replication workers, defaults to 100
    replication_failed_workersMINIO_API_REPLICATION_WORKERSset the number of replication workers for recently failed replicas, defaults to 4
    transition_workersMINIO_API_TRANSITION_WORKERSset the number of transition workers, defaults to 100

    由此新增的三個參數可看出,我們可配置過期分片清理的閾值及頻率,增加了靈活性。

    4. 配置使用

    官方也有說明部分參數的使用,可查閱:minio-server-configuration-guide。接下來看下在Docker及原生部署中如何使用:

    • Docker run直接運行,使用Env參數名

    docker run -p 9000:9000 \-e "MINIO_ACCESS_KEY=tuine" \-e "MINIO_SECRET_KEY=ZtG8tN5zo9EzcKMi" \-e "MINIO_API_STALE_UPLOADS_EXPIRY=24" \minio/minio server /data
    • dockercompose.yml配置啟動,使用Env參數名

    minio:image: minio/minio:latestcontainer_name: miniorestart: alwayscommand: server /data/volumes:- ./data/:/dataports:- "9000:9000"environment:- TZ=Asia/Shanghai- MINIO_ACCESS_KEY=tuine- MINIO_SECRET_KEY=ZtG8tN5zo9EzcKMi- MINIO_API_STALE_UPLOADS_EXPIRY=24
    • 原生啟動,使用Env參數名

    export MINIO_SITE_REGION="us-west-0" export MINIO_API_STALE_UPLOADS_EXPIRY=24 minio server /data

    通過Mc設置,使用配置參數

    mc admin config set myminio/ api requests_max=1600 stale_uploads_expiry=24 mc admin service restart myminio/

    配置完成后,啟動或者重啟即可生效。

    如果文章對你有用,歡迎點贊收藏,謝謝!如有不正確或不理解的歡迎評論指出。

    總結

    以上是生活随笔為你收集整理的Minio过期分片上传文件清理引出的系统配置的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。