海域動態監視監測管理系統

上一次我們建立一個強大的備份系統時 ，現在我們將研究如何監視備份集。 我們需要驗證是否正確清理了備份集（這稱為刪除策略），并且它們是一致的（稱為一致性策略）。

備份集可以包含多個文件集。 文件集是備份文件的集合，位于備份集的同一源目錄下。

以下YAML配置顯示了備份集和文件集的示例：

backup-set-configs: - name: Mikrotik Backupsuri: /volume1/backupftp/mikrotik_backuptype: DISKfile-set:- name: fe-prodnet01 exportfilterPattern: '.*fe-prodnet01-.*\.rsc'- name: fe-prodnet11 backupfilterPattern: '.*fe-prodnet11.*\.backup' - name: Exchange Backupsuri: /volume1/pex/backupstype: DISKfile-set:- name: Exchange pstsfilterPattern: '.*\.pst'groupByPattern: '.*\/backups\/(\d{4}-\d{2}-\d{2})\/'groupByPatternHasDatePattern: 'yyyy-MM-dd'deletePolicy:deleteEmptyDirectories: true - name: Proxmox Backupsuri: /volume1/proxmox/dumptype: DISKfile-set:- name: QEMU backupsfilterPattern: '.*vzdump-qemu.*\.vma\.lzo'groupByPattern: 'proxmox/dump/vzdump-qemu-(\d+)-'consistencyPolicy:numberOfBackupsRequired: 3- name: LXC backupsfilterPattern: '.*vzdump-lxc.*\.tar\.lzo'groupByPattern: 'proxmox/dump/vzdump-lxc-(\d+)-'consistencyPolicy:numberOfBackupsRequired: 3

第一個備份集位于/volume1/backupftp/mikrotik_backup目錄下，并包含兩組文件。 當多個服務器的文件位于同一目錄中時，通常將以這種方式進行配置。 如第三個示例所示，還有另一種解決方案按服務器名稱（或任何標識符）分組。

文件集具有name ，這只是GUI和filterPattern的邏輯名稱。 無論目錄樹有多深，此模式都將過濾備份集路徑下匹配的所有文件。

刪除策略和一致性策略將按修改日期（在磁盤上）從大到小的順序應用于文件。

第二個備份集用于交換備份。 請注意，在此示例中，我們如何使用groupByPattern 。 這通過groupByPattern所有過濾的文件名（來自filterPattern ） groupByPattern 。 在這種情況下， groupByPattern也是日期模式，由groupByPatternHasDatePattern指定。

我們將得到一個文件集，該文件集按照指定的日期模式按日期分組，并且刪除策略和一致性策略將按順序將刪除和一致性策略應用于匹配的文件（分組日期）。

第三個備份集（用于Proxmox備份）將文件存儲在“轉儲”目錄中，并混合兩種類型的備份。 QEMU和LXC備份分為兩個文件集，并由(\d+)指定的VMID（虛擬機標識符）分組。 由于groupByPattern是十進制值而不是日期，因此刪除和一致性策略將按修改日期（在磁盤上）以降序順序應用于匹配的文件。

請注意，我們并不總是指定deletePolicy或consistencyPolicy ，因為我們在這兩個政策的合理的默認值。 它們都將針對每個備份集和其中的每個文件集執行。

deletePolicy具有兩個配置設置：

• deleteEmptyDirectories ：默認情況下處于禁用狀態，當您有一個groupByPattern作為日期值時，此設置很有用。 當超過保留策略時，該目錄中的所有文件都將被刪除，從而為您留下一個空的“日期”目錄。 在這種情況下，您可以指定deleteEmptyDirectories 。 該目錄只有在確實為空的情況下才會被清理（以防其他日志文件徘徊）。
• deleteNumberOfBackupsLargerThan ：默認情況下為30。對于每日備份，這類似于30天。 如果您每周備份一次，則表示保留政策為30周。 當然，無論天數如何，都可以根據需要更改此值。 它表示需要在磁盤上保留多少個文件集。

consistencyPolicy具有三個配置旋鈕：

• numberOfBackupsRequired ：默認值為7。即使我們在deletePolicy保留了30個文件集，我們也只需要7個文件集即可通過一致性。 如果是每日備份，則意味著我們至少需要備份7天才能使文件集保持一致。
• minimumFileSizeRequired ：默認值為1。這意味著文件集中的每個文件必須至少為1個字節或更大。 這可以確保至少有東西在文件中。 您可以將其設置為更大，或將其設置為0以禁用該檢查。
• numberOfDaysOfBackupsRequired ：默認值為7。這將檢查文件集中的最后一個文件（按日期或修改時間降序排列）至少比7天前更新。

組合所有設置可確保：

文件集包含足夠新的文件。

文件集的文件中至少寫入了一些內容。

我們擁有一組跨一定時間的文件，并且該時間不超過或不影響刪除策略。

如果任何一項檢查失敗，則文件集將失敗。 如果文件集失敗，則備份集也會失敗，因此，全局狀態也將失敗。

一致性策略和刪除策略的實現都擴展了相同的抽象類AbstractFileVisitor ，而后者又擴展了SimpleFileVisitor<Path> 。 此FileVisitor將循環備份集URI中的所有子目錄兩次，首先執行刪除策略，然后執行一致性策略。

然后， AbstractFileVisitor將過濾與過濾器匹配的所有子目錄中的所有文件，并將它們放置在地圖結構中。

為了完成此過程，將循環映射結構，并根據策略規則刪除和驗證文件。

您是否對我們的實施感到好奇？ 您想分叉并修改我們的代碼嗎？ 在評論中大喊大叫，我們可以談談我們解決方案的開源。

改進措施

可以隨時進行改進，這是我們頭腦中的一些事情：

• 在備份斷開連接之前，在源上添加MD5校驗和。 在我們的應用程序中檢查那些MD5校驗和，以確保我們的備份在時間上保持一致。
• 在應用程序的內存中解析檔案文件（.zip，.tar，.gz），遍歷文件條目，看看是否到達檔案文件的末尾； 這應該排除損壞的.zip文件。
• 解析郵箱備份并遍歷條目以查看存檔是否未損壞。
• 將數據庫備份發送到基礎結構，該結構檢查是否可以還原數據庫。
• 添加了遠程檢查備份的功能（例如，通過SSH登錄到遠程服務器，并檢查那里的備份是否也可用并保持一致），對于某些異地備份方案很有用。
• 新增了通過API檢查備份的功能（例如，查看第三方系統上托管的AWS備份或Proxmox備份的狀態）。

翻譯自: https://www.javacodegeeks.com/2018/05/monitoring-and-managing-your-backup-system.html

海域動態監視監測管理系統

總結

以上是生活随笔為你收集整理的海域动态监视监测管理系统_监视和管理备份系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。