《大数据》杂志——大数据容灾备份技术挑战和增量备份解决方案
大數據容災備份技術挑戰和增量備份解決方案
羅圣美1,2，李 明1，葉郁文1
（1.中興通訊股份有限公司 南京 210012； 2.清華大學計算機科學與技術系 北京 100084）
摘要：大數據已成為當前社會各界關注的焦點，是當前世界各國新一輪的科技競爭和綜合國力較量的重點，必須做好大數據的容災備份工作。為此，在分析大數據容災備份現狀的基礎上，結合行業對大數據容災備份需求，討論了幾種典型的技術解決方案及其優缺點，提出了一種基于HDFS的增量數據備份恢復方案，具備分鐘級RPO的系統遠程備份特性，可以較好地解決目前大數據容災備份項目建設規劃面臨的實際需求。
關鍵詞：大數據；備份；恢復；業務連續性
doi: 10.11959/j.issn.2096-0271.2015033
Challenge and Solution of Big Data Backup and Recovery
Luo Shengmei1,2, Li Ming1, Ye Yuwen1
(1.ZTE Corporation, Nanjing 210012, China;2.Department of Computer Science and Technology, Tsinghua University, Beijing100084, China)
Abstract: Big data has become the focus of the social attention, it will raise a new competition in science and technology and comprehensive national strength,especially in the disaster recovery and backup data. Therefore, based on the analysis of the current industrial status and the requirements about big data disaster recovery and backup, the advantage and disadvantage of several typical technology solutions were discussed, then a better incremental backup data recovery solution was proposed. This solution can support minute RPO, and meetcurrent requirements about the disaster recovery and backup data.
Key words: big data, backup, recovery,service continuity
論文引用格式： 羅圣美, 李明, 葉郁文. 大數據容災備份技術挑戰和增量備份解決方案. 大數據, 2015033
Luo S M, Li M, Ye Y W. Challenge and solution of big data backup and recovery. Big Data Research, 2015033
1 引言
隨著移動互聯網信息技術的演進和社會的發展，人類在生產和生活中會產生更多、更復雜的數據。據 IDC 報告顯示， 2020 年全球企業數據總量將從目前的 1.2 ZB 增加到35 ZB。從一般意義上講，這種量級和復雜度的數據，業界稱為大數據。大數據是人類社會重要的信息資產，在科技發展和生活生產中起到非常重要的作用，已成為當前社會各界關注的焦點，是當前世界各國新一輪的科技競爭和綜合國力較量的重要體現。
近些年來颶風、地震、海嘯、火災等自然災害頻發，電腦病毒泛濫、黑客攻擊猖獗等日益嚴重的互聯網危機，已讓無數企業遭受了數據丟失所帶來的沉重打擊。多個研究機構提供的數據表明，公司數據丟失將對公司帶來嚴重影響，甚至導致公司倒閉。來自IDC的統計數據顯示，1990-2000年發生災難導致數據丟失的公司生存下來的僅有16%，美國明尼蘇達大學研究報告顯示，發生數據丟失的公司如果無法快速恢復數據，近3/4的公司業務將停頓，近2/5的公司將倒閉[1]。
由此可見，數據是企業最寶貴的資產，是企業生存的基礎，也是企業核心競爭力的重要組成部分，一旦丟失，其產生的后果可能是災難性的，甚至會引發社會性問題，所以大數據的安全、備份和容災就顯得尤為重要。
2 大數據容災備份
2.1 容災備份現狀
容災備份系統的目的在于保證系統數據可靠和服務的在線性，即當主用系統發生故障時，仍能提供數據和服務，保證系統業務不受影響。
災備領域國際和國內都制定了相關標準，國際標準中SHARE78具有較大影響力，針對災難恢復定義了Tier-0至Tier6/7共7個層次。
我國的國家標準GB20988-2007-T《信息安全技術信息系統災難恢復規范》對容災備份進行了標準化[2]，與SHARE78的7個層次具備對應關系，并進一步細化了具體要求。
在設計容災系統時，容災要達到什么樣的目標和層次，需要用一些定量的指標來衡量，這就是災難恢復能力指標，具體介紹如下。
RTO（recovery time object，恢復時間目標）：指信息系統從災難狀態恢復到可運行狀態所需要的時間，用來衡量容災系統的業務恢復能力。
RPO（recovery point time，恢復點時間）：指業務系統所允許的在災難過程中的最大數據量丟失，用來衡量容災系統的數據冗余備份能力。
NRO（network recovery object，網絡恢復時間目標）：指在災難發生后網絡恢復或切換到災備中心的時間，通常網絡要先于應用恢復才有意義，但應用恢復后才能提供業務訪問。
某行業災難恢復等級對應的能力指標見表1。
表1 RTO/RPO 與災難恢復能力等級的關系[2]
數據的備份策略一般分為全量備份（full backup）、差異備份（differential backup）和增量備份（incremental backup）。
全量備份：間隔一段時間就對整個系統進行全面備份，包括系統和數據。差異備份：針對前一次完全備份后發生變化的所有信息進行備份。
增量備份：針對前一次備份后所有發生變化的信息進行備份，增量備份方式備份的數據量最小，但恢復時要利用全備份的數據，并疊加以前的增量備份，數據恢復時間也最長。
無論哪種備份策略，在一個備份周期內都首先要進行一次完全備份，然后再選擇進行增量備份或者累計備份。通常在數據更新不太頻繁且數據量不太大的情況下，可以選用累計備份的方式。若數據量更新很頻繁，更新量又很大，那么備份周期后幾次的累計備份數據量就很大，這時使用累計備份就不太經濟，可以考慮增量備份或者增量備份和累計備份相結合的方式，也可以考慮縮短備份周期。
備份系統結構一般包括DAS-base備份、LAN-base備份、LAN-free備份和Server-free備份，如圖1所示。
圖 1 常見備份系統架構
（1）DAS-base備份是利用服務器自帶的磁帶機或備份硬盤手工進行數據備份。優點是維護簡單，數據傳輸速度快；缺點是可管理的存儲設備較少，對大數據量備份場景或者實時數據備份場景不適用。
（2）LAN-base備份是專門使用一臺服務器作為備份管理服務器，通過備份管理服務器實施系統的專用備份操作。優點是投資經濟、磁帶庫共享、集中備份管理；缺點是網絡傳輸壓力大，對備份數據量大/備份頻率高的場景不適用。
（3）LAN-free備份是將備份設備連接到SAN（storage area network，存儲區域網絡）上，數據無須通過局域網而直接進行備份，局域網只承擔各服務器之間的通信任務，實現了控制流與數據流分離。優點是數據備份統一管理、備份速度快、網絡傳輸壓力小、磁帶庫資源共享；缺點是恢復操作繁瑣、實施復雜、投資較高，不適用于少量文件備份場景。
（4）Server-free備份不需要在服務器中緩存數據，顯著減少對主機CPU占用，采用NDMP（網絡數據管理協議）應用是實現方式之一。優點是數據備份和恢復時間短、網絡傳輸壓力小、便于統一管理和備份資源共享，但由于需要特定的備份應用軟件進行管理，需要考慮廠商的兼容性問題，實施起來比較復雜，成本也較高。
2.2 大數據容災備份特征與挑戰
大數據同過去的海量數據有所區別，其4V特征（volume、variety、value、velocity）體現了量大、多樣、密度低、速度快的特點，采用磁帶復制方式不現實。
傳統備份產品不適用于大數據領域。傳統備份產品大多基于主機、網絡或者磁陣，都是單機備份系統，而云存儲現有的數據多副本和EC技術應用都只能保證單數據中心內的數據可靠性，不提供數據備份能力。
HDFS的數據節點（DataNode）采用多副本、糾刪碼（erasure coding， EC）等高可用（high availability， HA）技術，可以提供數據高可靠性。 HDFS的主從和單個元數據節點（NameNode）設計方式使得元數據節點成為單點故障， HDFS的HA發展經歷了3個過程。
（1）借助分布式塊復制設備（distributed replicated block device，DRBD）、心跳服務（heartbeat）HA組件實現主備切換。使用DRBD實現兩臺物理機器之間塊設備的同步，即通過網絡實現raid1，輔以heartbeat HA實現兩臺機器動態角色切換，對外使用虛擬IP地址來統一配置。
（2）主元數據節點（Primary NameNode）與備元數據節點（Standby NameNode）之間通過網絡文件系統（network filesy stem，NFS）來共享FsEdits、FsImage文件，這樣主備NameNode之間就擁有了一致的目錄樹和block信息。DataNode向兩個NameNode上報塊信息，輔以虛擬IP地址，可以較好地達到主備NameNode快速熱切換的目的。
（3）基于Paxos算法實現的HDFS HA方案。基本原理是用2N+1臺JournalNode存儲EditLog，每次寫數據操作有大多數（≥N+1）返回成功時，即認為該次寫成功，數據不會丟失。
雖然基于HDFS的大數據系統解決了HA問題，但是異地備份和容災仍存在問題。所以，需要有一種容量更大、安全性更高、數據存儲及恢復更快的容災備份解決方案來滿足實際應用需求。
2.3 大數據容災備份解決方案
系統容災備份是一項系統工程，一般要從災備中心基礎設施、數據備份系統、備用數據處理系統、備用網絡系統、災難恢復預案、運維管理能力以及技術支持能力7個要素進行統籌考慮。
本文主要從數據備份系統以及備用數據處理系統角度描述一種可行的災備方案，該容災備份方案是基于HDFS的增量數據備份恢復方案，是具備分鐘級RPO的HDFS遠程備份系統，提供數據一致性備份以及高效備份恢復機制，如圖2所示。
圖 2 基于 HDFS 的遠程容災備份系統
為了實現大數據的增量備份與恢復，系統可配置備份服務器地址和備份時間間隔，可在任意時刻輸入備份命令開始進行備份，并可在指定的時間間隔進行快速增量備份，數據塊備份過程中能夠通過重復數據刪除減少網絡傳輸，支持對任意版本的數據快速恢復，可以指定目錄備份，并支持多源端備份。
大數據容災備份總體架構如圖3所示。HDFS上存儲的數據包括元數據和業務數據，分別存儲在NameNode和DataNode上。為實現基于HDFS的增量備份與恢復，生產系統即源端的NameNode和DataNode需要針對備份與恢復進行改造。詳細結構如圖4所示。
圖 3 大數據容災備份總體架構
圖 4 源端模塊組成
NameNode包括對元數據的內容檢測、備份存儲、備份過濾、備份傳輸以及備份恢復。
DataNode負責發送和接收要備份/恢復的塊數據， DataNode包括如下模塊。
●備份傳輸：根據NameNode指令將塊數據傳送到備份服務器。
●備份刪冗：計算塊數據的散列值。
●傳輸加密：對需要傳輸的數據進行加密，加密算法為DES算法。
●備份恢復：從備份端恢復數據。
備份端對備份數據進行刪冗處理，減少傳輸過程的數據量，提升備份性能，傳輸前進行數據加密，保證數據傳輸安全。備份端模塊架構如圖5所示。
圖 5 備份端模塊組成
備份服務器模塊組成功能如下。
●備份接收：接收源端發送的備份數據。
●傳輸解密：對備份數據進行DES解密。
●備份刪冗：建立備份端塊數據散列池，并比對源端發送的散列值是否存在于此散列值，若是，指示源端不必發送數據。
●版本管理：對源端的多次備份區分不同版本號，并加以時間戳標志。
●備份存儲：將備份歷史數據存入文件系統。
●合成備份：合成最新備份版本。
●備份恢復：向恢復端發送指定版本的元數據和數據。
備份數據傳輸前，傳輸刪冗大幅降低
冗余備份數據傳輸量， DataNode切分數據塊并計算每個塊的散列值，備份端保存歷史散列池。同時，采用數據加密保證數據傳輸安全。詳細流程實現如圖6所示。
圖 6 數據備份流程
3 結束語
在大數據時代，數據是企業最重要的資產，確保數據在環境異常情況下的可靠性和可用性是目前技術研究和產業應用的重點方向。本文通過大數據容災備份現狀分析，結合行業對大數據容災備份需求，討論了幾種典型的技術解決方案及其優缺點，提出了一種基于HDFS的增量數據備份恢復方案，具備分鐘級RPO的系統遠程備份特性，可以較好地解決目前大數據容災備份項目建設規劃面臨的實際需求。隨著大數據技術的發展以及應用需求的不斷變化，對大數據容災備份的方案也會提出更高的要求，需要持續性地針對業務需求、應用場景和運維成本進行針對性的設計和實現。
參考文獻
[1] 姚文斌, 伍淳華. 中國災備標準和產業發展現狀. 中興通訊技術, 2010, 16(5)
Yao W B, Wu C H. Development of standards and industry of disaster backup and recovery in China. ZTE Communications, 2010, 16(5)
[2] GBT 20988-2007. 信息安全技術信息系統災難恢復規范, 2007
GBT 20988-2007. Information Security Technology Disaster Recovery Specifications for Information Systems, 2007
總結
以上是生活随笔為你收集整理的《大数据》杂志——大数据容灾备份技术挑战和增量备份解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 细说HTML元素的ID和Name属性的区
- 下一篇： 关键字 'USER' 附近有语法错误