日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔！

生活随笔

當(dāng)前位置： 首頁(yè) >

独立硬盘冗余阵列与HDFS

發(fā)布時(shí)間：2025/4/5 80 豆豆
生活随笔 收集整理的這篇文章主要介紹了 独立硬盘冗余阵列与HDFS 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

http://zh.wikipedia.org/wiki/RAID

獨(dú)立硬盤(pán)冗余陣列（RAID,?Redundant?Array of?Independent?Disks），舊稱(chēng)廉價(jià)磁盤(pán)冗余陣列（Redundant?Array of?Inexpensive?Disks），簡(jiǎn)稱(chēng)硬盤(pán)陣列。其基本思想就是把多個(gè)相對(duì)便宜的硬盤(pán)組合起來(lái)，成為一個(gè)硬盤(pán)陣列組，使性能達(dá)到甚至超過(guò)一個(gè)價(jià)格昂貴、容量巨大的硬盤(pán)。根據(jù)選擇的版本不同，RAID比單顆硬盤(pán)有以下一個(gè)或多個(gè)方面的好處：增強(qiáng)數(shù)據(jù)集成度，增強(qiáng)容錯(cuò)功能，增加處理量或容量。另外，磁盤(pán)陣列對(duì)于電腦來(lái)說(shuō)，看起來(lái)就像一個(gè)單獨(dú)的硬盤(pán)或邏輯存儲(chǔ)單元。分為RAID-0，RAID-1，RAID-1E，RAID-5，RAID-6，RAID-7，RAID-10，RAID-50，RAID-60。

簡(jiǎn)單來(lái)說(shuō)，RAID把多個(gè)硬盤(pán)組合成為一個(gè)邏輯扇區(qū)，因此，操作系統(tǒng)只會(huì)把它當(dāng)作一個(gè)硬盤(pán)。RAID常被用在服務(wù)器電腦上，并且常使用完全相同的硬盤(pán)作為組合。由于硬盤(pán)價(jià)格的不斷下降與RAID功能更加有效地與主板集成，它也成為了玩家的一個(gè)選擇，特別是需要大容量存儲(chǔ)空間的工作，如：視頻與音頻制作。

最初的RAID分成了不同的等級(jí)，每種等級(jí)都有其理論上的優(yōu)缺點(diǎn)，不同的等級(jí)在兩個(gè)目標(biāo)間取得平衡，分別是增加數(shù)據(jù)可靠性以及增加存儲(chǔ)器（群）讀寫(xiě)性能。這些年來(lái)，出現(xiàn)了對(duì)于RAID觀念不同的應(yīng)用。

?

目錄

??[隱藏]?
  • 1?標(biāo)準(zhǔn)RAID
    • 1.1?RAID 0
    • 1.2?RAID 1
    • 1.3?RAID 2
    • 1.4?RAID 3
    • 1.5?RAID 4
    • 1.6?RAID 5
    • 1.7?RAID 6
  • 2?混合RAID
    • 2.1?JBOD
    • 2.2?RAID 7
    • 2.3?RAID 10/01
    • 2.4?RAID 50
    • 2.5?RAID 53
    • 2.6?RAID 60
  • 3?應(yīng)用
  • 4?磁盤(pán)陣列比較表
    • 4.1?種類(lèi)
  • 5?磁盤(pán)陣列相關(guān)產(chǎn)品
  • 6?磁盤(pán)陣列相關(guān)客戶類(lèi)型
  • 7?參考數(shù)據(jù)
  • 8?外部鏈接

?

標(biāo)準(zhǔn)RAID

RAID 0

RAID 0亦稱(chēng)為帶區(qū)集。它將兩個(gè)以上的磁盤(pán)并列起來(lái)，成為一個(gè)大容量的磁盤(pán)。在存放數(shù)據(jù)時(shí)，分段后分散存儲(chǔ)在這些磁盤(pán)中，因?yàn)樽x寫(xiě)時(shí)都可以并行處理，所以在所有的級(jí)別中，RAID 0的速度是最快的。但是RAID 0既沒(méi)有冗余功能，也不具備容錯(cuò)能力，如果一個(gè)磁盤(pán)（物理）損壞，所有數(shù)據(jù)都會(huì)丟失，危險(xiǎn)程度與JBOD相當(dāng)。

RAID 1

兩組以上的N個(gè)磁盤(pán)相互作鏡像，在一些多線程操作系統(tǒng)中能有很好的讀取速度，理論上讀取速度等于硬盤(pán)數(shù)量的倍數(shù)，另外寫(xiě)入速度有微小的降低。只要一個(gè)磁盤(pán)正常即可維持運(yùn)作，可靠性最高。RAID 1就是鏡像，其原理為在主硬盤(pán)上存放數(shù)據(jù)的同時(shí)也在鏡像硬盤(pán)上寫(xiě)一樣的數(shù)據(jù)。當(dāng)主硬盤(pán)（物理）損壞時(shí)，鏡像硬盤(pán)則代替主硬盤(pán)的工作。因?yàn)橛戌R像硬盤(pán)做數(shù)據(jù)備份，所以RAID 1的數(shù)據(jù)安全性在所有的RAID級(jí)別上來(lái)說(shuō)是最好的。但無(wú)論用多少磁盤(pán)做RAID 1，僅算一個(gè)磁盤(pán)的容量，是所有RAID中磁盤(pán)利用率最低的一個(gè)級(jí)別。

如果用兩個(gè)不同大小的磁盤(pán)建RAID 1，可用空間為較小的那個(gè)磁盤(pán)，較大的磁盤(pán)多出來(lái)的空間也可以分區(qū)成一個(gè)區(qū)來(lái)使用，不會(huì)造成浪費(fèi)。

?

RAID 2

這是RAID 0的改良版，以漢明碼（Hamming Code）的方式將數(shù)據(jù)進(jìn)行編碼后分區(qū)為獨(dú)立的比特，并將數(shù)據(jù)分別寫(xiě)入硬盤(pán)中。因?yàn)樵跀?shù)據(jù)中加入了錯(cuò)誤修正碼（ECC，Error Correction Code），所以數(shù)據(jù)整體的容量會(huì)比原始數(shù)據(jù)大一些，RAID2最少要三臺(tái)磁盤(pán)驅(qū)動(dòng)器方能運(yùn)作。

RAID 3

采用Bit－interleaving（數(shù)據(jù)交錯(cuò)存儲(chǔ)）技術(shù)，它需要通過(guò)編碼再將數(shù)據(jù)比特分割后分別存在硬盤(pán)中，而將同比特檢查后單獨(dú)存在一個(gè)硬盤(pán)中，但由于數(shù)據(jù)內(nèi)的比特分散在不同的硬盤(pán)上，因此就算要讀取一小段數(shù)據(jù)資料都可能需要所有的硬盤(pán)進(jìn)行工作，所以這種規(guī)格比較適于讀取大量數(shù)據(jù)時(shí)使用。

RAID 4

它與RAID 3不同的是它在分區(qū)時(shí)是以區(qū)塊為單位分別存在硬盤(pán)中，但每次的數(shù)據(jù)訪問(wèn)都必須從同比特檢查的那個(gè)硬盤(pán)中取出對(duì)應(yīng)的同比特?cái)?shù)據(jù)進(jìn)行核對(duì)，由于過(guò)于頻繁的使用，所以對(duì)硬盤(pán)的損耗可能會(huì)提高。（塊交織技術(shù)，Block interleaving）

RAID 5

RAID Level 5是一種儲(chǔ)存性能、數(shù)據(jù)安全和存儲(chǔ)成本兼顧的存儲(chǔ)解決方案。它使用的是Disk Striping（硬盤(pán)分區(qū)）技術(shù)。RAID 5至少需要三顆硬盤(pán)，RAID 5不是對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行備份，而是把數(shù)據(jù)和相對(duì)應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到組成RAID5的各個(gè)磁盤(pán)上，并且奇偶校驗(yàn)信息和相對(duì)應(yīng)的數(shù)據(jù)分別存儲(chǔ)于不同的磁盤(pán)上。當(dāng)RAID5的一個(gè)磁盤(pán)數(shù)據(jù)發(fā)生損壞后，可以利用剩下的數(shù)據(jù)和相應(yīng)的奇偶校驗(yàn)信息去恢復(fù)被損壞的數(shù)據(jù)。RAID 5可以理解為是RAID 0和RAID 1的折衷方案。RAID 5可以為系統(tǒng)提供數(shù)據(jù)安全保障，但保障程度要比鏡像低而磁盤(pán)空間利用率要比鏡像高。RAID 5具有和RAID 0相近似的數(shù)據(jù)讀取速度，只是因?yàn)槎嗔艘粋€(gè)奇偶校驗(yàn)信息，寫(xiě)入數(shù)據(jù)的速度相對(duì)單獨(dú)寫(xiě)入一塊硬盤(pán)的速度略慢，若使用“回寫(xiě)高速緩存”可以讓性能改善不少。同時(shí)由于多個(gè)數(shù)據(jù)對(duì)應(yīng)一個(gè)奇偶校驗(yàn)信息，RAID 5的磁盤(pán)空間利用率要比RAID 1高，存儲(chǔ)成本相對(duì)較便宜。

?

RAID 6

與RAID 5相比，RAID 6增加了第二個(gè)獨(dú)立的奇偶校驗(yàn)信息塊。兩個(gè)獨(dú)立的奇偶系統(tǒng)使用不同的算法，數(shù)據(jù)的可靠性非常高，即使兩塊磁盤(pán)同時(shí)失效也不會(huì)影響數(shù)據(jù)的使用。但RAID 6需要分配給奇偶校驗(yàn)信息更大的磁盤(pán)空間，相對(duì)于RAID 5有更大的“寫(xiě)損失”，因此“寫(xiě)性能”非常差。較差的性能和復(fù)雜的實(shí)作方式使得RAID 6很少得到實(shí)際應(yīng)用。

同一數(shù)組中最多容許兩個(gè)磁盤(pán)損壞。更換新磁盤(pán)后，數(shù)據(jù)將會(huì)重新算出并寫(xiě)入新的磁盤(pán)中。依照設(shè)計(jì)理論，RAID 6必須具備四個(gè)以上的磁盤(pán)才能生效。

可使用的容量為硬盤(pán)總數(shù)減去2的差，乘以最小容量，公式為：

同理，數(shù)據(jù)保護(hù)區(qū)域容量則為最小容量乘以2。

RAID 6在硬件磁盤(pán)陣列卡的功能中，也是最常見(jiàn)的磁盤(pán)陣列等級(jí)。

混合RAID

JBOD

JBOD（ Just a Bunch Of Disks）在分類(lèi)上，JBOD并不是RAID的等級(jí)。由于并沒(méi)有規(guī)范，市場(chǎng)上有兩類(lèi)主流的做法

  • 使用單獨(dú)的鏈接端口如SATA、USB或1394同時(shí)控制多個(gè)各別獨(dú)立的硬盤(pán)，使用這種模式通常是較高級(jí)的設(shè)備，還具備有RAID的功能，不需要依靠JBOD達(dá)到合并邏輯扇區(qū)的目的。
  • 只是將多個(gè)硬盤(pán)空間合并成一個(gè)大的邏輯硬盤(pán)，沒(méi)有錯(cuò)誤備援機(jī)制。

    • 數(shù)據(jù)的存放機(jī)制是由第一顆硬盤(pán)開(kāi)始依序往后存放，即操作系統(tǒng)看到的是一個(gè)大硬盤(pán)（由許多小硬盤(pán)組成的）。但如果硬盤(pán)損毀，則該顆硬盤(pán)上的所有數(shù)據(jù)將無(wú)法救回。若第一顆硬盤(pán)損壞，通常無(wú)法作救援（因?yàn)榇蟛糠治募到y(tǒng)將磁盤(pán)分區(qū)表（partition table）?存在磁盤(pán)前端，即第一顆），失去磁盤(pán)分區(qū)表即失去一切數(shù)據(jù)，若遭遇磁盤(pán)陣列數(shù)據(jù)或硬盤(pán)出錯(cuò)的狀況，危險(xiǎn)程度較RAID 0更劇。它的好處是不會(huì)像RAID，每次訪問(wèn)都要讀寫(xiě)全部硬盤(pán)。

    ?

    RAID 7

    RAID 7并非公開(kāi)的RAID標(biāo)準(zhǔn)，而是Storage Computer Corporation的專(zhuān)利硬件產(chǎn)品名稱(chēng)，RAID 7是以RAID 3及RAID 4為基礎(chǔ)所發(fā)展，但是經(jīng)過(guò)強(qiáng)化以解決原來(lái)的一些限制。另外，在實(shí)現(xiàn)中使用大量的高速緩存以及用以實(shí)現(xiàn)異步數(shù)組管理的專(zhuān)用即時(shí)處理器，使得RAID 7可以同時(shí)處理大量的IO要求，所以性能甚至超越了許多其他RAID標(biāo)準(zhǔn)的實(shí)做產(chǎn)品。但也因?yàn)槿绱?#xff0c;在價(jià)格方面非常的高昂。[1]

    RAID 10/01

    RAID 10是先鏡射再分區(qū)數(shù)據(jù)，再將所有硬盤(pán)分為兩組，視為是RAID 0的最低組合，然后將這兩組各自視為RAID 1運(yùn)作。

    RAID 01則是跟RAID 10的程序相反，是先分區(qū)再將數(shù)據(jù)鏡射到兩組硬盤(pán)。它將所有的硬盤(pán)分為兩組，變成RAID 1的最低組合，而將兩組硬盤(pán)各自視為RAID 0運(yùn)作。

    當(dāng)RAID 10有一個(gè)硬盤(pán)受損，其余硬盤(pán)會(huì)繼續(xù)運(yùn)作。RAID 01只要有一個(gè)硬盤(pán)受損，同組RAID 0的所有硬盤(pán)都會(huì)停止運(yùn)作，只剩下其他組的硬盤(pán)運(yùn)作，可靠性較低。如果以六個(gè)硬盤(pán)建RAID 01，鏡射再用三個(gè)建RAID 0，那么壞一個(gè)硬盤(pán)便會(huì)有三個(gè)硬盤(pán)脫機(jī)。因此，RAID 10遠(yuǎn)較RAID 01常用，零售主板絕大部份支持RAID 0/1/5/10，但不支持RAID 01。

    RAID 50

    RAID 50

    RAID 5與RAID 0的組合，先作RAID 5，再作RAID 0，也就是對(duì)多組RAID 5彼此構(gòu)成Stripe訪問(wèn)。由于RAID 50是以RAID 5為基礎(chǔ)，而RAID 5至少需要3臺(tái)硬盤(pán)，因此要以多組RAID 5構(gòu)成RAID 50，至少需要6臺(tái)硬盤(pán)。以RAID 50最小的6臺(tái)硬盤(pán)組態(tài)為例，先把6臺(tái)硬盤(pán)分為2組，每組3臺(tái)構(gòu)成RAID 5，如此就得到兩組RAID 5，然后再把兩組RAID 5構(gòu)成RAID 0。

    RAID 50在底層的任一組或多組RAID 5中出現(xiàn)1臺(tái)硬盤(pán)損壞時(shí)，仍能維持運(yùn)作，不過(guò)如果任一組RAID 5中出現(xiàn)2臺(tái)或兩臺(tái)以上硬盤(pán)損毀，整組RAID 50就會(huì)失效。

    RAID 50由于在上層把多組RAID 5構(gòu)成Stripe，性能比起單純的RAID 5高，容量利用率比RAID5要低。比如同樣9塊硬盤(pán)，RAID 50則3個(gè)RAID 5組成RAID 0，每個(gè)RAID 5會(huì)浪費(fèi)一塊硬盤(pán)，利用率為(1-3/9)，RAID 5則為(1-1/9)。

    RAID 53

    它擁有一個(gè)鏡射條帶數(shù)組，硬盤(pán)里其中一個(gè)條帶就是一個(gè)是由3組以上的RAID 5組成RAID 3硬盤(pán)陣列。

    RAID 60

    raid 60

    RAID 6與RAID 0的組合：先作RAID 6，再作RAID 0。換句話說(shuō)，就是對(duì)兩組以上的RAID 6作Stripe訪問(wèn)。RAID 6至少需具備4臺(tái)硬盤(pán)，所以RAID 60的最小需求是8臺(tái)硬盤(pán)。

    由于底層是以RAID 6組成，所以RAID 60可以容許任一組RAID 6中損毀最多2臺(tái)硬盤(pán)，而系統(tǒng)仍能維持運(yùn)作；不過(guò)只要底層任一組RAID 6中損毀3臺(tái)硬盤(pán)，整組RAID 60就會(huì)失效，當(dāng)然這種情況的機(jī)率相當(dāng)?shù)汀?/p>

    比起單純的RAID 6，RAID 60的上層通過(guò)結(jié)合多組RAID 6構(gòu)成Stripe訪問(wèn)，因此性能較高。不過(guò)使用門(mén)檻高，而且容量利用率低是較大的問(wèn)題。

    應(yīng)用

    RAID2、3、4較少實(shí)際應(yīng)用，因?yàn)镽AID5已經(jīng)涵蓋了所需的功能，因此RAID2、3、4大多只在研究領(lǐng)域有實(shí)現(xiàn)，而實(shí)際應(yīng)用上則以RAID5為主。

    RAID4有應(yīng)用在某些商用機(jī)器上，像是NetApp公司設(shè)計(jì)的NAS系統(tǒng)就是使用RAID4的設(shè)計(jì)概念。

    磁盤(pán)陣列比較表

    RAID等級(jí)最少硬盤(pán)最大容錯(cuò)可用容量讀取性能寫(xiě)入性能安全性目的應(yīng)用產(chǎn)業(yè)
    單一硬盤(pán)(參考)0111無(wú)??
    JBOD10n11無(wú)（同RAID 0）增加容量個(gè)人（暫時(shí)）存儲(chǔ)備份
    020nnn一個(gè)硬盤(pán)異常，全部硬盤(pán)都會(huì)異常追求最大容量、速度3D產(chǎn)業(yè)實(shí)時(shí)渲染、視頻剪接高速緩存用途
    12n-11n1最高，一個(gè)正常即可追求最大安全性個(gè)人、企業(yè)備份
    531n-1n-1n-1高追求最大容量、最小預(yù)算個(gè)人、企業(yè)備份
    642n-2n-2n-2安全性較RAID 5高同RAID 5，但較安全個(gè)人、企業(yè)備份
    104n/2n/2nn/2安全性高綜合RAID 0/1優(yōu)點(diǎn)，理論速度較快大型數(shù)據(jù)庫(kù)、服務(wù)器

    1. n代表硬盤(pán)總數(shù)
    2. JBOD可接到現(xiàn)有硬盤(pán)，直接增加容量

    種類(lèi)

    根據(jù)實(shí)現(xiàn)模式，分為軟件和硬件兩種：[2][3]

    軟件磁盤(pán)陣列（Software RAID）
    主要由電腦主板CPU處理數(shù)組存儲(chǔ)作業(yè)，缺點(diǎn)為耗損較多CPU資源運(yùn)算RAID，優(yōu)點(diǎn)則是價(jià)格偏低。分類(lèi)有二種：
    • 純軟件磁盤(pán)陣列（Pure Software RAID）：只需要主板支持即可，不需要任何磁盤(pán)陣列卡。若主板損壞，可能難以購(gòu)買(mǎi)同款主板重建RAID。
    • 硬件輔助磁盤(pán)陣列（Hardware-Assisted RAID）：需要一張RAID卡，以及廠商所提供的驅(qū)動(dòng)程序。這款RAID較易遷移到其他電腦。
    硬件磁盤(pán)陣列（Hardware RAID）
    RAID卡上內(nèi)置處理器，不需要服務(wù)器的CPU運(yùn)算。優(yōu)點(diǎn)是讀寫(xiě)性能最快，不占用服務(wù)器資源，可用于任何操作系統(tǒng)，也能在系統(tǒng)斷電后，通過(guò)備份電池模塊（BBU, Backup Battery Unit）以及非易失性存儲(chǔ)器 (NVRAM)將硬盤(pán)讀寫(xiě)日志文件（Journal）包含的剩余讀寫(xiě)作業(yè)先紀(jì)錄在存儲(chǔ)器中，等待電力供應(yīng)撤消后，再由NVRAM取回日志文件數(shù)據(jù)，接著再完成讀寫(xiě)作業(yè)，將剩余讀寫(xiě)作業(yè)安全完成以確保讀寫(xiě)完整性。備份電池模塊通常會(huì)配合數(shù)組卡的Write-Back高速緩存模式，借由此存儲(chǔ)器高速緩存讀寫(xiě)作業(yè)以得到更高的讀寫(xiě)性能；但是沒(méi)有備份電池模塊的硬件磁盤(pán)陣列卡，切勿使用Write-Back高速緩存模式以免遭遇斷電情形導(dǎo)致讀寫(xiě)數(shù)據(jù)流失。此外，因?yàn)橛布疟P(pán)陣列卡搭載CPU處理器，所以可以與系統(tǒng)分離出來(lái)，對(duì)硬盤(pán)進(jìn)行各種作業(yè)，還原作業(yè)的速度也比軟件磁盤(pán)陣列快。缺點(diǎn)是其售價(jià)很高，通常只用于RAID 5和RAID 6。
    常見(jiàn)RAID產(chǎn)品種類(lèi)

    磁盤(pán)陣列相關(guān)產(chǎn)品

    使用磁盤(pán)陣列技術(shù)的產(chǎn)品，可依照該產(chǎn)品位于電腦主機(jī)中的位置來(lái)區(qū)分，在電腦主機(jī)內(nèi)部運(yùn)作的數(shù)組產(chǎn)品，包括了主板內(nèi)置的磁盤(pán)陣列、磁盤(pán)陣列卡；在電腦主機(jī)外部運(yùn)作的數(shù)組產(chǎn)品，則包括硬盤(pán)外接盒（別名：磁盤(pán)陣列設(shè)備）、NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備、硬盤(pán)外接座、存儲(chǔ)卡數(shù)組盒。

    • 主板
    磁盤(pán)陣列技術(shù)內(nèi)置于主板的廠商，常見(jiàn)的有：“英特爾”（Intel）、“超微”（AMD）二家廠商，還有采用Intel芯片組的相關(guān)主板廠商，例如：“華碩”（ASUS）、“技嘉”（GIGABYTE）、“微星”（MSI）、“華擎”（ASROCK）等等。
    • 磁盤(pán)陣列卡
    磁盤(pán)陣列技術(shù)應(yīng)用于磁盤(pán)陣列卡的廠商，常見(jiàn)的有：“艾薩”（LSI）、“峰際科技”（HighPoint）、“HP”、“Adaptec”、“Areca”、“Supermicro”、“登昌恒興業(yè)”（UPMOST）等等。
    • 硬盤(pán)外接盒
    磁盤(pán)陣列技術(shù)應(yīng)用于硬盤(pán)外接盒的廠商，常見(jiàn)的有：“世特力”（Century）、“艾客優(yōu)品”（AKITIO）、“大衛(wèi)肯尼”（CyberSLIM）、“中銨”（ICY DOCK）、“銳銨”（STARDOM）。
    具備RAID功能的硬盤(pán)外接盒，通常也叫“磁盤(pán)陣列設(shè)備”。
    • 硬盤(pán)陣列系統(tǒng)
    磁盤(pán)陣列技術(shù)應(yīng)用于磁盤(pán)陣列系統(tǒng)的廠商有：“普安”（Infotrend）、“商丞”（Unifosa）、“普樺（現(xiàn)為商丞旗下存儲(chǔ)事業(yè)群）”（Proware）、“濰進(jìn)”(Netstor)、“喬鼎”（Promise）、“Sans Digital”、“G-Technology”、“Accusys ExaSAN”（ExaSAN）等等。
    通常指大型存儲(chǔ)系統(tǒng)Rackmount等大容量的機(jī)箱，16Bay以上的多層式機(jī)箱內(nèi)，還會(huì)配上主板與CPU成為一個(gè)獨(dú)立的系統(tǒng)。
    • NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備
    磁盤(pán)陣列技術(shù)應(yīng)用于NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備的廠商，常見(jiàn)的有：“群暉”（Synology）、“威聯(lián)通”（QNAP）、“色卡司”（Thecus）、“凡達(dá)克”（Vantec）、“華蕓”（Asustor）等等。
    • 硬盤(pán)外接座
    磁盤(pán)陣列技術(shù)應(yīng)用于硬盤(pán)外接座的廠商，常見(jiàn)的有：“世特力”（Century）、“峰際科技”（HighPoint）、“弘拓”（ONNTO）、“中銨”（ICY DOCK）、“大衛(wèi)肯尼”（CyberSLIM）等等。
    • 存儲(chǔ)卡數(shù)組盒
    磁盤(pán)陣列技術(shù)應(yīng)用于存儲(chǔ)卡的廠商，目前可見(jiàn)的有“信億”（ARACRD）、“登昌恒興業(yè)”（UPMOST）、“致宇”（Bplus）等等。
    • 轉(zhuǎn)換器
    磁盤(pán)陣列技術(shù)應(yīng)用于轉(zhuǎn)換器的廠商，目前可見(jiàn)的有“峰際科技”（HighPoint）。

    磁盤(pán)陣列相關(guān)客戶類(lèi)型

      • 一般消費(fèi)者備份數(shù)據(jù)之用、企業(yè)創(chuàng)建ERP系統(tǒng)或NAS系統(tǒng)時(shí)的重要數(shù)據(jù)備份。
      • 影音多媒體數(shù)字內(nèi)容創(chuàng)作公司、個(gè)人影音剪輯數(shù)字內(nèi)容工作室。
      • 數(shù)字監(jiān)控系統(tǒng)（DVR）、網(wǎng)絡(luò)監(jiān)控系統(tǒng)（NVR）等等需要大量存儲(chǔ)視頻的監(jiān)控系統(tǒng)業(yè)者，軍方、賭場(chǎng)因?yàn)樾枰罅勘O(jiān)控系統(tǒng)也是常見(jiàn)使用磁盤(pán)陣列的客戶。
      • 證券、銀行等金融行業(yè)保管重要客戶數(shù)據(jù)。

    RAID vs. HDFS（http://book.51cto.com/art/201310/412864.htm）

    RAID技術(shù)可以通過(guò)硬件實(shí)現(xiàn)，比如專(zhuān)用的RAID卡或者主板直接支持，也可以通過(guò)軟件實(shí)現(xiàn)。RAID技術(shù)在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)及文件系統(tǒng)中應(yīng)用比較廣泛，但是在大型網(wǎng)站比較喜歡使用的NoSQL，以及分布式文件系統(tǒng)中，RAID技術(shù)卻遭到冷落。

    例如在HDFS（Hadoop 分布式文件系統(tǒng)）中，系統(tǒng)在整個(gè)存儲(chǔ)集群的多臺(tái)服務(wù)器上進(jìn)行數(shù)據(jù)并發(fā)讀寫(xiě)和備份，可以看作在服務(wù)器集群規(guī)模上實(shí)現(xiàn)了類(lèi)似RAID的功能，因此不需要磁盤(pán)RAID。

    HDFS以塊（Block）為單位管理文件內(nèi)容，一個(gè)文件被分割成若干個(gè)Block，當(dāng)應(yīng)用程序?qū)懳募r(shí)，每寫(xiě)完一個(gè)Block，HDFS就將其自動(dòng)復(fù)制到另外兩臺(tái)機(jī)器上，保證每個(gè)Block有三個(gè)副本，即使有兩臺(tái)服務(wù)器宕機(jī)，數(shù)據(jù)依然可以訪問(wèn)，相當(dāng)于實(shí)現(xiàn)了RAID1的數(shù)據(jù)復(fù)制功能。

    當(dāng)對(duì)文件進(jìn)行處理計(jì)算時(shí)，通過(guò)MapReduce并發(fā)計(jì)算任務(wù)框架，可以啟動(dòng)多個(gè)計(jì)算子任務(wù)（MapReduce Task），同時(shí)讀取文件的多個(gè)Block，并發(fā)處理，相當(dāng)于實(shí)現(xiàn)了RAID0的并發(fā)訪問(wèn)功能。

    HDFS架構(gòu)如圖4.23所示。

    ?

    ?

    在HDFS中有兩種重要的服務(wù)器角色：NameNode（名字服務(wù)節(jié)點(diǎn)）和DataNode（數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)）。NameNode在整個(gè)HDFS中只部署一個(gè)實(shí)例，提供元數(shù)據(jù)服務(wù)，相當(dāng)于操作系統(tǒng)中的文件分配表（FAT），管理文件名Block的分配，維護(hù)整個(gè)文件系統(tǒng)的目錄樹(shù)結(jié)構(gòu)。DataNode則部署在HDFS集群中其他所有服務(wù)器上，提供真正的數(shù)據(jù)存儲(chǔ)服務(wù)。

    和操作系統(tǒng)一樣，HDFS對(duì)數(shù)據(jù)存儲(chǔ)空間的管理以數(shù)據(jù)塊（Block）為單位，只是比操作系統(tǒng)中的數(shù)據(jù)塊（512字節(jié)）要大得多，默認(rèn)為64MB。HDFS將DataNode上的磁盤(pán)空間分成N個(gè)這樣的塊，供應(yīng)用程序使用。

    應(yīng)用程序（Client）需要寫(xiě)文件時(shí)，首先訪問(wèn)NameNode，請(qǐng)求分配數(shù)據(jù)塊，NameNode根據(jù)管理的DataNode服務(wù)器的磁盤(pán)空間，按照一定的負(fù)載均衡策略，分配若干數(shù)據(jù)塊供Client使用。

    當(dāng)Client寫(xiě)完一個(gè)數(shù)據(jù)塊時(shí)，HDFS會(huì)將這個(gè)數(shù)據(jù)塊再?gòu)?fù)制兩份存儲(chǔ)在其他DataNode服務(wù)器上，HDFS默認(rèn)同一份數(shù)據(jù)有三個(gè)副本，保證數(shù)據(jù)可靠性。因此在HDFS中，即使DataNode服務(wù)器有多塊磁盤(pán)，也不需要使用RAID進(jìn)行數(shù)據(jù)備份，而是在整個(gè)集群上進(jìn)行數(shù)據(jù)復(fù)制，而且系統(tǒng)一旦發(fā)現(xiàn)某臺(tái)服務(wù)器宕機(jī)，會(huì)自動(dòng)利用其他機(jī)器上的數(shù)據(jù)將這臺(tái)服務(wù)器上存儲(chǔ)的數(shù)據(jù)塊自動(dòng)再備份一份，從而獲得更高的數(shù)據(jù)可靠性。

    HDFS配合MapReduce等并行計(jì)算框架進(jìn)行大數(shù)據(jù)處理時(shí)，可以在整個(gè)集群上并發(fā)讀寫(xiě)訪問(wèn)所有的磁盤(pán)，無(wú)需RAID支持。

    ?

    ?

    ?

    ?

    ?

    轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/p/3856244.html

    總結(jié)

    以上是生活随笔為你收集整理的独立硬盘冗余阵列与HDFS的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。