Hadoop使企業能夠對龐大的非結構化數據集進行大規模分析處理。這個數據集可以包含數以百萬計，甚至數十億個需要讀取的文件。為了降低成本并提高數據處理性能，數據和應用程序應該存在于相同的物理硬件上。這樣做使數據無需移動，就地處理，并允許使用不算昂貴的服務器級存儲。

Hadoop分布式文件系統(HDFS)是為了管理這些分散在各個節點上的數據而應運而生的。然而現代存儲架構提供了一個可以替代HDFS的引人注目的新方案：對象存儲。為什么對象存儲是您的組織進行Hadoop分析的一個可選項呢，下面將談到三方面的原因。 原因一：對象存儲可提供更好的數據保護 雖然HDFS能夠利用內部的服務器級存儲，它實際上是按……

我們一直都在努力堅持原創.......請不要一聲不吭，就悄悄拿走。

我原創，你原創，我們的內容世界才會更加精彩！

【所有原創內容版權均屬TechTarget，歡迎大家轉發分享。但未經授權，嚴禁任何媒體(平面媒體、網絡媒體、自媒體等)以及微信公眾號復制、轉載、摘編或以其他方式進行使用?！?/p>

微信公眾號

TechTarget

官方微博

TechTarget中國

電子郵件地址不會被公開。 必填項已用*標注

評論

敬請讀者發表評論，本站保留刪除與本文無關和不雅評論的權力。

姓名 *

電子郵件 *

站點

Save my name, email, and website in this browser for the next time I comment.

Hadoop使企業能夠對龐大的非結構化數據集進行大規模分析處理。這個數據集可以包含數以百萬計，甚至數十億個需要讀取的文件。為了降低成本并提高數據處理性能，數據和應用程序應該存在于相同的物理硬件上。這樣做使數據無需移動，就地處理，并允許使用不算昂貴的服務器級存儲。 Hadoop分布式文件系統(HDFS)是為了管理這些分散在各個節點上的數據而應運而生的。然而現代存儲架構提供了一個可以替代HDFS的引人注目的新方案：對象存儲。為什么對象存儲是您的組織進行Hadoop分析的一個可選項呢，下面將談到三方面的原因。

原因一：對象存儲可提供更好的數據保護

雖然HDFS能夠利用內部的服務器級存儲，它實際上是按照其標準的數據保護策略將所有數據做了三個副本。因此，盡管可以使用較便宜的服務器內部的硬盤驅動器，它可能并不像最初希望的那樣經濟，因為容量需求要乘以3。

一種替代方案是使用基于對象的存儲系統，提供亞馬遜簡單存儲服務(S3)協議訪問，這是Hadoop除了HDFS也同樣支持的。這些系統可以是純軟件，因此可以使用商用服務器和服務器級存儲。但不同于默認的HDFS，許多對象存儲系統都提供糾刪編碼。這種數據保護機制類似于RAID但粒度更細，可以在對象或子對象的層面操作，把數據和奇偶校驗位分布到存儲集群的各個節點上。其結果是，可以達到相似或更高水平的數據冗余性，而只需大約25％至30％的額外開銷。相比之下， HDFS的標準三副本配置下的額外容量開銷為200％。

原因二：HDFS會暴露主節點

HDFS具有一個主節點和一系列從節點。從節點處理數據并將結果發送給主節點。主節點還需要維護數據復制策略以及基本的集群管理。如果主節點發生故障，集群的其余節點將不能被訪問。 HDFS對主節點只提供了有限的保護，所以企業需要采取特殊措施來實現主節點的高可用性。

如上所述，在對象存儲系統中，主節點與從節點都能受到相同的糾刪編碼的數據保護。此外，由主節點維護的管理Hadoop集群所需的所有元數據(metadata)都可以存儲在集中化的對象存儲系統中。這樣當主節點發生故障時，從節點或備用節點可以迅速變成為主節點。

原因三：HDFS不能進行單獨擴展

像任何其他架構一樣，Hadoop對計算和存儲容量也會有不同程度的需求。問題是，HDFS要求計算能力和存儲容量需要按比例進行擴展，這意味著你不能單獨對某一種資源進行擴充。

要說明這一點最常見的方式是當一個Hadoop架構的存儲容量用盡時，因為增加更多容量就意味著加入另一個裝滿硬盤的節點，這也增加了更多的計算能力。反之亦如此，作為Hadoop基礎設施，往往需要更多的處理能力，但存儲空間卻很充裕。大多數時候，當購置了一個新的服務器以增加計算能力時，它也帶來了新的存儲空間。其結果是，Hadoop架構總是在某種資源上浪費金錢，而對另一種資源卻總是缺乏。

對象存儲允許容量和計算能力各自獨立地進行擴展。計算節點可以是1U或2U的機箱，通過固態存儲引導。對象存儲系統可以裝滿高容量驅動器，從而保持每GB成本最低。更重要的是，隨著應用環境的變化，每一層都可以獨立擴展。

HDFS之于Hadoop的主要優點是低成本和高性能，這得益于數據存放于本地。而利用商業存儲硬件的對象存儲系統同樣可以提供類似的低成本，尤其是當采用糾刪編碼來提高數據保護效率時更是如此。10 GbE的高速網絡現在已經很實惠，這些都使HDFS將數據和計算放在一起所帶來的性能優勢不復存在。對象存儲提供了一種更具成本效益，更可靠，而且性能至少跟HDFS相當的基礎架構，它理所當然應該成為一種可行的HDFS替代解決方案。

總結

以上是生活随笔為你收集整理的php对象存储hadoop存储,三个理由告诉你对象存储替换HDFS还不错的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。