Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop

1.HDFS:分布式文件系統(tǒng),適合一次寫入，多次讀出的場景。一個文件經(jīng)過創(chuàng)建、寫入和關(guān)閉 之后就不需要改變。

2.Yarn:分布式資源管理系統(tǒng)，用于同一管理集群中的資源（內(nèi)存等）? ? ? ?

3.MapReduce:Hadoop的編程框架，用map和reduce方式實現(xiàn)分布式程序設(shè)計，類似于Spring。

4.Pig:MapReduce的一個抽象，它是一個工具/平臺（所以說它并不完全是一門語言），用于分析較大數(shù)據(jù)集，并將其表示為數(shù)據(jù)流；

5.Zookeeper：分布式集群管理、master選舉、消息發(fā)布訂閱、數(shù)據(jù)存儲、分布式鎖等等。分布式協(xié)調(diào)服務(wù)，用于維護(hù)集群配置的一致性、任務(wù)提交的事物性、集群中服務(wù)的地址管理、集群管理等

6.Hbase:Hadoop下的分布式數(shù)據(jù)庫，類似于NoSQL? ? ?

7.Hive:數(shù)倉工具，Hive進(jìn)行數(shù)據(jù)離線批量處理時，需將查詢語言先轉(zhuǎn)換成MR任務(wù)，由MR批量處理返回結(jié)果，所以Hive沒法滿足數(shù)據(jù)實時查詢分析的需求。

8.Sqoop:用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞

總結(jié)

以上是生活随笔為你收集整理的Hadoop中各组件的作用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。