Hadoop之Hadoop基礎(chǔ)知識(shí)復(fù)習(xí)

---

目錄

Hadoop是什么

Hadoop的優(yōu)勢(shì)

Hadoop組成

大數(shù)據(jù)技術(shù)生態(tài)體系

---

1. Hadoop是什么

1）Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。
2）主要解決的是海量數(shù)據(jù)的存儲(chǔ)和海量數(shù)據(jù)的分析計(jì)算問(wèn)題。
3）廣義上來(lái)說(shuō)，HADOOP通常是指一個(gè)更廣泛的概念——HADOOP生態(tài)圈。

---

2. Hadoop的優(yōu)勢(shì)

1）高可靠性：Hadoop底層維護(hù)多個(gè)數(shù)據(jù)副本，所以即使Hadoop某個(gè)計(jì)算元素或存儲(chǔ)出現(xiàn)故障，也不會(huì)導(dǎo)致數(shù)據(jù)的丟失。
2）高擴(kuò)展性：在集群間分配任務(wù)數(shù)據(jù)，可方便的擴(kuò)展數(shù)以千計(jì)的節(jié)點(diǎn)。
3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任務(wù)處理速度。
4）高容錯(cuò)性：能夠自動(dòng)將失敗的任務(wù)重新分配。

---

3. Hadoop組成

在Hadoop1.x時(shí)代，Hadoop中的MapReduce同時(shí)處理業(yè)務(wù)邏輯運(yùn)算和資源的調(diào)度，耦合性較大，在Hadoop2.x時(shí)代，增加了Yarn。Yarn只負(fù)責(zé)資源的調(diào)度，MapReduce只負(fù)責(zé)運(yùn)算，如下圖所示：

HDFS架構(gòu)概述

NameNode（nn）：存儲(chǔ)文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性（生成時(shí)間，副本數(shù)，文件權(quán)限），以及每個(gè)文件的塊列表和塊所在的DataNode。

DataNdoe（dn）：在本地文件系統(tǒng)存儲(chǔ)文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗(yàn)和。

Seconde NameNode（2nn）：用來(lái)監(jiān)控HDFS狀態(tài)的輔助后臺(tái)程序，每隔一段時(shí)間獲取HDFS元數(shù)據(jù)的快照。

YARN架構(gòu)概述

ResourceManager（rm）：處理客戶(hù)端請(qǐng)求，啟動(dòng)/監(jiān)控ApplicationManager，監(jiān)控NodeManager，資源分配與調(diào)度；

NodeManager（nm）：單個(gè)節(jié)點(diǎn)上的資源管理，處理來(lái)自ResourceManager的命令，處理來(lái)自ApplicationMaster的命令。

ApplicationMaster：數(shù)據(jù)切分，為應(yīng)用程序申請(qǐng)資源，并分配給內(nèi)部任務(wù)，任務(wù)監(jiān)控與容錯(cuò)。

Container：對(duì)任務(wù)運(yùn)行環(huán)境的抽象，封裝了CPU，內(nèi)存等多維資源以及環(huán)境變量，啟動(dòng)命令等任務(wù)運(yùn)行相關(guān)的信息。

MapReduce架構(gòu)概述
MapReduce將計(jì)算過(guò)程分為兩個(gè)階段：Map和Reduce，如下圖所示
1）Map階段并行處理輸入數(shù)據(jù)
2）Reduce階段對(duì)Map結(jié)果進(jìn)行匯總

---

4. 大數(shù)據(jù)技術(shù)生態(tài)體系

總結(jié)

以上是生活随笔為你收集整理的Hadoop之Hadoop基础知识的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。