全網(wǎng)最詳細(xì)的Hadoop文章系列，強(qiáng)烈建議收藏加關(guān)注！

后面更新文章都會列出歷史文章目錄，幫助大家回顧知識重點。

目錄

本系列歷史文章

前言

Yarn三大組件介紹

ResourceManager

NodeManager

ApplicationMaster

---

本系列歷史文章

2021年大數(shù)據(jù)Hadoop（三十）：Hadoop3.x的介紹

2021年大數(shù)據(jù)Hadoop（二十九）：關(guān)于YARN常用參數(shù)設(shè)置

2021年大數(shù)據(jù)Hadoop（二十八）：YARN的調(diào)度器Scheduler

2021年大數(shù)據(jù)Hadoop（二十七）：YARN運行流程

2021年大數(shù)據(jù)Hadoop（二十六）：YARN三大組件介紹

2021年大數(shù)據(jù)Hadoop（二十五）：YARN通俗介紹和基本架構(gòu)

2021年大數(shù)據(jù)Hadoop（二十四）：MapReduce高階訓(xùn)練

2021年大數(shù)據(jù)Hadoop（二十三）：MapReduce的運行機(jī)制詳解

2021年大數(shù)據(jù)Hadoop（二十二）：MapReduce的自定義分組

2021年大數(shù)據(jù)Hadoop（二十一）：MapReuce的Combineer

2021年大數(shù)據(jù)Hadoop（二十）：MapReduce的排序和序列化

2021年大數(shù)據(jù)Hadoop（十九）：MapReduce分區(qū)

2021年大數(shù)據(jù)Hadoop（十八）：MapReduce程序運行模式和深入解析

2021年大數(shù)據(jù)Hadoop（十七）：MapReduce編程規(guī)范及示例編寫

2021年大數(shù)據(jù)Hadoop（十六）：MapReduce計算模型介紹

2021年大數(shù)據(jù)Hadoop（十五）：Hadoop的聯(lián)邦機(jī)制 Federation

2021年大數(shù)據(jù)Hadoop（十四）：HDFS的高可用機(jī)制

2021年大數(shù)據(jù)Hadoop（十三）：HDFS意想不到的其他功能

2021年大數(shù)據(jù)Hadoop（十二）：HDFS的API操作

2021年大數(shù)據(jù)Hadoop（十一）：HDFS的元數(shù)據(jù)輔助管理

2021年大數(shù)據(jù)Hadoop（十）：HDFS的數(shù)據(jù)讀寫流程

2021年大數(shù)據(jù)Hadoop（九）：HDFS的高級使用命令

2021年大數(shù)據(jù)Hadoop（八）：HDFS的Shell命令行使用

2021年大數(shù)據(jù)Hadoop（七）：HDFS分布式文件系統(tǒng)簡介

2021年大數(shù)據(jù)Hadoop（六）：全網(wǎng)最詳細(xì)的Hadoop集群搭建

2021年大數(shù)據(jù)Hadoop（五）：Hadoop架構(gòu)

2021年大數(shù)據(jù)Hadoop（四）：Hadoop發(fā)行版公司

2021年大數(shù)據(jù)Hadoop（三）：Hadoop國內(nèi)外應(yīng)用

2021年大數(shù)據(jù)Hadoop（二）：Hadoop發(fā)展簡史和特性優(yōu)點

2021年大數(shù)據(jù)Hadoop（一）：Hadoop介紹

前言

2021大數(shù)據(jù)領(lǐng)域優(yōu)質(zhì)創(chuàng)作博客，帶你從入門到精通，該博客每天更新，逐漸完善大數(shù)據(jù)各個知識體系的文章，幫助大家更高效學(xué)習(xí)。

有對大數(shù)據(jù)感興趣的可以關(guān)注微信公眾號：三幫大數(shù)據(jù)

Yarn三大組件介紹

ResourceManager

• ResourceManager負(fù)責(zé)整個集群的資源管理和分配，是一個全局的資源管理系統(tǒng)。
• NodeManager以心跳的方式向ResourceManager匯報資源使用情況（目前主要是CPU和內(nèi)存的使用情況）。ResourceManager只接受NodeManager的資源回報信息，對于具體的資源處理則交給NodeManager自己處理。
• ResourceManager中的YARN Scheduler組件根據(jù)application的請求為其分配資源，不負(fù)責(zé)具體job的監(jiān)控、追蹤、運行狀態(tài)反饋、啟動等工作。

NodeManager

• NodeManager是每個節(jié)點上的資源和任務(wù)管理器，它是管理這臺機(jī)器的代理，負(fù)責(zé)該節(jié)點程序的運行，以及該節(jié)點資源的管理和監(jiān)控。YARN集群每個節(jié)點都運行一個NodeManager。
• NodeManager定時向ResourceManager匯報本節(jié)點資源（CPU、內(nèi)存）的使用情況和Container的運行狀態(tài)。當(dāng)ResourceManager宕機(jī)時NodeManager自動連接ResourceManager備用節(jié)點。
• NodeManager接收并處理來自ApplicationMaster的Container啟動、停止等各種請求。

ApplicationMaster

• 用戶提交的每個應(yīng)用程序均包含一個ApplicationMaster，它可以運行在ResourceManager以外的機(jī)器上。
• 負(fù)責(zé)與ResourceManage調(diào)度器協(xié)商以獲取資源（用Container表示）。
• 將得到的任務(wù)進(jìn)一步分配給內(nèi)部的任務(wù)(資源的二次分配)。
• 與NodeManager通信以啟動/停止任務(wù)。
• 監(jiān)控所有任務(wù)運行狀態(tài)，并在任務(wù)運行失敗時重新為任務(wù)申請資源以重啟任務(wù)。

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創(chuàng)，首發(fā)于 CSDN博客🙉
• 📢大數(shù)據(jù)系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學(xué)習(xí)，全力奔赴更美好的生活?

總結(jié)

以上是生活随笔為你收集整理的2021年大数据Hadoop（二十六）：YARN三大组件介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。