目錄

• 一、Yarn資源調度器
• • Yarn 基礎架構
• 二、YARN工作機制
• 三、作業提交全過程
• • 1. HDFS、YARN、MapReduce三者關系
  • 2. 作業提交過程(YARN)
  • 3. 作業提交過程(HDFS & MapReduce)

一、Yarn資源調度器

??：YARN是一個資源調度平臺，負責為運算程序提供服務器運算資源，相當于一個分布式的操作系統平臺，而MapReduce等運算程序則相當于操作系統上的應用程序。

作用：
YARN負責管理集群資源；
負責給任務合理分配資源。

Yarn 基礎架構

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等組件構成。

二、YARN工作機制

MR程序提交到客戶端所在的節點；

YarnRunner向ResourceManager申請一個Application；

RM將該應用程序的資源路徑返回給YarnRunner；

該程序將運行所需資源提交到HDFS上；

程序資源提交完畢后，申請運行MrAppMaster；

RM將用戶的請求初始化成一個Task；

其中一個NodeManager領取到Task任務；

該NodeManager創建容器Container，并產生MrAppMaster；

Container從HDFS上拷貝資源到本地；

MrAppMaster向 RM申請運行MapTask資源；

RM將運行MapTask任務分配給另外2x NodeManager，另外2x NodeManager分別領取任務并創建容器；

MR向2x接收到任務的NodeManager發送程序啟動腳本，這兩個NodeManager分別啟動MapTask，MapTask對數據分區排序；

MrAppMaster等待所有MapTask運行完畢后，向RM申請容器，運行ReduceTask；

ReduceTask向MapTask獲取相應分區的數據；

程序運行完畢后，MR會向RM申請注銷自己。

三、作業提交全過程

1. HDFS、YARN、MapReduce三者關系

2. 作業提交過程(YARN)

3. 作業提交過程(HDFS & MapReduce)

HDFS的讀寫數據流程==>

作業提交全過程：

• 一、作業提交

Client調用job.waitForCompletion()方法，向整個集群提交MapReduce作業；

Client向RM申請一個作業id；

RM給Client返回該job資源的提交路徑和作業id；

Client提交jar包、切片信息和配置文件到指定的資源提交路徑；

Client提交完資源后，向RM申請運行MrAppMaster；

• 二、作業初始化

當RM收到Client的請求后，將該job添加到容器調度器中；

某一個空閑的NM領取到該job；

該NM創建Container，并產生MrAppMater；

Container從HDFS上下載Client提交的資源到本地；

• 三、任務分配

MrAppMater向RM申請運行多個MapTask任務資源；

RM將運行MapTask任務分配給另外2x NodeManager，另外2x NodeManager分別領取任務并創建容器；

• 四、任務運行

MR向 2x 接收到任務的NodeManager發送程序啟動腳本，這兩個NodeManager分別啟動MapTask，MapTask對數據分區排序；

MrAppMaster等待所有MapTask運行完畢后，向RM申請容器，運行ReduceTask；

ReduceTask向MapTask獲取相應分區的數據；

程序運行完畢后，MR會向RM申請注銷自己。

• 五、進度和狀態更新

YARN中的任務將其進度和狀態(包括counter)返回給應用管理器，客戶端每秒(通過 mapreduce.client.progressmonitor.pollinterval 設置)向應用管理器請求進度更新，展示給用戶。

• 六、作業完成?

除了向應用管理器請求作業進度外，客戶端每5秒都會通過調用waitForCompletion()方法來檢查作業是否完成。時間間隔可以通過mapreduce.client.completion.pollinterval 來設置。作業完成之后，應用管理器和Container會清理工作狀態，作業的信息會被歷史服務器存儲以備后續用戶核查。

總結

以上是生活随笔為你收集整理的hadoop--Yarn资源调度器的基础架构、工作机制 与 作业提交全过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。