Hadoop2.0 YARN
生活随笔
收集整理的這篇文章主要介紹了
Hadoop2.0 YARN
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言：Hadoop2.0中的YARN
YARN產生背景
第一代MapReduce（MRv1）的局限性
擴展性差。MRv1中JobTracker兼備集群資源的管理和作業管理的調度和控制兩大功能，使得JobTracker功能多，負載大
可靠性差。
資源利用率低。MapSolt和ReduceSolt不能混用，存在一個槽位資源緊張，而另一個操作資源空閑
無法支持多種計算框架。因為Hadoop1.0不能將資源管理與應用程序分開
非MapReduce作業
將資源管理功能抽象成一個獨立的通用系統YARN（Yet Another Resource Negotiator，另一種資源協調者），進而誕生下一代MapReduce計算框架MRv2
YARN的優勢
共享集群資源。
節約成本。多個框架一個集群，集群數量減少，人力資源成本減少
共享數據
YARN架構
組成
全局資源管理器
階段管理器
應用程序主機
容器（Container）。YARN中的資源抽象，可動態調整；計算任務運行在container中
YARN通信協議-RPC協議（網絡協議，通訊協議+尋址+數據序列化），為與互聯網兼容
任務執行流程
當用戶向YARN中提交一個應用程 序后，YARN將分兩個階段運行該應用程序：
第一個階段是啟動Application Master；
第二個階段是由Application Master創建應用程序，為它申請資源Container，并監控它的整個運行過程，直至運行完成為止
調度器
阻塞小任務的執行
總結
以上是生活随笔為你收集整理的Hadoop2.0 YARN的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Hadoop 2.0联邦机制
- 下一篇： Hadoop历代版本及其特点