日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN))

發布時間:2025/3/17 编程问答 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN)) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

英文看著頭大,先試著翻譯一下。

E文原文:http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html

翻譯真是太難了,而且我翻譯的好爛,好爛,有時候自己也只能理解個大概。

====================================begin====================================

MapReduce在hadoop-0.2.3中發生了很大的變化,現在是MapReduce?2.0,又稱為YARN。

MRv2的基本思想是將JobTracker的兩個主要功能:資源管理和作業調度/監控分割成單獨的守護進程。

我們是這樣做的:有一個全局的ResourceManager??( RM),每個應用程序都有一個ApplicationMaster ( AM ) 。一個應用程序既可以是單個的傳統意義上的Map-Reduce作業,也可以是單個DAG作業。

數據的計算框架由ResourceManager,每個節點的從站,節點管理器( NM )組成。 ResourceManager是仲裁系統中的所有應用程序的資源的最終者。

ResourceManager中有兩個主要組件:Scheduler?和ApplicationsManager 。

Scheduler因為了解容量的限制,隊列等,所以負責分配資源至各運行中的應用程序。Scheduler是純粹的調度程序,它不執行任何監視或跟蹤狀態的應用程序。此外,它不保證會重新啟動失敗的任務,無論是因為應用程序錯誤還是因為硬件故障所導致的。Scheduler履行其調度的功能,對于應用程序的資源需求,它基于抽象出的資源容器的概念,如內存,CPU ,磁盤,網絡等等的組合。在第一個版本,它僅僅支持內存。Scheduler有一個可插拔的插件策略,它負責在各種不同的隊列,應用程序等中分配群集的資源,比如當前的Map-Reduce調度器中的CapacityScheduler和FairScheduler。

CapacityScheduler支持層次化隊列,以允許更多的可預見的共享群集資源。

ApplicationsManager負責接受作業提交,協商用于執行該應用程序特定的ApplicationMaster并提供用于重啟因ApplicationMaster容器失敗的服務的第一容器。

NodeManager是每臺機器的計算框架的代理,它負責容器,監控他們的資源使用情況(CPU ,內存,磁盤,網絡)并報告到ResourceManager/Scheduler。

每個應用程序的ApplicationMaster負責從Scheduler協商恰當的資源容器,跟蹤他們的狀態和監控進程。

MRV2保持與以前的穩定版本(的hadoop - 0.20.205 )API的兼容性 。這意味著所有的Map-Reduce作業只需重新編譯一下就可以在MRv2上運行。

=========================================over====================================================

?

?

總結

以上是生活随笔為你收集整理的Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN))的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。