本文匯總了目前正在進行中的一些嘗試將系統運行在YARN上的項目（很多項目狠不完善，有興趣的可以參與進去，這是機會。），這些項目涉及分布式領域各個方面的系統，包括離線處理、在線計算、圖算法、迭代式算法等，從這些項目可以看出來，在將來，YARN將變成一個輕量級的IAAS層，統一管理和調度各種系統，進而逐步實現所謂的“大集群理念”。 1. MapReduce?On?YARN：YARN天生支持，目前已非常完善（從YARN將要發布2.1.0-beta版可看出，較之前版本，這一塊基本沒有修改）。 2. Tez On YARN：一個DAG計算框架，直接修改自MapReduce，繼承了MapReduce的擴展性好和容錯性好等優點，https://issues.apache.org/jira/browse/TEZ。 3. Storm?On?YARN：實時計算框架Storm運行在YARN上，https://github.com/yahoo/storm-yarn?，項目狀態：開發進行中，已發布一個版本。 4. Spark?On?YARN：實時/內存計算框架Spark運行在YARN上：https://github.com/tweetmagik/spark-yarn?，項目狀態：已可用。 5. BSP?On?YARN：BSP模型在YARN上的實現：https://github.com/jpatanooga/KnittingBoar?，項目狀態：發布一個實驗版本。 6. HBase?On?YARN：HBase運行在YARN上，https://issues.apache.org/jira/browse/HBASE-4329，項目狀態：進行中，Hortonworks開源的Hoya：http://hortonworks.com/blog/introducing-hoya-hbase-on-yarn/，項目狀態：進行中。 7. Kafka?On?YARN：Kafka運行在YARN上，https://github.com/kkasravi/kafka-yarn，項目狀態：進行中。 8. Giraph?On?YARN：圖算法庫運行在YARN上，https://issues.apache.org/jira/browse/GIRAPH-13?，項目狀態：進行中。 9. MPI?on?YARN：MPI運行在YARN上，https://issues.apache.org/jira/browse/MAPREDUCE-2911?，項目狀態：進行中（該項目是所有項目中最難的，簡單將mpich移植打破YARN上，比如這個實現：mpich2-yarn，意義不大，YARN當前的調度模型決定了難以將MPI移植到YARN上，同時保證MPI本身的各種優化機制不丟失）。 直接在YARN上編寫和管理應用程序是比較麻煩的，因此在這兩方面，也有一些項目在進行中： 10.?YARN?Application?Management：http://continuuity.github.io/weave/?，項目狀態：已可用。 11. Write?application?on?YARN：https://github.com/cloudera/kitten?，項目狀態：已可用。

原創文章，轉載請注明：?轉載自董的博客

本文鏈接地址:?http://dongxicheng.org/mapreduce-nextgen/run-systems-on-hadoop-yarn/

總結

以上是生活随笔為你收集整理的汇总运行在Hadoop YARN上的开源系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。