在當(dāng)前最流行的高性能并行體系結(jié)構(gòu)中比較常用的并行編程環(huán)境分為兩類:消息傳遞和共享存儲(chǔ)。MPI是基于消息傳遞的經(jīng)典代表，是消息傳遞井行程序設(shè)計(jì)的標(biāo)準(zhǔn)，用于構(gòu)建高可靠的、可伸縮的、靈活的分布式應(yīng)用程消息傳遞井行處理開銷比較大，適合于大粒度的進(jìn)程級(jí)并行計(jì)算，相對(duì)其他并行編程環(huán)境，它具有很好的可移植性，幾乎能被所有的并行環(huán)境支持;還具有很好的可擴(kuò)展性，具有完備的異步通信功能，能按照用戶的要求很好地分解問題，組織不同進(jìn)程之間進(jìn)行數(shù)據(jù)交換，適合大規(guī)模可擴(kuò)展性的并行算法。
MPI模式在學(xué)術(shù)研究領(lǐng)域應(yīng)用較多，而在商業(yè)領(lǐng)域，云計(jì)算系統(tǒng)大多采用的是Google云計(jì)算系統(tǒng)中的MapReduce并行編程模型。云計(jì)算強(qiáng)調(diào)的就是簡單的編程模型，而MapReduce就是一種高效的、簡單的并行編程模式，也是一種高效的任務(wù)調(diào)度器。MapReduce這種編程模型不僅適用于云計(jì)算，在多核和多處理器、Cell processor以及異構(gòu)機(jī)群上同樣有良好的性能。利用MapReduce ,程序員能夠輕松地編寫緊耦合的程序，在運(yùn)行時(shí)能高效地調(diào)度和執(zhí)行任務(wù)，在實(shí)現(xiàn)時(shí)，在Map函數(shù)中指定對(duì)各分塊數(shù)據(jù)的處理過程，在Reduce函數(shù)中指定如何對(duì)分塊數(shù)據(jù)處理的中問結(jié)果進(jìn)行歸約。用戶只需要指定Map和Reduce函數(shù)來編寫分布式的并行程序，不需要關(guān)心如何將輸人的數(shù)據(jù)分塊、分配和調(diào)度，同時(shí)系統(tǒng)還將處理集群內(nèi)節(jié)點(diǎn)失敗及節(jié)點(diǎn)間通信的管理等。而MPI僅僅是一個(gè)并行計(jì)算標(biāo)準(zhǔn)，沒有相應(yīng)的分布式文件系統(tǒng)的支撐，在大數(shù)據(jù)場(chǎng)景下大文件的存儲(chǔ)及訪問都會(huì)成為一個(gè)問題，同時(shí)用戶還需要考慮集群節(jié)點(diǎn)之間的通信協(xié)調(diào)、容錯(cuò)等問題，這些使得MPI的編程難度比較大，集群本身的規(guī)模也很難做到像MapReduce那樣的超大規(guī)模。

?

?

本文轉(zhuǎn)自大數(shù)據(jù)躺過的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/5080596.html，如需轉(zhuǎn)載請(qǐng)自行聯(lián)系原作者

總結(jié)

以上是生活随笔為你收集整理的Hadoop MapReduce概念学习系列之MPI和MapReduce（十三）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。