源代碼如下：

一、分布式均值與方差計算的mapper

#coding=utf-8''' Created on Feb 21, 2011 Machine Learning in Action Chapter 18 Map Reduce Job for Hadoop Streaming mrMeanMapper.py @author: Peter HarringtonMapReduce:分布式計算的框架 MapReduce優點:可在短時間內完成大量工作。 缺點:算法必須經過重寫，需要對系統工程有一定的理解。 適用數據類型:數值型和標稱型數據。圖15-1的每臺機器都有兩個處理器，可以同時處理兩個map或者reduce任務。如果機器0在map 階段宕機，主節點將會發現這一點。主節點在發現該問題之后，會將機器。移出集群，并在剩余 的節點上繼續執行作業。在一些MapReduce的實現中，在多個機器上都保存有數據的多個備份， 例如在機器。上存放的輸人數據可能還存放在機器1上，以防機器。出現問題。同時，每個節點都 必須與主節點通信，表明自己工作正常。如果某節點失效或者工作異常，主節點將重啟該節點或 者將該節點移出可用機器池。主節點控制MapReduce的作業流程; MapReduce的作業可以分成map任務和reduce任務; map任務之間不做數據交流，reduce任務也一樣; 在map和reduce階段中間，有一個sort或combine階段; 數據被重復存放在不同的機器上，以防某個機器失效; mapper和reduce磚輸的數據形式為key/value對。在Amazon網絡服務上運行Hadoop程序分布式均值與方差計算 ''' import sys from numpy imp

總結

以上是生活随笔為你收集整理的chapter15 机器学习之大数据与mapreduce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。