Apache Mahout是一個“可擴展的機器學(xué)習(xí)庫”，其中包含各種單節(jié)點和分布式推薦算法的實現(xiàn)。 在我的上一篇博客文章中， 我描述了如何在單個節(jié)點上實現(xiàn)在線推薦系統(tǒng)來處理數(shù)據(jù)。 如果數(shù)據(jù)太大而無法放入內(nèi)存（> 100M首選項數(shù)據(jù)點）怎么辦？ 然后我們別無選擇，只能看一下Mahout的分布式推薦器實現(xiàn)！

分布式推薦器基于Apache Hadoop。 這是一項需要輸入用戶偏好列表，計算項目共現(xiàn)矩陣并為每個用戶輸出前K個建議的工作。 有關(guān)此博客如何工作以及如何在本地運行的介紹性博客，請參見此博客文章 。

我們當然可以在自定義的Hadoop群集上運行此作業(yè)，但是僅使用預(yù)先配置的作業(yè)（如EMR）會更快（且痛苦更少）。 但是，有一個小問題。 EMR上可用的最新Hadoop版本是1.0.3，其中包含Apache Lucene 2.9.4的jar。 但是，推薦器作業(yè)取決于Lucene 4.3.0，這將導(dǎo)致以下漂亮的堆棧跟蹤：

2013-10-04 11:05:03,921 FATAL org.apache.hadoop.mapred.Child (main): Error running child : java.lang.NoSuchMethodError: org.apache.lucene.util.PriorityQueue.<init>(I)Vat org.apache.mahout.math.hadoop.similarity.cooccurrence.TopElementsQueue.<init>(TopElementsQueue.java:33)at org.apache.mahout.math.hadoop.similarity.cooccurrence.RowSimilarityJob$UnsymmetrifyMapper. map(RowSimilarityJob.java:405)at org.apache.mahout.math.hadoop.similarity.cooccurrence.RowSimilarityJob$UnsymmetrifyMapper. map(RowSimilarityJob.java:389)at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:771)at org.apache.hadoop.mapred.MapTask.run(MapTask.java:375)at org.apache.hadoop.mapred.Child$4.run(Child.java:255)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:415)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)at org.apache.hadoop.mapred.Child.main(Child.java:249)

如何解決呢？ 好吧，我們“只是”需要在EMR Hadoop安裝中更新Lucene。 我們可以為此使用引導(dǎo)操作 。 具體步驟如下：

下載lucene-4.3.0.tgz（例如從此處下載）并將其上傳到S3存儲桶中； 將文件公開。

將該腳本也上傳到存儲桶中； 稱之為例如update-lucene.sh ： #!/bin/bash cd /home/hadoop wget https://s3.amazonaws.com/bucket_name/bucket_path/lucene-4.3.0.tgz tar -xzf lucene-4.3.0.tgz cd lib rm lucene-*.jar cd .. cd lucene-4.3.0 find . | grep lucene- | grep jar$ | xargs -I {} cp {} ../lib

該腳本將在Hadoop節(jié)點上運行，并將更新Lucene版本。 確保更改腳本并輸入正確的存儲桶名稱和存儲桶路徑，以使其指向公共Lucene存檔。

mahout-core-0.8-job.jar到存儲桶

最后，我們需要將輸入數(shù)據(jù)上傳到S3。 輸出數(shù)據(jù)也將保存在S3上。

現(xiàn)在，我們可以開始設(shè)置EMR作業(yè)流程。 轉(zhuǎn)到Amazon控制臺上的EMR頁面，并開始創(chuàng)建新的工作流程。 我們將使用“ Amazon Distribution” Hadoop版本，并使用“ Custom JAR”作為作業(yè)類型。

“ JAR位置”必須指向我們上載Mahout jar的位置，例如s3n://bucket_name/bucket_path/mahout-0.8-job.jar （請確保將其更改為指向真實的存儲桶！）。 至于jar參數(shù)，我們將運行RecommenderJob并使用對數(shù)似然性： org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --booleanData --similarityClassname SIMILARITY_LOGLIKELIHOOD --output s3n://bucket_name/output --input s3n://bucket_name/input.dat

這也是指定S3上輸入數(shù)據(jù)的位置以及應(yīng)將輸出寫入何處的地方。

然后，我們可以選擇要使用的計算機數(shù)量。 當然，這取決于輸入數(shù)據(jù)的大小以及所需的結(jié)果速度。 這里主要要更改的是“核心實例組”計數(shù)。 2是測試的合理默認值。

我們可以保持高級選項不變

現(xiàn)在我們進入更重要的步驟之一：設(shè)置引導(dǎo)程序動作。 我們需要設(shè)置兩個：

• 內(nèi)存密集型配置（否則您會很快看到一個OOM）
• 我們的自定義update-lucene操作（路徑應(yīng)指向S3，例如s3://bucket_name/bucket_path/update-lucene.sh ）

就是這樣！ 現(xiàn)在，您可以創(chuàng)建并運行作業(yè)流程，在幾分鐘/幾小時/幾天之后，您將在S3上等待結(jié)果。

參考： Amazon Elastic Map Reduce可以通過 JCG合作伙伴 Adam Warski的Blog在Adam Warski博客上使用Apache Mahout計算建議 。

翻譯自: https://www.javacodegeeks.com/2013/10/amazon-elastic-map-reduce-to-compute-recommendations-with-apache-mahout.html

總結(jié)

以上是生活随笔為你收集整理的Amazon Elastic Map Reduce使用Apache Mahout计算建议的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。