當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

用Maven构建Mahout项目

發(fā)布時(shí)間：2025/3/21 编程问答 29 豆豆

生活随笔收集整理的這篇文章主要介紹了用Maven构建Mahout项目小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

Hadoop家族系列文章，主要介紹Hadoop家族產(chǎn)品，常用的項(xiàng)目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的項(xiàng)目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

從2011年開始，中國(guó)進(jìn)入大數(shù)據(jù)風(fēng)起云涌的時(shí)代，以Hadoop為代表的家族軟件，占據(jù)了大數(shù)據(jù)處理的廣闊地盤。開源界及廠商，所有數(shù)據(jù)軟件，無(wú)一不向Hadoop靠攏。Hadoop也從小眾的高富帥領(lǐng)域，變成了大數(shù)據(jù)開發(fā)的標(biāo)準(zhǔn)。在Hadoop原有技術(shù)基礎(chǔ)之上，出現(xiàn)了Hadoop家族產(chǎn)品，通過“大數(shù)據(jù)”概念不斷創(chuàng)新，推出科技進(jìn)步。

作為IT界的開發(fā)人員，我們也要跟上節(jié)奏，抓住機(jī)遇，跟著Hadoop一起雄起！

關(guān)于作者：

張丹(Conan), 程序員Java,R,PHP,Javascript
weibo：@Conan_Z
blog:?http://blog.fens.me
email: bsspirit@gmail.com

轉(zhuǎn)載請(qǐng)注明出處：
http://blog.fens.me/hadoop-mahout-maven-eclipse/

前言

基于Hadoop的項(xiàng)目，不管是MapReduce開發(fā)，還是Mahout的開發(fā)都是在一個(gè)復(fù)雜的編程環(huán)境中開發(fā)。Java的環(huán)境問題，是困擾著每個(gè)程序員的噩夢(mèng)。Java程序員，不僅要會(huì)寫Java程序，還要會(huì)調(diào)linux，會(huì)配hadoop，啟動(dòng)hadoop，還要會(huì)自己運(yùn)維。所以，新手想玩起Hadoop真不是件簡(jiǎn)單的事。

不過，我們可以盡可能的簡(jiǎn)化環(huán)境問題，讓程序員只關(guān)注于寫程序。特別是像算法程序員，把精力投入在算法設(shè)計(jì)上，要比花時(shí)間解決環(huán)境問題有價(jià)值的多。

Maven介紹和安裝

Mahout單機(jī)開發(fā)環(huán)境介紹

用Maven構(gòu)建Mahout開發(fā)環(huán)境

用Mahout實(shí)現(xiàn)協(xié)同過濾userCF

用Mahout實(shí)現(xiàn)kmeans

模板項(xiàng)目上傳github

1. Maven介紹和安裝

請(qǐng)參考文章：用Maven構(gòu)建Hadoop項(xiàng)目

開發(fā)環(huán)境

Win7 64bit
Java 1.6.0_45
Maven 3
Eclipse Juno Service Release 2
Mahout 0.6

這里要說明一下mahout的運(yùn)行版本。

mahout-0.5, mahout-0.6, mahout-0.7，是基于hadoop-0.20.2x的。
mahout-0.8, mahout-0.9，是基于hadoop-1.1.x的。
mahout-0.7，有一次重大升級(jí)，去掉了多個(gè)算法的單機(jī)內(nèi)存運(yùn)行，并且了部分API不向前兼容。

注：本文關(guān)注于“用Maven構(gòu)建Mahout的開發(fā)環(huán)境”，文中的 2個(gè)例子都是基于單機(jī)的內(nèi)存實(shí)現(xiàn)，因此選擇0.6版本。Mahout在Hadoop集群中運(yùn)行會(huì)在下一篇文章介紹。

2. Mahout單機(jī)開發(fā)環(huán)境介紹

如上圖所示，我們可以選擇在win中開發(fā)，也可以在linux中開發(fā)，開發(fā)過程我們可以在本地環(huán)境進(jìn)行調(diào)試，標(biāo)配的工具都是Maven和Eclipse。

3. 用Maven構(gòu)建Mahout開發(fā)環(huán)境

1. 用Maven創(chuàng)建一個(gè)標(biāo)準(zhǔn)化的Java項(xiàng)目
2. 導(dǎo)入項(xiàng)目到eclipse
3. 增加mahout依賴，修改pom.xml
4. 下載依賴

1). 用Maven創(chuàng)建一個(gè)標(biāo)準(zhǔn)化的Java項(xiàng)目

~ D:\workspace\java>mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.conan.mymahout -DartifactId=myMahout -DpackageName=org.conan.mymahout -Dversion=1.0-SNAPSHOT -DinteractiveMode=false

進(jìn)入項(xiàng)目，執(zhí)行mvn命令

~ D:\workspace\java>cd myMahout ~ D:\workspace\java\myMahout>mvn clean install

2). 導(dǎo)入項(xiàng)目到eclipse

我們創(chuàng)建好了一個(gè)基本的maven項(xiàng)目，然后導(dǎo)入到eclipse中。這里我們最好已安裝好了Maven的插件。

3). 增加mahout依賴，修改pom.xml

這里我使用hadoop-0.6版本，同時(shí)去掉對(duì)junit的依賴，修改文件：pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.conan.mymahout</groupId> <artifactId>myMahout</artifactId> <packaging>jar</packaging> <version>1.0-SNAPSHOT</version> <name>myMahout</name> <url>http://maven.apache.org</url><properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <mahout.version>0.6</mahout.version> </properties><dependencies> <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-core</artifactId> <version>${mahout.version}</version> </dependency> <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-integration</artifactId> <version>${mahout.version}</version> <exclusions> <exclusion> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty</artifactId> </exclusion> <exclusion> <groupId>org.apache.cassandra</groupId> <artifactId>cassandra-all</artifactId> </exclusion> <exclusion> <groupId>me.prettyprint</groupId> <artifactId>hector-core</artifactId> </exclusion> </exclusions> </dependency> </dependencies> </project>

4). 下載依賴

~ mvn clean install

在eclipse中刷新項(xiàng)目：

項(xiàng)目的依賴程序，被自動(dòng)加載的庫(kù)路徑下面。

4. 用Mahout實(shí)現(xiàn)協(xié)同過濾userCF

Mahout協(xié)同過濾UserCF深度算法剖析，請(qǐng)參考文章：用R解析Mahout用戶推薦協(xié)同過濾算法(UserCF)

實(shí)現(xiàn)步驟：

1. 準(zhǔn)備數(shù)據(jù)文件: item.csv
2. Java程序：UserCF.java
3. 運(yùn)行程序
4. 推薦結(jié)果解讀

1). 新建數(shù)據(jù)文件: item.csv

~ mkdir datafile ~ vi datafile/item.csv1,101,5.0 1,102,3.0 1,103,2.5 2,101,2.0 2,102,2.5 2,103,5.0 2,104,2.0 3,101,2.5 3,104,4.0 3,105,4.5 3,107,5.0 4,101,5.0 4,103,3.0 4,104,4.5 4,106,4.0 5,101,4.0 5,102,3.0 5,103,2.0 5,104,4.0 5,105,3.5 5,106,4.0

數(shù)據(jù)解釋：每一行有三列，第一列是用戶ID，第二列是物品ID，第三列是用戶對(duì)物品的打分。

2). Java程序：UserCF.java

Mahout協(xié)同過濾的數(shù)據(jù)流，調(diào)用過程。

上圖摘自：Mahout in Action

新建JAVA類：org.conan.mymahout.recommendation.UserCF.java

package org.conan.mymahout.recommendation;import java.io.File; import java.io.IOException; import java.util.List;import org.apache.mahout.cf.taste.common.TasteException; import org.apache.mahout.cf.taste.impl.common.LongPrimitiveIterator; import org.apache.mahout.cf.taste.impl.model.file.FileDataModel; import org.apache.mahout.cf.taste.impl.neighborhood.NearestNUserNeighborhood; import org.apache.mahout.cf.taste.impl.recommender.GenericUserBasedRecommender; import org.apache.mahout.cf.taste.impl.similarity.EuclideanDistanceSimilarity; import org.apache.mahout.cf.taste.model.DataModel; import org.apache.mahout.cf.taste.recommender.RecommendedItem; import org.apache.mahout.cf.taste.recommender.Recommender; import org.apache.mahout.cf.taste.similarity.UserSimilarity;public class UserCF {final static int NEIGHBORHOOD_NUM = 2;final static int RECOMMENDER_NUM = 3;public static void main(String[] args) throws IOException, TasteException {String file = "datafile/item.csv";DataModel model = new FileDataModel(new File(file));UserSimilarity user = new EuclideanDistanceSimilarity(model);NearestNUserNeighborhood neighbor = new NearestNUserNeighborhood(NEIGHBORHOOD_NUM, user, model);Recommender r = new GenericUserBasedRecommender(model, neighbor, user);LongPrimitiveIterator iter = model.getUserIDs();while (iter.hasNext()) {long uid = iter.nextLong();List list = r.recommend(uid, RECOMMENDER_NUM);System.out.printf("uid:%s", uid);for (RecommendedItem ritem : list) {System.out.printf("(%s,%f)", ritem.getItemID(), ritem.getValue());}System.out.println();}} }

3). 運(yùn)行程序
控制臺(tái)輸出:

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. uid:1(104,4.274336)(106,4.000000) uid:2(105,4.055916) uid:3(103,3.360987)(102,2.773169) uid:4(102,3.000000) uid:5

4). 推薦結(jié)果解讀

向用戶ID1，推薦前二個(gè)最相關(guān)的物品, 104和106
向用戶ID2，推薦前二個(gè)最相關(guān)的物品, 但只有一個(gè)105
向用戶ID3，推薦前二個(gè)最相關(guān)的物品, 103和102
向用戶ID4，推薦前二個(gè)最相關(guān)的物品, 但只有一個(gè)102
向用戶ID5，推薦前二個(gè)最相關(guān)的物品, 沒有符合的

5. 用Mahout實(shí)現(xiàn)kmeans

1. 準(zhǔn)備數(shù)據(jù)文件: randomData.csv
2. Java程序：Kmeans.java
3. 運(yùn)行Java程序
4. mahout結(jié)果解讀
5. 用R語(yǔ)言實(shí)現(xiàn)Kmeans算法
6. 比較Mahout和R的結(jié)果

1). 準(zhǔn)備數(shù)據(jù)文件: randomData.csv

~ vi datafile/randomData.csv-0.883033363823402,-3.31967192630249 -2.39312626419456,3.34726861118871 2.66976353341256,1.85144276077058 -1.09922906899594,-6.06261735207489 -4.36361936997216,1.90509905380532 -0.00351835125495037,-0.610105996559153 -2.9962958796338,-3.60959839525735 -3.27529418132066,0.0230099799641799 2.17665594420569,6.77290756817957 -2.47862038335637,2.53431833167278 5.53654901906814,2.65089785582474 5.66257474538338,6.86783609641077 -0.558946883114376,1.22332819416237 5.11728525486132,3.74663871584768 1.91240516693351,2.95874731384062 -2.49747101306535,2.05006504756875 3.98781883213459,1.00780938946366

這里只截取了一部分，更多的數(shù)據(jù)請(qǐng)查看源代碼。

注：我是通過R語(yǔ)言生成的randomData.csv

x1<-cbind(x=rnorm(400,1,3),y=rnorm(400,1,3)) x2<-cbind(x=rnorm(300,1,0.5),y=rnorm(300,0,0.5)) x3<-cbind(x=rnorm(300,0,0.1),y=rnorm(300,2,0.2)) x<-rbind(x1,x2,x3) write.table(x,file="randomData.csv",sep=",",row.names=FALSE,col.names=FALSE)

2). Java程序：Kmeans.java

Mahout中kmeans方法的算法實(shí)現(xiàn)過程。

上圖摘自：Mahout in Action

新建JAVA類：org.conan.mymahout.cluster06.Kmeans.java

package org.conan.mymahout.cluster06;import java.io.IOException; import java.util.ArrayList; import java.util.List;import org.apache.mahout.clustering.kmeans.Cluster; import org.apache.mahout.clustering.kmeans.KMeansClusterer; import org.apache.mahout.common.distance.EuclideanDistanceMeasure; import org.apache.mahout.math.Vector;public class Kmeans {public static void main(String[] args) throws IOException {List sampleData = MathUtil.readFileToVector("datafile/randomData.csv");int k = 3;double threshold = 0.01;List randomPoints = MathUtil.chooseRandomPoints(sampleData, k);for (Vector vector : randomPoints) {System.out.println("Init Point center: " + vector);}List clusters = new ArrayList();for (int i = 0; i < k; i++) {clusters.add(new Cluster(randomPoints.get(i), i, new EuclideanDistanceMeasure()));}List<List> finalClusters = KMeansClusterer.clusterPoints(sampleData, clusters, new EuclideanDistanceMeasure(), k, threshold);for (Cluster cluster : finalClusters.get(finalClusters.size() - 1)) {System.out.println("Cluster id: " + cluster.getId() + " center: " + cluster.getCenter().asFormatString());}}}

3). 運(yùn)行Java程序
控制臺(tái)輸出:

Init Point center: {0:-0.162693685149196,1:2.19951550286862} Init Point center: {0:-0.0409782183083317,1:2.09376666042057} Init Point center: {0:0.158401778474687,1:2.37208412905273} SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Cluster id: 0 center: {0:-2.686856800552941,1:1.8939462954763795} Cluster id: 1 center: {0:0.6334255423230666,1:0.49472852972602105} Cluster id: 2 center: {0:3.334520309711998,1:3.2758355898247653}

4). mahout結(jié)果解讀

1. Init Point center表示，kmeans算法初始時(shí)的設(shè)置的3個(gè)中心點(diǎn)
2. Cluster center表示，聚類后找到3個(gè)中心點(diǎn)

5). 用R語(yǔ)言實(shí)現(xiàn)Kmeans算法
接下來(lái)為了讓結(jié)果更直觀，我們?cè)儆肦語(yǔ)言，進(jìn)行kmeans實(shí)驗(yàn)，操作相同的數(shù)據(jù)。

R語(yǔ)言代碼：

> y<-read.csv(file="randomData.csv",sep=",",header=FALSE) > cl<-kmeans(y,3,iter.max = 10, nstart = 25) > cl$centersV1 V2 1 -0.4323971 2.2852949 2 0.9023786 -0.7011153 3 4.3725463 2.4622609# 生成聚類中心的圖形 > plot(y, col=c("black","blue","green")[cl$cluster]) > points(cl$centers, col="red", pch = 19)# 畫出Mahout聚類的中心 > mahout<-matrix(c(-2.686856800552941,1.8939462954763795,0.6334255423230666,0.49472852972602105,3.334520309711998,3.2758355898247653),ncol=2,byrow=TRUE) > points(mahout, col="violetred", pch = 19)

聚類的效果圖：

6). 比較Mahout和R的結(jié)果
從上圖中，我們看到有黑，藍(lán)，綠，三種顏色的空心點(diǎn)，這些點(diǎn)就是原始的數(shù)據(jù)。

3個(gè)紅色實(shí)點(diǎn)，是R語(yǔ)言kmeans后生成的3個(gè)中心。
3個(gè)紫色實(shí)點(diǎn)，是Mahout的kmeans后生成的3個(gè)中心。

R語(yǔ)言和Mahout生成的點(diǎn)，并不是重合的，原因有幾點(diǎn)：

1. 距離算法不一樣：
Mahout中，我們用的 “歐氏距離(EuclideanDistanceMeasure)”
R語(yǔ)言中，默認(rèn)是”Hartigan and Wong”
2. 初始化的中心是不一樣的。
3. 最大迭代次數(shù)是不一樣的。
4. 點(diǎn)合并時(shí)，判斷的”閾值(threshold)”是不一樣的。

6. 模板項(xiàng)目上傳github

https://github.com/bsspirit/maven_mahout_template/tree/mahout-0.6

大家可以下載這個(gè)項(xiàng)目，做為開發(fā)的起點(diǎn)。

~ git clone https://github.com/bsspirit/maven_mahout_template ~ git checkout mahout-0.6

我們完成了第一步，下面就將正式進(jìn)入mahout算法的開發(fā)實(shí)踐，并且應(yīng)用到hadoop集群的環(huán)境中。

下一篇：Mahout分步式程序開發(fā) 基于物品的協(xié)同過濾ItemCF

轉(zhuǎn)載請(qǐng)注明出處：
http://blog.fens.me/hadoop-mahout-maven-eclipse/

總結(jié)

以上是生活随笔為你收集整理的用Maven构建Mahout项目的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。