2019獨角獸企業重金招聘Python工程師標準>>>

一、pom.xml

<!-- 機器學習包 --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_2.10</artifactId><version>${spark.version}</version></dependency>

二、api使用

package cn.hhb.spark.mllibimport org.apache.spark.SparkConf /***向用戶推薦商品*/ import org.apache.spark.mllib.recommendation.{ALS, Rating} import org.apache.spark.{SparkConf, SparkContext} // $example off$object RecommendationExample2 {def main(args: Array[String]) {var conf = new SparkConf().setAppName("RecommendationExample2").setMaster("local[4]").set("spark.testing.memory", "2147480000")val sc = new SparkContext(conf)val data = sc.textFile("c://test.data")//變換成rationg(評分)對象val ratings = data.map(_.split(',') match { case Array(user, item, rate) =>Rating(user.toInt, item.toInt, rate.toDouble)})//發生購買行為(評分)數據val realData = ratings.map( t=>(t.user,t.product) )// Build the recommendation model using ALSval rank = 10val numIterations = 10//模型,舉證分解模型val model = ALS.train(ratings, rank, numIterations, 0.01)val usersProducts = sc.makeRDD(Array((1,1), (2,1)))//笛卡爾積 // val allUsers = sc.makeRDD(Array(1,2,3,4)) // val allProduct = sc.makeRDD(Array(1,2,3,4)) // val userProducts = allUsers.cartesian(allProduct) // val unbuy = userProducts.subtract(realData) // unbuy.collect().foreach(println)//預測評分. // val predictions = model.predict(unbuy)val predictions = model.predict(usersProducts)predictions.collect().foreach(println)}}

轉載于:https://my.oschina.net/hehongbo/blog/1545039

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的spark mllib推荐算法使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。