文章召回-基于ALS的协同过滤算法实践及评估
文章召回-基于ALS的協(xié)同過(guò)濾算法
本項(xiàng)目完整源碼地址：https://github.com/angeliababy/ALS_col
項(xiàng)目博客地址: https://blog.csdn.net/qq_29153321/article/details/104007318
原理
ALS算法屬于User-Item CF，也叫做混合CF。它同時(shí)考慮了User和Item兩個(gè)方面。
用戶和商品的關(guān)系，可以抽象為如下的三元組：<User,Item,Rating>。其中，Rating是用戶對(duì)商品的評(píng)分，表征用戶對(duì)該商品的喜好程度。
一個(gè)用戶也不可能給所有商品評(píng)分，因此，R矩陣注定是個(gè)稀疏矩陣。
針對(duì)這樣的特點(diǎn)，我們可以假設(shè)用戶和商品之間存在若干關(guān)聯(lián)維度（比如用戶年齡、性別、受教育程度和商品的外觀、價(jià)格等），我們只需要將R矩陣投射到這些維度上即可。
我們并不需要顯式的定義這些關(guān)聯(lián)維度，而只需要假定它們存在即可。一般情況下，k的值遠(yuǎn)小于n和m的值，從而達(dá)到了數(shù)據(jù)降維的目的。k的典型取值一般是20～200。
計(jì)算出來(lái)用戶對(duì)未知物品的得分，同時(shí)，矩陣X和Y，還可以用于比較不同的User（或Item）之間的相似度。
優(yōu)缺點(diǎn)：
首先，協(xié)同過(guò)濾不是全局推薦。詳細(xì)如下：
實(shí)踐部分
數(shù)據(jù)準(zhǔn)備
用戶資訊得分?jǐn)?shù)據(jù)，也可用網(wǎng)上的電影數(shù)據(jù)集
依據(jù)下面表格式構(gòu)造訓(xùn)練數(shù)據(jù)，只需構(gòu)建代碼中用到的字段即可
CREATE TABLE `news_read` (`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'ID',`user_id` int(11) NOT NULL DEFAULT '0',`member_id` int(11) NOT NULL DEFAULT '0',`channel_id` int(11) DEFAULT NULL COMMENT '頻道編號(hào)',`news_id` int(11) DEFAULT NULL COMMENT '文章編號(hào)',`entry_datetime` datetime DEFAULT NULL COMMENT '進(jìn)入時(shí)間',`leave_datetime` datetime DEFAULT NULL COMMENT '離開(kāi)時(shí)間',`readed_percent` int(11) DEFAULT NULL COMMENT '閱讀進(jìn)度',`is_try_share` bit(1) DEFAULT b'0' COMMENT '是否嘗試分享',`review_count` int(11) DEFAULT '0' COMMENT '評(píng)論數(shù)量',`is_review` bit(1) DEFAULT b'0' COMMENT '是否評(píng)論',`is_collect` bit(1) DEFAULT NULL COMMENT '是否收藏',`is_praise` bit(1) DEFAULT NULL COMMENT '是否點(diǎn)贊',`is_tread` bit(1) DEFAULT b'0' COMMENT '是否踩',`lang` int(11) DEFAULT '-1' COMMENT '1:中文、2:柬文、3:英文',`platform` int(11) DEFAULT '-1' COMMENT '1：安卓，2：蘋(píng)果',`batch_no` varchar(64) NOT NULL DEFAULT '' COMMENT '批次號(hào)',`source` tinyint(4) NOT NULL DEFAULT '99' COMMENT '資訊閱讀入口（1、歷史 2、收藏 3、頻道(遺棄) 4、相關(guān)推薦 5、搜索 6、用戶動(dòng)態(tài) 7、資訊模塊 8、視頻模塊 9、小視頻模塊 99、其它）',`news_type` tinyint(4) NOT NULL DEFAULT '-1' COMMENT '資訊類型（1、圖文，2、圖集，3、視頻，4、小說(shuō)、6、廣告推廣 8、小視頻）',`add_datetime` datetime DEFAULT NULL COMMENT '添加時(shí)間',`app_version` varchar(128) DEFAULT '' COMMENT 'APP版本',`ip` varchar(255) DEFAULT '' COMMENT '客戶端IP',`device_id` varchar(255) DEFAULT '' COMMENT '設(shè)備ID',`country` varchar(255) DEFAULT NULL,`province` varchar(255) DEFAULT NULL,`city` varchar(255) DEFAULT NULL,`uuid` varchar(128) DEFAULT '' COMMENT '客戶端全局唯一id',`log_id` varchar(64) NOT NULL DEFAULT '' COMMENT '日志Id',`relation_news_ids` varchar(255) NOT NULL DEFAULT '' COMMENT '延展閱讀曝光的資訊',PRIMARY KEY (`id`),KEY `news_id` (`news_id`,`channel_id`,`member_id`) USING BTREE,KEY `channel_id` (`channel_id`,`news_id`,`member_id`),KEY `add_datetime` (`add_datetime`),KEY `channelId_memberId_time` (`channel_id`,`member_id`,`add_datetime`),KEY `member_id` (`member_id`,`add_datetime`,`channel_id`) USING BTREE,KEY `user_id` (`user_id`,`add_datetime`,`channel_id`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=53485290 DEFAULT CHARSET=utf8mb4 COMMENT='資訊閱讀行為表' news_read = news_read.select(news_read.user_id,news_read.member_id,news_read.news_id,news_read.readed_percent,news_read.is_try_share,news_read.is_collect,news_read.is_review,news_read.is_praise,news_read.entry_datetime,news_read.leave_datetime,news_read.news_type,news_read.add_datetime,news_read.id)修改程序中讀取數(shù)據(jù)部分
運(yùn)行程序，修改路徑
ALS評(píng)估
上步中生成的news_score樣例數(shù)據(jù)如下：
user_id,member_id,item,score,log_time
51778098,898036,8644098,1.04,2020-01-06 10:39:21
1.訓(xùn)練數(shù)據(jù)
from pyspark.mllib.recommendation import Rating, ALS # 1.訓(xùn)練數(shù)據(jù)（用戶序號(hào),item,rating） ratings = user_data_join.map(lambda x: Rating(int(x[0]), int(x[1]), float(x[2])))2.訓(xùn)練
model = ALS.train(ratings,50,10,0.01)3.給單個(gè)用戶推薦物品
user = 3 topKRecs = model.recommendProducts(user, 10) for i in topKRecs:print(i)4.測(cè)試數(shù)據(jù)
7天當(dāng)作訓(xùn)練數(shù)據(jù)，1天當(dāng)作測(cè)試
5.預(yù)測(cè)數(shù)據(jù)
userProducts = ratings.map(lambda rating:(rating.user,rating.product)) print('實(shí)際的評(píng)分電影:',userProducts.take(5)) # print (model.predictAll(userProducts).collect()[0]) predictions = model.predictAll(userProducts)6.評(píng)估
predictions = model.predictAll(userProducts).map(lambda rating:((rating.user,rating.product), rating.rating)) print('預(yù)測(cè)的評(píng)分:',predictions.take(5))ratingsAndPredictions = ratings.map(lambda rating:((rating.user,rating.product),rating.rating)).join(predictions) print('組合預(yù)測(cè)的評(píng)分和實(shí)際的評(píng)分:',ratingsAndPredictions.take(5)) # 組合預(yù)測(cè)的評(píng)分和實(shí)際的評(píng)分: [((1730, 8904080), (1.52, 1.5183552691178965)), ((2634, 8903648), (1.08, 1.109481704984579)), ((412, 8824284), (1.94, 1.9368518512651538)), ((759, 8841175), (2.0, 1.9916580018716354)),((846, 8825136), (5.0, 4.987908502485232))]from pyspark.mllib.evaluation import RegressionMetrics from pyspark.mllib.evaluation import RankingMetrics #((196, 242), (3.0, 3.089619902353484)) predictedAndTrue = ratingsAndPredictions.map(lambda x:x[1][0:2]) print (predictedAndTrue.take(5)) regressionMetrics = RegressionMetrics(predictedAndTrue) print ("均方誤差 = %f"%regressionMetrics.meanSquaredError) print ("均方根誤差 = %f"% regressionMetrics.rootMeanSquaredError)7.評(píng)估結(jié)果
1）訓(xùn)練數(shù)據(jù)擬合的準(zhǔn)確性（7天當(dāng)作訓(xùn)練數(shù)據(jù)，預(yù)測(cè)數(shù)據(jù)也來(lái)自訓(xùn)練集）：
均方誤差 = 0.000245
均方根誤差 = 0.015641
2）測(cè)試數(shù)據(jù)的準(zhǔn)確性（7天當(dāng)作訓(xùn)練數(shù)據(jù)，另1天當(dāng)作測(cè)試）：
均方誤差 = 1.663446
均方根誤差 = 1.289746
參考博客：
https://blog.csdn.net/buptdavid/article/details/78970906
https://www.zybuluo.com/xtccc/note/200979
總結(jié)
以上是生活随笔為你收集整理的文章召回-基于ALS的协同过滤算法实践及评估的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： eCall
- 下一篇： Vue前端开发规范及代码风格