recommenderlab:構建基于R的推薦系統（1）

http://site.douban.com/182577/widget/notes/10567212/note/345073868/

recommenderlab:構建基于R的推薦系統（1）

1.推薦系統和recommenderlab包

recommenderlab包提供了一個可以用評分數據和0-1數據來發展和測試推薦算法的框架。它提供了幾種基礎算法，并可利用注冊機制允許用戶使用自己的算法
recommender包的數據類型采用S4類構造，使用抽象的raringMatrix為評分數據提供接口。raringMatrix采用了很多類似矩陣對象的操作，如dim(),dimnames(),rowCounts(),colMeans(),rowMeans(),colSums(),rowMeans()；也增加了一些特別的操作方法，如sample()，用于從用戶（即，行）中抽樣，image()可以生成像素圖。raringMatrix的兩種具體運用是realRatingMatrix和binaryRatingMatrix,分別對應評分矩陣的不同情況。其中realRatingMatrix使用的是真實值的評分矩陣，存儲在由Matrix包定義的稀疏矩陣（spare matrix）格式中；binaryRatingMatrix使用的是0-1評分矩陣，存儲在由arule包定義的itemMatrix中。

類Recommender使用數據結構來存儲推薦模型。創建方法是：

Rencommender(data=ratingMatrix,method,parameter=NULL)

返回一個Rencommender對象object，可以用來做top-N推薦的預測：

predict(object,newdata,n,type=c('topNlist,ratings'),…)

使用者可以利用registry包提供的注冊機制自定義自己的推薦算法。注冊機制調用recommenderRegistry并存貯推薦算法的名字和簡短描述。

為評價推薦算法的表現，recommender包提供了evaluationScheme類的對象用于創建并保存評價計劃。創建函數如下： evaluatiomScheme(data,method,train,k,given) 這里的方法可以采用簡單劃分、自助法抽樣、k-折交叉驗證等。接下來可以使用函數evalute()使用評價計劃的多個評價算法的表現。

下面用一個簡單的人工例子來說明recommender包的數據結構和數據操作
m <- matrix(sample(c(as.numeric(0:5), NA), 30, replace = TRUE, prob = c(rep(0.5/6,?
????6), 0.5)), ncol = 6, dimnames = list(user = paste("u", 1:5, sep = ""), item = paste("i",?
????1:6, sep = "")))
m
## item
## user i1 i2 i3 i4 i5 i6
## u1 2 2 NA 0 NA NA
## u2 3 3 3 NA NA NA
## u3 NA 1 0 NA 0 1
## u4 NA 2 0 2 NA NA
## u5 NA NA NA NA 1 0
在這里所有沒評分的值都是NA

把m轉化為realRatingMatrix
library(recommenderlab)
m.real <- as(m, "realRatingMatrix")
m.real
## 5 x 6 rating matrix of class 'realRatingMatrix' with 15 ratings.
str(m.real)
## Formal class 'realRatingMatrix' [package "recommenderlab"] with 2 slots
## ..@ data :Formal class 'dgCMatrix' [package "Matrix"] with 6 slots
## .. .. ..@ i : int [1:15] 0 1 0 1 2 3 1 2 3 0 ...
## .. .. ..@ p : int [1:7] 0 2 6 9 11 13 15
## .. .. ..@ Dim : int [1:2] 5 6
## .. .. ..@ Dimnames:List of 2
## .. .. .. ..$ user: chr [1:5] "u1" "u2" "u3" "u4" ...
## .. .. .. ..$ item: chr [1:6] "i1" "i2" "i3" "i4" ...
## .. .. ..@ x : num [1:15] 2 3 2 3 1 2 3 0 0 0 ...
## .. .. ..@ factors : list()
## ..@ normalize: NULL
(rating <- m.real@data)
## 5 x 6 sparse Matrix of class "dgCMatrix"
## item
## i1 i2 i3 i4 i5 i6
## u1 2 2 . 0 . .
## u2 3 3 3 . . .
## u3 . 1 0 . 0 1
## u4 . 2 0 2 . .
## u5 . . . . 1 0
# 和下面的命令是等價的
dropNA(m)
## 5 x 6 sparse Matrix of class "dgCMatrix"
## item
## i1 i2 i3 i4 i5 i6
## u1 2 2 . 0 . .
## u2 3 3 3 . . .
## u3 . 1 0 . 0 1
## u4 . 2 0 2 . .
## u5 . . . . 1 0
identical(rating, dropNA(m))
## [1] TRUE

# 轉換回矩陣
as.matrix(rating)
## item
## user i1 i2 i3 i4 i5 i6
## u1 2 2 0 0 0 0
## u2 3 3 3 0 0 0
## u3 0 1 0 0 0 1
## u4 0 2 0 2 0 0
## u5 0 0 0 0 1 0
# NA沒有了，這種轉換是不合適的。需要這樣做
as(m.real, "matrix")
## item
## user i1 i2 i3 i4 i5 i6
## u1 2 2 NA 0 NA NA
## u2 3 3 3 NA NA NA
## u3 NA 1 0 NA 0 1
## u4 NA 2 0 2 NA NA
## u5 NA NA NA NA 1 0

數據操作：
# 轉化為列表
as(m.real, "list")
## $u1
## i1 i2 i4?
## 2 2 0?
##?
## $u2
## i1 i2 i3?
## 3 3 3?
##?
## $u3
## i2 i3 i5 i6?
## 1 0 0 1?
##?
## $u4
## i2 i3 i4?
## 2 0 2?
##?
## $u5
## i5 i6?
## 1 0
# 轉化為數據框
head(as(m.real, "data.frame"))
## user item rating
## 1 u1 i1 2
## 3 u1 i2 2
## 10 u1 i4 0
## 2 u2 i1 3
## 4 u2 i2 3
## 7 u2 i3 3
# 標準化
n.real <- normalize(m.real)
# 標準化前后的比較，像素圖
image(m.real, main = "Raw rating")

?

image(n.real, main = "Normalized rating")

?

2.協同過濾（Collaborative Flitering）方法

(1) 數據探索

協同過濾的基本思想是如果用戶在過去有相同的偏好，那么在未來也會有相似的偏好，所以可以利用已知的用戶過去的行為或評分對當前用戶的喜好進行預測。 協同推薦技術一般分為基于記憶的和基于模型的。基于記憶的模型根據保存在內存中的原始評分數據直接生成推薦，常用的如基于物品的推薦（IBCF）和基于用戶的推薦（UBCF）。

下面利用recommender包自帶的數據集MovieLense，討論基本的協同過濾推薦方法的使用。這個數據集收集了網站MovieLens（movielens.umn.edu）從1997年9月19日到1998年4月22日的數據，包括943名用戶對1664部電影的評分。

首先利用可視化了解數據集的情況。
data(MovieLense)
# 可視化原始數據
image(MovieLense)

?

# 獲取評分
ratings.movie <- data.frame(ratings = getRatings(MovieLense))
summary(ratings.movie$ratings)
## Min. 1st Qu. Median Mean 3rd Qu. Max.?
## 1.00 3.00 4.00 3.53 4.00 5.00
library(ggplot2)
ggplot(ratings.movie, aes(x = ratings)) + geom_histogram(fill = "beige", color = "black",?
????binwidth = 1, alpha = 0.7) + xlab("rating") + ylab("count")

?

# 標準化
ratings.movie1 <- data.frame(ratings = getRatings(normalize(MovieLense, method = "Z-score")))
summary(ratings.movie1$ratings)
## Min. 1st Qu. Median Mean 3rd Qu. Max.?
## -4.850 -0.647 0.108 0.000 0.751 4.130
ggplot(ratings.movie1, aes(x = ratings)) + geom_histogram(fill = "beige", color = "black",?
????alpha = 0.7) + xlab("rating") + ylab("count")

?

標準化的目的是為了去除用戶評分的偏差

# 用戶的電影點評數
movie.count <- data.frame(count = rowCounts(MovieLense))
ggplot(movie.count, aes(x = count)) + geom_histogram(fill = "beige", color = "black",?
????alpha = 0.7) + xlab("counts of users") + ylab("counts of movies rated")

?

用戶存在長尾

# 電影的平均評分
rating.mean <- data.frame(rating = colMeans(MovieLense))
ggplot(rating.mean, aes(x = rating)) + geom_histogram(fill = "beige", color = "black",?
????alpha = 0.7) + xlab("rating") + ylab("counts of movies ")

?

（2）預測推薦

# 先看可以使用的方法
recommenderRegistry$get_entries(dataType = "realRatingMatrix")
## $IBCF_realRatingMatrix
## Recommender method: IBCF
## Description: Recommender based on item-based collaborative filtering (real data).
## Parameters:
## k method normalize normalize_sim_matrix alpha na_as_zero minRating
## 1 30 Cosine center FALSE 0.5 FALSE NA
##?
## $PCA_realRatingMatrix
## Recommender method: PCA
## Description: Recommender based on PCA approximation (real data).
## Parameters:
## categories method normalize normalize_sim_matrix alpha na_as_zero
## 1 20 Cosine center FALSE 0.5 FALSE
## minRating
## 1 NA
##?
## $POPULAR_realRatingMatrix
## Recommender method: POPULAR
## Description: Recommender based on item popularity (real data).
## Parameters: None
##?
## $RANDOM_realRatingMatrix
## Recommender method: RANDOM
## Description: Produce random recommendations (real ratings).
## Parameters: None
##?
## $SVD_realRatingMatrix
## Recommender method: SVD
## Description: Recommender based on SVD approximation (real data).
## Parameters:
## categories method normalize normalize_sim_matrix alpha treat_na
## 1 50 Cosine center FALSE 0.5 median
## minRating
## 1 NA
##?
## $UBCF_realRatingMatrix
## Recommender method: UBCF
## Description: Recommender based on user-based collaborative filtering (real data).
## Parameters:
## method nn sample normalize minRating
## 1 cosine 25 FALSE center NA
對于realRatingMatrix有六種方法：IBCF(基于物品的推薦)、UBCF（基于用戶的推薦）、SVD（矩陣因子化）、PCA（主成分分析）、 RANDOM（隨機推薦）、POPULAR（基于流行度的推薦）

利用前940位用戶建立推薦模型
m.recomm <- Recommender(MovieLense[1:940], method = "IBCF")
m.recomm
## Recommender of type 'IBCF' for 'realRatingMatrix'?
## learned using 940 users.
對后三位用戶進行推薦預測，使用predict()函數，默認是topN推薦，這里取n=3。預測后得到的一個topNList對象，可以把它轉化為列表，看預測結果。

(ml.predict <- predict(m.recomm, MovieLense[941:943], n = 3))
## Recommendations as 'topNList' with n = 3 for 3 users.
str(ml.predict)
## Formal class 'topNList' [package "recommenderlab"] with 3 slots
## ..@ items :List of 3
## .. ..$ : int [1:3] 10 14 19
## .. ..$ : int [1:3] 3 39 47
## .. ..$ : int [1:3] 13 128 206
## ..@ itemLabels: chr [1:1664] "Toy Story (1995)" "GoldenEye (1995)" "Four Rooms (1995)" "Get Shorty (1995)" ...
## ..@ n : int 3
as(ml.predict, "list")#預測結果
## ［1］
## [1] "Richard III (1995)" "Postino, Il (1994)" "Antonia's Line (1995)"
##?
## ［2］
## [1] "Four Rooms (1995)" "Strange Days (1995)" "Ed Wood (1994)"?
##?
## ［3］
## [1] "Mighty Aphrodite (1995)" "Supercop (1992)"?
## [3] "Akira (1988)"

recommenderlab:構建基于R的推薦系統(2)

3.評價推薦系統的表現

recommenderlab 包提供了函數 evaluationScheme()建立評價方案，能夠使用簡單劃分、k折交叉驗證、自助法進行模型的評價。下面采用簡單劃分的方法（split），即將數據集簡單分為訓練集和測試集，在訓練集訓練模型，然后在測試集上評價。 evaluationScheme（）的主要參數：method，評估方法；train，劃分為訓練集的數據比例；k運行評估的折數或倍數（split的默認值為1）；given表示用來進行模型評價的items的數量。

library(recommenderlab)
data(MovieLense)
scheme <- evaluationScheme(MovieLense, method = "split", train = 0.9, k = 1,?
????given = 10, goodRating = 4)
algorithms <- list(popular = list(name = "POPULAR", param = list(normalize = "Z-score")),?
????ubcf = list(name = "UBCF", param = list(normalize = "Z-score", method = "Cosine",?
????????nn = 25, minRating = 3)), ibcf = list(name = "IBCF", param = list(normalize = "Z-score")))
results <- evaluate(scheme, algorithms, n = c(1, 3, 5, 10, 15, 20))
## POPULAR run?
## 1 [0.08sec/0.16sec]?
## UBCF run?
## 1 [0.09sec/4.96sec]?
## IBCF run?
## 1 [114.8sec/0.84sec]

recomenderlab包也提供了繪制表現圖的方法，可以繪制ROC曲線和 precision-recall曲線

plot(results, annotate = 1:3, legend = "topleft") #ROC

?

plot(results, "prec/rec", annotate = 3)#precision-recall

?

用calcPredictionError()函數可以計算由用戶精確評分給出的預測評分的MAE，MSE和RMSE這三種誤差

# 按照評價方案建立推薦模型
model.popular <- Recommender(getData(scheme, "train"), method = "POPULAR")
model.ibcf <- Recommender(getData(scheme, "train"), method = "IBCF")
model.ubcf <- Recommender(getData(scheme, "train"), method = "UBCF")
# 對推薦模型進行預測
predict.popular <- predict(model.popular, getData(scheme, "known"), type = "ratings")
predict.ibcf <- predict(model.ibcf, getData(scheme, "known"), type = "ratings")
predict.ubcf <- predict(model.ubcf, getData(scheme, "known"), type = "ratings")
# 做誤差的計算
predict.err <- rbind(calcPredictionError(predict.popular, getData(scheme, "unknown")),?
????calcPredictionError(predict.ubcf, getData(scheme, "unknown")), calcPredictionError(predict.ibcf,?
????????getData(scheme, "unknown")))
rownames(predict.err) <- c("POPULAR, "UBCF", "IBCF")
predict.err
## MAE MSE RMSE
##POPULAR 3.5402 13.489 3.673
## UBCF 0.8051 1.062 1.030
## IBCF 0.8414 1.333 1.154

calcPredictionError（）的參數“know”和“unknow”表示對測試集的進一步劃分：“know”表示用戶已經評分的，要用來預測的items；“unknow”表示用戶已經評分，要被預測以便于進行模型評價的items。

總結

以上是生活随笔為你收集整理的recommenderlab:构建基于R的推荐系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。