1.簡介

要說當今社會最火的行業，當屬互聯網行業。互聯網行業的營收主要由廣告收入和用戶付費組成。這兩項都離不開推薦系統，廣告需要給不同用戶推薦感興趣的內容，實現精準營銷，而用戶付費如視頻網站等則需要推薦用戶喜歡的內容，增加客戶粘性。

作為大數據的典型應用，今天我們來談談推薦系統，首先我們簡述一下推薦系統的典型算法，并使用業界聞名的Netflix競賽數據集來實現算法。

問題定義：給定用戶行為矩陣X，X為m*n的矩陣，其中m為用戶數，n 為內容數。已知X中的一部分值，如何猜測未知值?

2.常用算法

常用算法主要有以下三種

(1)基于內容的算法

給用戶推薦與之前該用戶評分高的項目相似的項目

構建項目向量：選擇一系列的屬性，比如電影可分類為恐怖片、愛情片等，并在這些屬性上為項目評分，如恐怖屬性5分代表驚悚屬性最高，從而得知用戶喜歡那種類型的項目

優點：不需考慮其他用戶、可以推薦符合用戶獨特品味的項目、易于解釋

缺點：很難找到合適的特征、冷啟動問題、只能推薦用戶喜歡的項目

(2)協同過濾算法

為新用戶做推薦時，找到相似的用戶喜歡的內容，稱為用戶-用戶協同過濾

確定新內容推薦給哪些用戶時，找到相似的內容喜歡的用戶，稱為內容-內容協同過濾

相似度度量：

(1)Jaccard similarity: 忽視用戶評分，只考慮是否看過

(2)Cosine similarity: 使用cos函數度量兩個用戶的距離，未評分的項目有誤差

(3)Pearson correlation: 去均值后度量cosine距離

優點：無需選擇特征

缺點：冷啟動問題、用戶矩陣是稀疏的、一些小眾項目無法被推薦

(3)矩陣分解算法

原始的用戶-項目m*k矩陣可以分解為兩個新矩陣，維度分別為m*k和n*k，原始的矩陣是個稀疏矩陣，通過原有數據進行學習，使用梯度下降法，最終可求出分解后的矩陣，而原始矩陣中的缺失項可以通過訓練出的兩個矩陣乘積計算

3.代碼實現

數據集采用Netflix推薦競賽的一個子集，包含10000個用戶和10000個電影，具體的文件格式如下

(1) 用戶列表 users.txt

文件有 10000 行，每行一個整數，表示用戶的 id，文件對應本次 Project 的所有用戶。

(2) 訓練集 netflix_train.txt

文件包含 689 萬條用戶打分，每行為一次打分，對應的格式為: 用戶 id 電影 id 分數 打分日期 其中用戶 id 均出現在 users.txt 中，電影 id 為 1 到 10000 的整數。各項之間用空格分開

(3) 測試集 netflix_test.txt

文件包含約 172 萬條用戶打分，格式與訓練集相同。

3.1 數據預處理

將輸入文件整理成維度為用戶*電影的矩陣 ，其中 對應用戶 對電影 的打分

# 導入包

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

# 導入數據

user = pd.read_csv("users.txt", names = ['userid'])

netflix_train = pd.read_csv("netflix_train.txt", sep = ' ', names = ['user_id', 'film_id', 'rating', 'date'])

netflix_test = pd.read_csv("netflix_test.txt", sep = ' ', names = ['user_id', 'film_id', 'rating', 'date'])

# 給用戶從零開始進行編號

user['id'] = range(len(user))

netflix_train = netflix_train.merge(user, left_on='user_id', right_on='userid')

netflix_test = netflix_test.merge(user, left_on='user_id', right_on='userid')

# 通過數據透視函數構建用戶*電影矩陣

X_train = netflix_train.pivot(index='id', columns='film_id', values='rating')

X_test = netflix_test.pivot(index='id', columns='film_id', values='rating')

# 測試集缺失部分電影，補齊為10000*10000矩陣

for i in range(1, 10001):

if i not in X_test.columns:

X_test[i] = np.nan

X_test = X_test.sort_index(axis=1)

# 查看輸出的用戶*電影矩陣

print(X_train.head())

print(X_test.head())

3.2 基于用戶-用戶協同過濾算法的實現

cosine相似度公式：

評分計算：

注意，此處對于未知值的計算，選擇與該用戶最相近的k個對此項目已評分的用戶進行加權平均

(1)首先用argsort()函數求出與用戶i最相似的用戶，按照相似度倒序排列成列表indexs

(2)其次按照列表indexs進行遍歷，找出看過此電影的相似度排名前三的用戶并計算對電影評分的加權平均值作為該用戶的評分

考慮到一些局部效應的存在，這里對原始算法進行了一些改進，如下圖所示

# Collaborate Filtering

# Compute the overall mean and mean by row and column

mu = np.mean(np.mean(X_train))

bx = np.array(np.mean(X_train, axis=1) - mu)

by = np.array(np.mean(X_train, axis=0) - mu)

# Compute the similarity matrix

X = X_train.sub(bx+mu, axis=0) # Demean

X = X.div(np.sqrt(np.sum(np.square(X), axis=1)), axis=0)

X.fillna(0, inplace=True)

similarity_matrix = np.dot(X, X.T)

# Compute the point matrix using CF

X_train = np.array(X_train.fillna(0))

for i in range(X_train.shape[0]):

indexs = np.argsort(similarity_matrix[i, :])[::-1]

for j in range(X_train.shape[1]):

if X_train[i, j] == 0:

sum = 0

num = 0

simi = 0

k = 0

while num < 3 & k < X_train.shape[1]: # top 3

if X_train[indexs[k], j] > 0:

sum = sum + similarity_matrix[i, indexs[k]] * (X_train[indexs[k], j] - mu - bx[indexs[k]] - by[j])

simi = simi + similarity_matrix[i, indexs[k]]

k = k+1

num = num + 1

else:

k = k+1

if simi != 0:

X_train[i, j] = mu + bx[i] + by[j] + sum/simi

else:

X_train[i, j] = mu + bx[i] + by[j]

else:

continue

# Compute RMSE for the algorithm

RMSE = np.sqrt(np.sum(np.sum(np.square(X_train - X_test)))/netflix_test.shape[0])

print(RMSE)

最終計算得到的RMSE為1.013，基線誤差(預測得分全部取3的情況)為

，RMSE降低了28.3%

3.3 基于矩陣分解的算法

矩陣分解：

目標函數：

通過梯度下降算法迭代更新目標函數，獲取最優分解矩陣U和V

# Matrix Decomposition

A = X_train > 0

X_train = np.array(X_train.fillna(0))

U = np.random.randn(10000, 100)*0.1

V = np.random.randn(10000, 100)*0.1

alpha = 0.0001

lamda = 1

# Gradient Descent

J = np.zeros((1000))

RMSE = np.zeros((1000))

for i in range(200):

dU = np.dot(np.multiply(A, (np.dot(U, V.T) - X_train)), V) + 2 * lamda * U

dV = np.dot(np.multiply(A, (np.dot(U, V.T) - X_train)), U) + 2 * lamda * V

old_U = U

old_V = V

U = U - alpha/(1+0.1*i) * dU # Learning rate decay

V = V - alpha/(1+0.1*i) * dV

J[i, 0] = 1/2*np.sum(np.sum(np.square(np.multiply(A, (X_train - np.dot(U, V.T)))))) + lamda * np.sum(np.sum(np.square(U)))\

+ lamda * np.sum(np.sum(np.square(V)))

RMSE[i, 0] = np.sqrt(np.sum(np.sum(np.square(np.dot(U, V.T) - X_test)))/netflix_test.shape[0])

print(i)

# Visualization

X = np.dot(U, V.T)

plt.plot(range(1000), RMSE[:, 0])

plt.show()

plt.plot(range(1000), J[:, 0])

plt.show()

print(RMSE[999])

如下圖所示為按照上述參數迭代1000次后的結果，隨著迭代次數的增多，RMSE顯著下降，最后RMSE為1.123，相比于基線誤差降低了20.6%

矩陣分解的算法收斂效果與模型中的正則項系數

與矩陣維度k是有關，可以嘗試不同的參數組合，通過RMSE與目標函數值來確定最優參數組合，目標函數值隨著迭代次數的變化如下圖所示，嘗試的參數組合分別為

=1, 0.1 以及 矩陣維數k=100, 50, 10 共2*3=6種，每種參數組合迭代200次，迭代結果如下圖所示，可以選擇收斂最快的參數組合進行訓練

4.總結

從上文我們可以看出推薦系統的核心問題是確定用戶-內容矩陣(Utility Matrix)

(1)收集已知矩陣信息

通過讓用戶打分或者收集用戶的行為數據

(2)從已知矩陣推測未知矩陣信息

通過基于內容的方法、協同過濾方法或者矩陣分解方法推測未知矩陣信息

(3)評價推測方法

常用的標準是RMSE均方根誤差

本文的所有代碼以及數據集見下面Github鏈接，大家可以自行下載取用

總結

以上是生活随笔為你收集整理的python写电影推荐系统_Netflix电影推荐系统Python实现(协同过滤+矩阵分解)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。