應用場景

推薦系統：分析購買某類商品的潛在因素，判斷該類商品的購買概率。挑選購買過的人群A和未購買的人群B，獲取兩組人群不同的用戶畫像和行為特征數據。建立用戶行為模型、商品推薦模型實現產品的自動推薦。

公式

對于二分類問題，給定訓練集{(x1, y1), …, xn,yn)}，其中xi表示第i個用戶的p維特征，yi∈{0,1}表示第i個用戶是否購買過該商品。

模型滿足二項式分布：
$$P(y_i|x_i)=u(x_i{)}^y(1?u(x_i){)}^{(1?y_i)}$$
$$u(x_i)=\frac{1}{1+(e^{?x_i^T\theta })}$$
其中，θ為模型參數，包含該商品的偏置項。
通過最大似然估計來求解：
$$L=P(y_1,...,y_n|x_1,...,x_n;\theta )=\prod _{i=1}^{n}P(y_i|x_i;\theta )=\prod _{i=1}^{n}u(x_i{)}^{y_i}(1?u(x_i{)}^{1?y_i})$$
進一步可以得到負對數似然函數：
$$L(\theta )=?logP(y_1,...,y_n|x_1,...,x_n;\theta ,b)=?\sum _i^n((y_{i}logu(x_i))+(1?y_i)log(1?u(x_i)))$$
采用隨機梯度下降法來求解數值：
$$\theta =argmi{n}_{\theta }\sum _i^n(y_{i}logu(x_i)+(1?y_i)log(1?u(x_i)))$$
對參數θ求導得到：
$$\frac{?L}{?\theta }=\sum _i^n(g(x_i^T\theta )?y_i)x_i$$
$$g(x)=\frac{1}{1?e^{?x}}$$
進一步可以得到：
$${\theta }^{t+1}={\theta }^t?\rho (g(x_i^T\theta )?y_i)x_i$$
其中，0<ρ<1是步長參數。

代碼實現

損失函數的定義，正則化防止過擬合
$$loss=?\frac{1}{m}[\sum _{i=1}^m(y_{i}log(u_{\theta }(x_i))+(1?y_i)log(1?u_{\theta }(x_i)))]+\lambda \frac{1}{2m}\sum _{j=1}^n{\theta }_j^2$$

import random import numpy as np class LogisticRegression(object) :def __init__(self, x, y, lr=0.0005, lam=0.1):'''x: features of examplesy: label of exampleslr: learning ratelambda: penality on theta'''self.x = xself.y = yself.lr = lrself.lam = lamn = self.x.shapeself.theta = np.array ([0.0] * (n + 1))def _sigmoid (self , x) :z = 1.0/(1.0 + np.exp((-1) * x))return zdef loss_function (self):u = self._sigmoid(np.dot(self.x, self.theta)) # u(xi)c1 = (-1) * self.y * np.log (u)c2 = (1.0 - self.y) * np.log(1.0 - u)# 計算交叉熵 L(θ)求均值loss = np.average(sum(c1 - c2) + 0.5 * self.lam * sum(self.theta[1:] ** 2))return lossdef _gradient(self, iterations) :# m是樣本數, p是特征數m, p = self.x.shapefor i in range(0, iterations):u = self._sigmoid(np.dot(self.x, self.theta))diff = self.theta - self.yfor _ in range(0, p):self.theta[_]= self.theta[_] - self.lr * (1.0 / m) * (sum(diff * self.x [:, _]) + self.lam * m * self.theta[_])cost= self.loss_function()def run(self, iteration):self. _gradient(iteration)def predict(self, x):preds = self._sigmoid(np.dot(x, self.theta))np.putmask (preds, preds >= 0.5, 1.0)np.putmask (preds, preds < 0.5, 0.0)return preds

參考文獻

《推薦系統與深度學習》黃昕等

總結

以上是生活随笔為你收集整理的【机器学习】逻辑回归模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。