[[邏輯回歸模型]]

邏輯回歸是在[[線性回歸]]的基礎上添加了一個Sigmoid函數（非線形）映射，從而可以使邏輯回歸成為一個優秀的分類算法
邏輯回歸假設數據服從[[伯努利分布]]，通過[[極大化似然函數]]的方法，運用[[梯度下降]]來求解參數，來達到將數據二分類的目的。
相比于[[協同過濾]]和[[矩陣分解]]利用用戶的物品“相似度”進行推薦，LR將問題看成一個分類問題，通過預測正樣本的概率對物品進行排序，因此邏輯回歸模型將推薦問題轉化成了一個點擊率預估問題。

邏輯回歸做推薦的步驟

將用戶年齡、性別、物品屬性、物品描述、當前時間、當前地點等特征轉成數值向量

確定邏輯回歸的優化目標，比如把點擊率預測轉換成二分類問題，這樣就可以得到分類問題常用的損失作為目標，訓練模型

在預測的時候，將特征向量輸入模型產生預測，得到用戶“點擊”物品的概率

利用點擊概率對候選物品排序，得到推薦列表

對于LR模型而言，主要關鍵為求出每個特征的權重參數$w$，一般是使用梯度下降的方式

優點：

LR模型形式簡單，可解釋性好，從特征的權重可以看到不同的特征可以看到不同的特征對最后結果的影響

訓練時便于并行化，在預測時只需要對特征進行線性加權，所以性能比較好，適合處理海量id類特征，且使用id類特征有一個很重要的好處，即防止信息損失（相對于范化的CTR特征），對于頭部資源會有更細致的描述

資源占用少尤其內存，在實際的工程應用中只需要存儲權重比較大的特征及特征對應的權重

方便對輸出結果調整。LR可以方便的得到最后的分類結果，因為輸出的是每個樣本的概率分數，我們可以很容易的對這個概率分數進行閾值的劃分。

缺點：

無法進行特征交叉得到更多信息

準確率并不是很高

處理非線性數據比較麻煩，LR在不引入其他方法的情況下，只能處理線性可分的數據，如果想處理非線性，首先需要對連續特征的處理進行離散化

LR需要進行人工特征組合

所以如何自動發現有效的特征、特征組合，彌補人工經驗不足，縮短LR特征實驗周期，可以交由[[GBDT]]來做，它可以自動發現特征并進行有效組合

[[GBDT]]模型

GBDT名為梯度提升樹，是傳統機器學習中對真實分布擬合最好的幾種算法之一
GBDT通過采用加法模型（即基函數的線性組合），以及不斷減小訓練過程產生的誤差來達到將數據分類或者回歸的算法。
GBDT每輪產生一個弱分類器，每個分類器在上一輪分類器的殘差基礎上進行訓練。GBDT對弱分類器的要求只要求足夠簡單，并且地方低方差高偏差（欠擬合）。由此，每個分類回歸樹的深度不會很深，最終的總分類器是將每輪訓練得到的弱分類器加權求和得到。
GBDT來解決二分類和回歸問題的本質一樣，都是通過不斷構建[[決策樹]]，使預測結果一步步接近目標值。
GBDT在回歸問題上一般使用平方損失，而在二分類問題中，GBDT和邏輯回歸一樣，使用交叉熵

構建分類GBDT的過程：

初始化GBDT
分類GBDT的初始狀態只有一個葉子節點，該節點為所有樣本的初始預測值：$$F_0(x)=arg\underset{\gamma }{\min }\sum _{i=1}^{n}L(y,\gamma )$$
其中，$F$代表GBDT模型，$F_0$是模型的初識狀態，該式子的意思是找一個$\gamma$，使所有的樣本的$Loss$最小，而$\gamma$表示節點的輸出，即葉子節點，是一個$log({\eta }_i)$形式的回歸值，在初始狀態,$\gamma =F_0$

具體例子可以參考學習資料中例子P59

GBDT的優缺點：
對于GBDT而言，生成樹的過程實際上就是自動進行多維度的特征組合的過程，從根節點到葉子節點上的整個路徑（多個特征值判斷），才能最終決定一棵樹的預測值，另外，對于連續型特征的處理，GBDT可以拆分出一個臨界閾值。
而GBDT對于海量的id類特征，GBDT由于樹的深度和樹的數量限制（防止過擬合），不能有效存儲；另外海量特征也會存在性能瓶頸，當GBDT的one hot特征大于100k維時，需要做分布式訓練才能保證不爆內存，因此，GBDT通常配合少量的反饋CTR特征來表達，在帶來一定范化能力的同時會有信息損失，對于頭部資源無法有效表達。
因此提出GBDT+LR

GBDT+LR

GBDT+LR：先利用GBDT進行特征篩選和組合進而生成新的離散特征向量，再把該特征向量當作LR模型的輸入，來產生的最后的預測結果。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的推荐系统——GBDT+LR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。