一、背景

在推薦系統中，LR由于簡單高效，至今在各大互聯網公司中仍廣泛應用。但是互聯網公司中的數據大都是高維稀疏，比如廣告id，再加上各種人工的特征組合，特征維度很容易達到上億維，使得內存的消耗和訓練的時間都大大增加。并不是所有的稀疏特征對LR的訓練都是有用的，對于pv(出現次數)或click(點擊次數)特別小的特征，對LR訓練并無多大幫助。下面會給出理論證明。

二、稀疏特征過濾

損失函數為：

其中：

對于第

維特征 ，損失函數的梯度為：

其中：

• 當 時，只要 ，則 單調遞增
• 當 時，只要 ，則 單調遞減

因此，當

時， 在 處取得極小值

即滿足下面的約束：

• 其中 表示第 維特征的點擊次數。當 時，左邊的不等式恒成立。
• 由于 ，因此當 時，右邊的式子恒成立，即

綜上，當滿足下面的式子，

在 處取得極小值:

因此滿足上式的特征

，學習出的權重為0，可以直接過濾。

三、總結

當特征

滿足以下條件，學習出的權重為0，可以直接過濾。

總結

以上是生活随笔為你收集整理的过滤特征_LR训练优化-稀疏特征过滤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。