ML之FE：數(shù)據(jù)處理—特征工程之高維組合特征的處理案例(矩陣分解)——基于LoR算法的廣告點擊預估問題

?

?

?

?

?

目錄

特征工程之高維組合特征的處理思路

1、原始數(shù)據(jù)：語?言和類型兩種離散特征

2、為了提高擬合能力，語言和類型可以組成二階特征

3、以邏輯回歸算法為例例

4、所有的特征，才開始看起來沒有任何問題

問題出現(xiàn)

問題解決

---

?

?

?

?

特征工程之高維組合特征的處理思路

1、原始數(shù)據(jù)：語?言和類型兩種離散特征

2、為了提高擬合能力，語言和類型可以組成二階特征

?

3、以邏輯回歸算法為例例

<x_i,x_j>表示x_i和x_j的組合特征，w_ij的維度等于 |x_i|*|x_j| = 2*2 = 4

?

4、所有的特征，才開始看起來沒有任何問題

但當引入ID類型的特征時，就會出現(xiàn)大規(guī)模數(shù)據(jù)。

(1)、?用戶ID和物品ID對點擊的影響

(2)、用戶ID和物品ID的組合特征對點擊的影響

?

問題出現(xiàn)

若用戶的數(shù)量=m，物品的數(shù)量為n，那么學習的參數(shù)的規(guī)模mxn。但是可是，在互聯(lián)?網(wǎng)環(huán)境下，數(shù)量
都可以達到千萬量級，幾乎無法學習這么大規(guī)模的參數(shù)。

問題解決

有效的方法就是將用戶和物品分別用k維的低維向量表示（k<<m, k<<n），其中$x_i^’$ 和 $x_j^’$分別表示
x_i和x_j對應的低維向量。

? ?需要學習的參數(shù)的規(guī)模變成m*k+n*k （實質(zhì)上就是等價于矩陣分解）。

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的ML之FE：数据处理—特征工程之高维组合特征的处理案例(矩阵分解)——基于LoR算法的广告点击预估问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。