ML之FE：數(shù)據(jù)處理—特征工程之高維組合特征的處理案例(矩陣分解)——基于LoR算法的廣告點(diǎn)擊預(yù)估問(wèn)題

?

?

?

?

?

目錄

特征工程之高維組合特征的處理思路

1、原始數(shù)據(jù)：語(yǔ)?言和類(lèi)型兩種離散特征

2、為了提高擬合能力，語(yǔ)言和類(lèi)型可以組成二階特征

3、以邏輯回歸算法為例例

4、所有的特征，才開(kāi)始看起來(lái)沒(méi)有任何問(wèn)題

問(wèn)題出現(xiàn)

問(wèn)題解決

---

?

?

?

?

特征工程之高維組合特征的處理思路

1、原始數(shù)據(jù)：語(yǔ)?言和類(lèi)型兩種離散特征

2、為了提高擬合能力，語(yǔ)言和類(lèi)型可以組成二階特征

?

3、以邏輯回歸算法為例例

<x_i,x_j>表示x_i和x_j的組合特征，w_ij的維度等于 |x_i|*|x_j| = 2*2 = 4

?

4、所有的特征，才開(kāi)始看起來(lái)沒(méi)有任何問(wèn)題

但當(dāng)引入ID類(lèi)型的特征時(shí)，就會(huì)出現(xiàn)大規(guī)模數(shù)據(jù)。

(1)、?用戶(hù)ID和物品ID對(duì)點(diǎn)擊的影響

(2)、用戶(hù)ID和物品ID的組合特征對(duì)點(diǎn)擊的影響

?

問(wèn)題出現(xiàn)

若用戶(hù)的數(shù)量=m，物品的數(shù)量為n，那么學(xué)習(xí)的參數(shù)的規(guī)模mxn。但是可是，在互聯(lián)?網(wǎng)環(huán)境下，數(shù)量
都可以達(dá)到千萬(wàn)量級(jí)，幾乎無(wú)法學(xué)習(xí)這么大規(guī)模的參數(shù)。

問(wèn)題解決

有效的方法就是將用戶(hù)和物品分別用k維的低維向量表示（k<<m, k<<n），其中$x_i^’$ 和 $x_j^’$分別表示
x_i和x_j對(duì)應(yīng)的低維向量。

? ?需要學(xué)習(xí)的參數(shù)的規(guī)模變成m*k+n*k （實(shí)質(zhì)上就是等價(jià)于矩陣分解）。

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的ML之FE：数据处理—特征工程之高维组合特征的处理案例(矩阵分解)——基于LoR算法的广告点击预估问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。