因子分解机
因子分解機(jī)
Factorization Machines
因子分解機(jī)（FM）[Rendle，2010]由Steffen Rendle于2010年提出，是一種可用于分類、回歸和排序任務(wù)的監(jiān)督算法。它很快就引起了人們的注意，并成為一種流行而有影響力的預(yù)測和推薦方法。特別地，它是線性回歸模型和矩陣分解模型的推廣。此外，它讓人想起具有多項(xiàng)式核的支持向量機(jī)。與線性回歸和矩陣分解相比，因式分解機(jī)的優(yōu)勢在于：（1）它可以建模X-變量交互作用，其中X是多項(xiàng)式階數(shù)，通常設(shè)為2。（2） 與因子分解機(jī)相結(jié)合的快速優(yōu)化算法可以將多項(xiàng)式的計(jì)算時(shí)間減少到線性復(fù)雜度，特別是對于高維稀疏輸入，它是非常有效的。基于這些原因，因子分解機(jī)被廣泛應(yīng)用于現(xiàn)代廣告和產(chǎn)品推薦中。技術(shù)細(xì)節(jié)和實(shí)現(xiàn)如下所述。
-
2-Way Factorization Machines
一些特性交互很容易理解，因此可以由專家設(shè)計(jì)。然而，大多數(shù)其他特性交互都隱藏在數(shù)據(jù)中，難以識(shí)別。因此，特征交互的自動(dòng)建模可以大大減少特征工程的工作量。很明顯，前兩項(xiàng)對應(yīng)于線性回歸模型，最后一項(xiàng)是矩陣分解模型的擴(kuò)展。如果功能i表示項(xiàng)和功能，j表示一個(gè)用戶，第三項(xiàng)正好是用戶和項(xiàng)嵌入之間的點(diǎn)積。值得注意的是，FM也可以推廣到更高階（度>2）。然而，數(shù)值穩(wěn)定性可能會(huì)削弱推廣。 -
An Efficient Optimization Criterion
用直接的方法優(yōu)化因子分解機(jī)會(huì)導(dǎo)致O(kd2)，因?yàn)樗谐蓪Φ南嗷プ饔枚夹枰?jì)算。為了解決這一效率低下的問題，我們可以對FM的第三項(xiàng)進(jìn)行重組，這樣可以大大降低計(jì)算成本，從而導(dǎo)致線性時(shí)間復(fù)雜度(O(kd)O(kd))。兩兩相互作用項(xiàng)的重新表述如下：
通過這種重構(gòu)，大大降低了模型的復(fù)雜度。此外，對于稀疏特征，只需要計(jì)算非零元素，這樣整體復(fù)雜度就與非零特征的數(shù)量成線性關(guān)系。
為了學(xué)習(xí)FM模型，我們可以將MSE損失用于回歸任務(wù)，交叉熵?fù)p失用于分類任務(wù)，BPR損失用于排名任務(wù)。標(biāo)準(zhǔn)優(yōu)化器（如SGD和Adam）可用于優(yōu)化。
from d2l import mxnet as d2l
from mxnet import init, gluon, np, npx
from mxnet.gluon import nn
import os
import sys
npx.set_np()
- Model Implementation
下面的代碼實(shí)現(xiàn)了因子分解機(jī)。很明顯，FM由一個(gè)線性回歸塊和一個(gè)有效的特征交互塊組成。由于我們將CTR預(yù)測視為一個(gè)分類任務(wù)，因此我們對最終得分應(yīng)用了一個(gè)S形函數(shù)。
class FM(nn.Block):
def __init__(self, field_dims, num_factors):super(FM, self).__init__()num_inputs = int(sum(field_dims))self.embedding = nn.Embedding(num_inputs, num_factors)self.fc = nn.Embedding(num_inputs, 1)self.linear_layer = nn.Dense(1, use_bias=True)def forward(self, x):square_of_sum = np.sum(self.embedding(x), axis=1) ** 2sum_of_square = np.sum(self.embedding(x) ** 2, axis=1)x = self.linear_layer(self.fc(x).sum(1)) \+ 0.5 * (square_of_sum - sum_of_square).sum(1, keepdims=True)x = npx.sigmoid(x)return x
- Load the Advertising Dataset
我們使用最后一節(jié)中的CTR數(shù)據(jù)包裝器來加載在線廣告數(shù)據(jù)集。
batch_size = 2048
data_dir = d2l.download_extract(‘ctr’)
train_data = d2l.CTRDataset(os.path.join(data_dir, ‘train.csv’))
test_data = d2l.CTRDataset(os.path.join(data_dir, ‘test.csv’),
feat_mapper=train_data.feat_mapper,defaults=train_data.defaults)
num_workers = 0 if sys.platform.startswith(‘win’) else 4
train_iter = gluon.data.DataLoader(
train_data, shuffle=True, last_batch='rollover', batch_size=batch_size,num_workers=num_workers)
test_iter = gluon.data.DataLoader(
test_data, shuffle=False, last_batch='rollover', batch_size=batch_size,
num_workers=num_workers)
- Train the Model
然后，我們訓(xùn)練模型。默認(rèn)情況下，學(xué)習(xí)率設(shè)置為0.01，嵌入大小設(shè)置為20。Adam優(yōu)化器和SigmoidBinaryCrossEntropyLoss loss用于模型訓(xùn)練。
ctx = d2l.try_all_gpus()
net = FM(train_data.field_dims, num_factors=20)
net.initialize(init.Xavier(), ctx=ctx)
lr, num_epochs, optimizer = 0.02, 30, ‘a(chǎn)dam’
trainer = gluon.Trainer(net.collect_params(), optimizer,
{'learning_rate': lr})
loss = gluon.loss.SigmoidBinaryCrossEntropyLoss()
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, ctx)
loss 0.505, train acc 0.761, test acc 0.759
151228.5 examples/sec on [gpu(0), gpu(1)]
6. Summary
· FM is a general framework that can be applied on a variety of tasks such as regression, classification, and ranking.
· Feature interaction/crossing is important for prediction tasks and the 2-way interaction can be efficiently modeled with FM.
總結(jié)
