文章目錄

• 1.NCF
• • 1.1 問題：基于FM的問題
  • • 問題
    • 動機：神經網絡替代點積
  • 1.2 NCF模型圖
  • 1.3代碼
• 2. Deep Crossing：微軟：ResNet
• 3.Deep&Cross

1.NCF

1.1 問題：基于FM的問題

問題

FM->MF來自于矩陣分解的思想，所以也有矩陣分解的問題

實際上u1和u4更相似，但沒有交互不代表不想似，而latent space隱式空間考慮的是交互。
所謂潛在因素就是雖然用戶與項目間有交互，但不一定用戶就喜歡了，而沒交互也不代表不喜歡，這就對隱形學習帶來了噪音

動機：神經網絡替代點積

直接使用DNN從數據中學習交互函數（以代替MF的內積交互部分），從而突破了由于MF表達時的限制

1.2 NCF模型圖

• GMF:通用矩陣分解，線性部分
  $\widehat{y_{ui}}=a_{out}(h^T(p_u\odot q_i))$
  $p_u$：用戶向量,$q_i$：商品向量？item
  點乘，element-wise

• MLP：非線性部分

• 最終
  $NCF(x)=\widehat{y_{ui}}=\sigma (h^T([p_u\odot q_i,MLP(p_u,q_i)]))$

上述兩者共享Embeding

建議預訓練：通用框架建議使用 GMF 和 MLP 的預訓練模型來初始化NeuMF

初始化很重要：NeuMF的目標函數是非凸的，gradient-based會使得模型陷入局部最優

1.3代碼

x = self.embedding(x) user_x = x[:, self.user_field_idx].squeeze(1) item_x = x[:, self.item_field_idx].squeeze(1) x = self.mlp(x.view(-1, self.embed_output_dim)) gmf = user_x * item_x x = torch.cat([gmf, x], dim=1) x = self.fc(x).squeeze(1)

2. Deep Crossing：微軟：ResNet

3.Deep&Cross

Cross+MLP
Cross:處理交叉特征（和FM功能一致）

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的【搜索/推荐排序】NCF，DeepCross,Deep Crossing的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。