一、前言

（1）代碼參考了阿里巴巴淺夢大神的實現(xiàn)，非常牛逼的一位大佬，非常值得大家學(xué)習(xí)；

（2）微博提出的fibinet點擊預(yù)估模型，論文地址為：https://arxiv.org/pdf/1905.09433.pdf；

二、算法原理

（1）整體框架如圖所示：

（2）SENET Layer部分的主要作用是學(xué)習(xí)不同特征的一個重要程度，對重要特征加權(quán)，對蘊(yùn)含信息量不多的特征進(jìn)行削弱；參考淺夢大神的文章https://www.zhihu.com/people/shenweichen/posts；

（3）SENET的主要處理流程：E為特征的embedding表示；

通過平均池化表示為Z，來獲取特征的全局信息；

然后對Z進(jìn)行加權(quán)學(xué)習(xí)得到需要的重要性權(quán)重表示；

（4）Bilinear_Interaction部分：左邊上半部分為內(nèi)積，下半部分為哈達(dá)瑪積；原論文提出了一種添加一個參數(shù)w矩陣來學(xué)習(xí)交叉特征提高效果，公式如下：

幾種實現(xiàn)方式的直觀圖像表示：

（5）最后將bi部分的p和senet部分的q進(jìn)行拼接，然后輸入給全連接層DNN部分和sigmoid部分得到點擊的概率值；

（6）損失函數(shù)部分的設(shè)計如下公式所示：

三、實驗效果

四、代碼實現(xiàn)

from tensorflow.python.keras.layers import Layer from tensorflow.python.keras.initializers import glorot_normal import itertools import tensorflow as tfclass senet(Layer):def __init__(self, reduction_ratio=3, seed=1024, **kwargs):self.reduction_ratio = reduction_ratioself.seed = seedsuper(senet, self).__init__(**kwargs)def build(self, input_shape, **kwargs):self.filed_size = len(input_shape)self.embedding_size = input_shape[0][-1]reduction_size = max(1, self.filed_size // self.reduction_ratio)self.w1 = self.add_weight(name='w1', shape=(self.field_size, reduction_size), initializer=glorot_normal(self.seed))self.w2 = self.add_weight(name='w2', shape=(reduction_size, self.field_size), initializer=glorot_normal(self.seed))self.tensordot = tf.keras.layers.Lambda(lambda x : tf.tensordot(x[0], x[1], axes=(-1, 0)))super(senet, self).build(input_shape)def call(self, inputs):Z = tf.keras.layers.concatenate(inputs, axis=1)#(batch, field_size, embed_size)Z = tf.reduce_mean(Z, axis=-1)#(batch, field_size)A_1 = tf.nn.relu(self.tensordot([Z, self.w1]))#(batch, reduction_size)A_2 = tf.nn.relu(self.tensordot([A_1, self.w2]))#(batch, field_size)V = tf.multiply(inputs, tf.expand_dims(A_2, axis=2))#(batch, field_size, embed_size)return tf.split(V, self.filed_size, axis=1)class bilinear_interaction(Layer):def __init__(self, seed=1024, **kwargs):self.seed = seedsuper(bilinear_interaction, self).__init__(**kwargs)def buid(self, input_shape):emdedding_size = input_shape[0][-1]self.w = [self.add_weight(shape=(emdedding_size, emdedding_size), initializer=glorot_normal(self.seed), name='w' + str(i) + str(j)) for i, j in itertools.combinations(range(len(input_shape)), 2)]def call(self, inputs):p = [tf.multiply(tf.tensordot(v[0], w, axes=(-1, 0)), v[1]) for v, w in zip(itertools.combinations(inputs, 2), self.w)]return tf.keras.layers.concatenate(p, axis=-1)

?

總結(jié)

以上是生活随笔為你收集整理的推荐系统系列：新浪搜索团队FiBiNET理论和代码实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。