長(zhǎng)尾物品（Tail Items）在推薦系統(tǒng)中是非常常見(jiàn)的，長(zhǎng)尾的存在導(dǎo)致了樣本的不均衡，對(duì)于熱門(mén)頭部物品（Head Items）的樣本量多，模型學(xué)習(xí)這部分的效果越好，而長(zhǎng)尾物品的樣本量少，導(dǎo)致模型對(duì)該部分Item的理解不夠充分，效果自然也就較差。

那么，針對(duì)長(zhǎng)尾物品的推薦，有哪些較好的解決方法呢？本文從幾個(gè)角度來(lái)聊一下這個(gè)問(wèn)題。長(zhǎng)尾問(wèn)題，可以看成是推薦系統(tǒng)傾向于推薦熱門(mén)商品，而忽略了非熱門(mén)物品，即推薦系統(tǒng)如何解決糾偏問(wèn)題？

在實(shí)踐中，做推薦系統(tǒng)的很多朋友思考的問(wèn)題是如何對(duì)數(shù)據(jù)進(jìn)行挖掘？大多數(shù)論文致力于開(kāi)發(fā)機(jī)器學(xué)習(xí)模型來(lái)更好地?cái)M合用戶(hù)行為數(shù)據(jù)。然而，用戶(hù)行為數(shù)據(jù)是觀察性的，而不是實(shí)驗(yàn)性的。這里面帶來(lái)了非常多的偏差,典型的有：選擇偏差、位置偏差、曝光偏差和流行度偏差等。如果不考慮固有的偏差，盲目地對(duì)數(shù)據(jù)進(jìn)行擬合，會(huì)導(dǎo)致很多嚴(yán)重的問(wèn)題，如線(xiàn)下評(píng)價(jià)與在線(xiàn)指標(biāo)的不一致，損害用戶(hù)對(duì)推薦服務(wù)的滿(mǎn)意度和信任度等。下面我們聊一下與長(zhǎng)尾問(wèn)題相關(guān)的兩個(gè)偏差。

曝光偏差的發(fā)生是因?yàn)橛脩?hù)只接觸到特定項(xiàng)目的一部分，因此未觀察到的交互并不總是代表消極偏好。特殊地，用戶(hù)和商品之間未被觀察到的交互可以歸因于兩大原因：

1）商品與用戶(hù)興趣不匹配；

2）用戶(hù)不知道該商品。

因此，在解釋未觀察到的相互作用時(shí)會(huì)產(chǎn)生歧義。無(wú)法區(qū)分真正的消極互動(dòng)（如暴露但不感興趣）和潛在的積極互動(dòng)（如未暴露）將導(dǎo)致嚴(yán)重的Bias。

解決方法：

目前處理該問(wèn)題的策略主要還是使用inverse propersity score。為了解決這個(gè)問(wèn)題，類(lèi)似于外顯反饋數(shù)據(jù)中的選擇偏差處理，Yang等人建議用隱式反饋數(shù)據(jù)傾向的倒數(shù)來(lái)加權(quán)每個(gè)觀測(cè)值。intuition是把經(jīng)常觀察到的交互降權(quán)，而對(duì)少的樣本進(jìn)行升權(quán)。

為了解決曝光偏差的問(wèn)題，傳統(tǒng)的策略就是將所有被觀測(cè)的交互作為負(fù)例并且明確它們的交互。confidence weight可以被分為三類(lèi)：

1.Heuristic：典型的例子是加權(quán)的矩陣分解以及動(dòng)態(tài)MF，未觀測(cè)到的交互被賦予較低的權(quán)重。還有很多工作則基于用戶(hù)的活躍度指定置信度等，但是賦予準(zhǔn)確的置信權(quán)重是非常有挑戰(zhàn)的，所以這塊依然處理的不是非常好。

2.Sampling：另一種解決曝光bias的方式就是采樣，經(jīng)常采用的采樣策略有均勻的負(fù)采樣,對(duì)于流行的負(fù)樣本過(guò)采樣，但是這些策略卻較難捕捉到真實(shí)的負(fù)樣本。

3.Exposure-based model：另外一個(gè)策略是開(kāi)發(fā)基于曝光的模型，這樣可以知道一個(gè)商品被曝光到某個(gè)用戶(hù)的可能性等。

熱門(mén)商品的推薦頻率甚至超過(guò)了它們的受歡迎程度。長(zhǎng)尾現(xiàn)象在推薦數(shù)據(jù)中很常見(jiàn)：在大多數(shù)情況下，一小部分受歡迎的商品占了大多數(shù)用戶(hù)交互的比例。當(dāng)對(duì)這些長(zhǎng)尾數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，該模型通常會(huì)給熱門(mén)項(xiàng)目的評(píng)分高于其理想值，而只是簡(jiǎn)單地將不受歡迎的商品預(yù)測(cè)為負(fù)值。因此，推薦熱門(mén)商品的頻率甚至比數(shù)據(jù)集中顯示的原始受歡迎程度還要高。

忽略流行度經(jīng)常會(huì)帶來(lái)非常多的問(wèn)題：

(1) 降低個(gè)性化的程度影響，影響用戶(hù)的體驗(yàn);

(2) 降低了推薦系統(tǒng)的公平性, 流行的商品卻不一定是高質(zhì)量的, 對(duì)流行商品的推薦會(huì)降低其它商品的曝光,這是不公平的；

(3) Popular Bias會(huì)增加流行商品的曝光率, 使得流行的商品越加流行，使模型訓(xùn)練更加不平衡；

另外一個(gè)不平衡的問(wèn)題的原因是由于推薦結(jié)果的不公平帶來(lái)的。基于諸如種族、性別、年齡、教育程度或財(cái)富等屬性，不同的用戶(hù)群體通常在數(shù)據(jù)中不平等地表示。在對(duì)這些不平衡數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，模型很可能學(xué)習(xí)這些表示性過(guò)高的群體，在排名結(jié)果中對(duì)其進(jìn)行強(qiáng)化，并可能導(dǎo)致系統(tǒng)性歧視，降低弱勢(shì)群體的可見(jiàn)度（例如，代表少數(shù)群體不足、種族或性別陳規(guī)定型觀念）。

解決方法：

解決流行度偏差的方案有四類(lèi)：

1.正則

合適的正則可以將模型推向平衡的推薦列表。

CTR預(yù)估場(chǎng)景下，構(gòu)造的模型越復(fù)雜參數(shù)越多，越容易過(guò)擬合。實(shí)際場(chǎng)景中，存在著大量的長(zhǎng)尾數(shù)據(jù)，這些數(shù)據(jù)的存在一方面在訓(xùn)練過(guò)程中增加了復(fù)雜度，另一方面在結(jié)果上產(chǎn)生了過(guò)擬合。直接去掉這些長(zhǎng)尾數(shù)據(jù)是一種簡(jiǎn)單的處理方式，但也丟掉了很多信息。因此，DIN文章中給出了自適應(yīng)正則化調(diào)整的方式（Adaptive正則化方法），對(duì)高頻減小正則，對(duì)低頻增大正則。

2. 對(duì)抗訓(xùn)練

基本思路在推薦G以及引入的adversary D進(jìn)行min-max博弈，這樣D可以給出提升推薦錫惠的信號(hào)。通過(guò)G和D之間的對(duì)抗學(xué)習(xí)，D學(xué)習(xí)流行項(xiàng)和利基項(xiàng)之間的隱式關(guān)聯(lián)，G學(xué)習(xí)捕捉更多與用戶(hù)歷史相關(guān)的niche商品，從而為用戶(hù)推薦更多長(zhǎng)尾商品。

3. Causal graph

因果圖是反事實(shí)推理的有力工具。Zheng等人利用因果推理解決流行偏差。他們假設(shè)用戶(hù)對(duì)商品的點(diǎn)擊行為取決于興趣和流行程度，并構(gòu)建了一個(gè)特定的因果圖。為了解決用戶(hù)興趣和流行偏差的問(wèn)題，作者考慮了兩種嵌入方法：興趣嵌入以捕獲用戶(hù)對(duì)商品的真實(shí)興趣，以及流行度嵌入來(lái)捕獲由流行度引起的偽興趣。在多任務(wù)學(xué)習(xí)的框架下，可以利用特定原因的數(shù)據(jù)對(duì)這些嵌入進(jìn)行訓(xùn)練。最后，興趣嵌入將被用于最終推薦，在這里，受歡迎度偏差已經(jīng)被消除。

4. 其它方法

通過(guò)引入其它side information來(lái)降低流行度的偏差, propensity score也可以被用來(lái)做popularity的bias。通過(guò)降低流行項(xiàng)對(duì)模型訓(xùn)練的影響，可以減輕流行偏差。

由于大多數(shù)現(xiàn)有推薦系統(tǒng)中的的長(zhǎng)尾模型只關(guān)注尾部，而沒(méi)有考慮與頭部們的聯(lián)系—頭部包含豐富的用戶(hù)反饋信息和與尾部相關(guān)的可轉(zhuǎn)移上下文信息。為了改進(jìn)長(zhǎng)尾問(wèn)題，谷歌進(jìn)行了將知識(shí)從頭部轉(zhuǎn)移到尾部的研究，提出了一個(gè)新的對(duì)偶遷移學(xué)習(xí)框架，它可以從模型層和物品層協(xié)同學(xué)習(xí)知識(shí)遷移，利用了頭部中豐富的用戶(hù)反饋以及頭尾部之間的語(yǔ)義聯(lián)系。

（1）橙色部分學(xué)習(xí)通用的元遷移器；

（2）綠色部分學(xué)習(xí)Item之間的語(yǔ)義關(guān)系；

模型探究使用少量訓(xùn)練樣本學(xué)習(xí)的模型與相同物品使用足夠訓(xùn)練樣本學(xué)習(xí)的模型之間的聯(lián)系。

Base-Learner: 通過(guò)雙塔模型得到的user embedding和item embedding，然后使用內(nèi)積的方式得出預(yù)測(cè)的Score。

Meta-Learner：通過(guò)基學(xué)習(xí)器得到few-shot模型和many-shot模型之后，利用元學(xué)習(xí)器映射兩個(gè)模型的參數(shù)，從而捕捉元級(jí)知識(shí)。

在KDD Cup2020中，美團(tuán)技術(shù)團(tuán)隊(duì)給出了基于時(shí)間加權(quán)和圖的解決方案，大概思路如下：

針對(duì)選擇性偏差和流行度偏差兩方面挑戰(zhàn)，學(xué)習(xí)用戶(hù)的每個(gè)歷史點(diǎn)擊商品和候選商品的關(guān)系，可以理解為u2i2i的建模。這種建模方法更有助于學(xué)習(xí)多種i2i關(guān)系，并且可以容易地將i2i圖中的一跳關(guān)系拓展到多跳關(guān)系，多種i2i關(guān)系可以探索更多無(wú)偏數(shù)據(jù)來(lái)增大商品候選集和訓(xùn)練集，達(dá)到了緩解選擇性偏差的目的。

同時(shí)，考慮到流行商品引起的流行度偏差，我們?cè)跇?gòu)圖過(guò)程中對(duì)邊權(quán)引入流行度懲罰，使得多跳游走時(shí)更有機(jī)會(huì)探索到低流行度的商品，同時(shí)在建模過(guò)程以及后處理過(guò)程中我們也引入了流行度懲罰，緩解了流行度偏差。

點(diǎn)擊共現(xiàn)邊通過(guò)用戶(hù)的歷史商品點(diǎn)擊序列所構(gòu)建，邊的權(quán)重通過(guò)以下的公式得到，其在兩個(gè)商品間的用戶(hù)歷史點(diǎn)擊共現(xiàn)頻數(shù)的基礎(chǔ)上，考慮了每次點(diǎn)擊共現(xiàn)的時(shí)間間隔因子，并加入了用戶(hù)活躍度懲罰以及商品流行度懲罰。

時(shí)間間隔因子考慮到了兩個(gè)商品間的共現(xiàn)時(shí)間越短則這兩個(gè)商品有更大的相似度；用戶(hù)活躍度懲罰考慮了活躍用戶(hù)與不活躍用戶(hù)的公平性，通過(guò)用戶(hù)歷史商品點(diǎn)擊次數(shù)來(lái)懲罰活躍用戶(hù)；商品流行度懲罰考慮了商品的歷史點(diǎn)擊頻數(shù)，對(duì)流行商品進(jìn)行懲罰，緩解了流行度偏差。

推薦系統(tǒng)中的長(zhǎng)尾物品（Tail Items）推薦問(wèn)題

總結(jié)

以上是生活随笔為你收集整理的推荐系统中的长尾物品（Tail Items）推荐问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。