階段性整理知識(shí)筆記是煉丹筆記的習(xí)慣，在這里我們溫故而知新，根據(jù)文章在全網(wǎng)的閱讀情況整理了2021年度，最受歡迎的10篇文章，錯(cuò)過(guò)的朋友可以補(bǔ)一下哦。

推薦系統(tǒng)內(nèi)容實(shí)在太豐富了，以至于剛開(kāi)始學(xué)的人都無(wú)從下手，當(dāng)年無(wú)意中翻到谷歌這篇教程，然后就開(kāi)啟了入"坑"推薦系統(tǒng)的神奇旅程，極力推薦給大家，大家也可以推薦給想學(xué)推薦系統(tǒng)的童鞋們。

傳送門(mén)：入坑推薦系統(tǒng)，從Google這篇開(kāi)始

從文章的內(nèi)容來(lái)看，Normalization對(duì)于模型的幫助是非常大的。對(duì)Embedding之后的特征進(jìn)行Normalization(數(shù)值Embedding處用LayerNorm相關(guān)的Normalization，Categorical部分使用BatchNorm相關(guān)的處理，MLP部分使用VO-LN)可以取得非常大的提升，非常值得一試。

傳送門(mén)：Normalization在CTR問(wèn)題中的迷之效果

長(zhǎng)尾物品（Tail Items）在推薦系統(tǒng)中是非常常見(jiàn)的，長(zhǎng)尾的存在導(dǎo)致了樣本的不均衡，對(duì)于熱門(mén)頭部物品（Head Items）的樣本量多，模型學(xué)習(xí)這部分的效果越好，而長(zhǎng)尾物品的樣本量少，導(dǎo)致模型對(duì)該部分Item的理解不夠充分，效果自然也就較差。

那么，針對(duì)長(zhǎng)尾物品的推薦，有哪些較好的解決方法呢？本文從幾個(gè)角度來(lái)聊一下這個(gè)問(wèn)題。長(zhǎng)尾問(wèn)題，可以看成是推薦系統(tǒng)傾向于推薦熱門(mén)商品，而忽略了非熱門(mén)物品，即推薦系統(tǒng)如何解決糾偏問(wèn)題？

傳送門(mén)：推薦系統(tǒng)中的長(zhǎng)尾物品（Tail Items）推薦問(wèn)題

隨著深度學(xué)習(xí)的快速發(fā)展，目前已經(jīng)出現(xiàn)了海量的不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，本文介紹11種煉丹師都需要知道一點(diǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

傳送門(mén)：煉丹俠必知的11大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)?匯總

大家在做模型的時(shí)候，往往關(guān)注一個(gè)特定指標(biāo)的優(yōu)化，如做點(diǎn)擊率模型，就優(yōu)化AUC，做二分類(lèi)模型，就優(yōu)化f-score。然而，這樣忽視了模型通過(guò)學(xué)習(xí)其他任務(wù)所能帶來(lái)的信息增益和效果上的提升。通過(guò)在不同的任務(wù)中共享向量表達(dá)，我們能夠讓模型在各個(gè)任務(wù)上的泛化效果大大提升。本文談?wù)摰闹黝}-多任務(wù)學(xué)習(xí)(MTL)。

傳送門(mén)：一文梳理多任務(wù)學(xué)習(xí)(MMoE/PLE/DUPN/ESSM等)

在實(shí)踐中,做推薦系統(tǒng)的很多朋友思考的問(wèn)題是如何對(duì)數(shù)據(jù)進(jìn)行挖掘，大多數(shù)論文致力于開(kāi)發(fā)機(jī)器學(xué)習(xí)模型來(lái)更好地?cái)M合用戶(hù)行為數(shù)據(jù)。然而，用戶(hù)行為數(shù)據(jù)是觀察性的，而不是實(shí)驗(yàn)性的。這里面帶來(lái)了非常多的偏差,典型的有：選擇偏差、位置偏差、曝光偏差和流行度偏差等。如果不考慮固有的偏差，盲目地對(duì)數(shù)據(jù)進(jìn)行擬合，會(huì)導(dǎo)致很多嚴(yán)重的問(wèn)題，如線(xiàn)下評(píng)價(jià)與在線(xiàn)指標(biāo)的不一致,損害用戶(hù)對(duì)推薦服務(wù)的滿(mǎn)意度和信任度等，本篇文章對(duì)推薦系統(tǒng)中的Bias問(wèn)題進(jìn)行了調(diào)研并總結(jié)了推薦中的七種偏差類(lèi)型及其定義和特點(diǎn)。

傳送門(mén)：推薦系統(tǒng)中的Bias/Debias大全

從簡(jiǎn)單到復(fù)雜，每一步我們都會(huì)對(duì)將要發(fā)生的事情做出具體的假設(shè)，然后通過(guò)實(shí)驗(yàn)驗(yàn)證這些假設(shè)，或者進(jìn)行研究，直到我們發(fā)現(xiàn)一些問(wèn)題。我們努力防止的是一次引入大量“未經(jīng)驗(yàn)證”的復(fù)雜假設(shè)，這必然會(huì)引入錯(cuò)誤/錯(cuò)誤配置，這將需要花費(fèi)很長(zhǎng)時(shí)間才能找到（如果有的話(huà)）。

傳送門(mén)：神經(jīng)網(wǎng)絡(luò)調(diào)參經(jīng)驗(yàn)大匯總

對(duì)于基于向量召回，那就不得不提到雙塔。為什么雙塔在工業(yè)界這么常用？雙塔上線(xiàn)有多方便，真的是誰(shuí)用誰(shuí)知道，user塔做在線(xiàn)serving，item塔離線(xiàn)計(jì)算embeding建索引，推到線(xiàn)上即可。本文給大家介紹一些經(jīng)典的雙塔模型，快速帶大家過(guò)一遍，如果想了解細(xì)節(jié)，強(qiáng)烈建議看論文。

傳送門(mén)：做向量召回 All You Need is 雙塔

文章總結(jié)了深度學(xué)習(xí)領(lǐng)域的各種煉丹技巧，讓你在深度學(xué)習(xí)使用的過(guò)程中，掌握各種小Trick。

傳送門(mén)：大道至簡(jiǎn)：算法工程師煉丹Trick手冊(cè)

損失函數(shù)是一種評(píng)估“你的算法/模型對(duì)你的數(shù)據(jù)集預(yù)估情況的好壞”的方法。如果你的預(yù)測(cè)是完全錯(cuò)誤的，你的損失函數(shù)將輸出一個(gè)更高的數(shù)字。如果預(yù)估的很好，它將輸出一個(gè)較低的數(shù)字。當(dāng)調(diào)整算法以嘗試改進(jìn)模型時(shí)，損失函數(shù)將能反應(yīng)模型是否在改進(jìn)。“損失”有助于我們了解預(yù)測(cè)值與實(shí)際值之間的差異。損失函數(shù)可以總結(jié)為3大類(lèi)，回歸，二分類(lèi)和多分類(lèi)。

傳送門(mén)：一文弄懂各種loss function

總結(jié)

以上是生活随笔為你收集整理的2021年炼丹笔记最受欢迎的10篇技术文章的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。