?PaperWeekly 原創 ·?作者｜金金

單位｜阿里巴巴研究實習生

研究方向｜推薦系統

論文標題：

Learning to Truncate Ranked Lists for Information Retrieval

論文來源：

AAAI 2021

論文鏈接：

http://www.bigdatalab.ac.cn/~gjf/papers/2021/AAAIa.pdf

簡介

本文由中科院發表于 AAAI 2021。排序列表截斷在諸如專利搜索或法律搜索之類的各種專業信息檢索應用中至關重要。目的是根據用戶定義的目標動態確定返回的文檔數，以便在結果的總體效用和用戶需要付出的精力之間取得平衡。

在這項工作中，作者提出了一個名為 AttnCut 的基于全局決策的截斷模型，該模型直接優化了用戶定義的目標，用于排序列表截斷。具體來說，作者采用 Transformer 架構來捕獲排序列表中的全局依存關系以進行截斷決策，并采用獎勵最大化最大似然（RAML）進行直接優化。

模型

本文的模型采用已經比較的成熟的 Transformer 架構，具體來說，作者首先使用抽取了文檔一些列的特征，并使用雙向 LSTM 得到每個文本的表示；然后使用注意力機制，進一步捕獲全局信息；最后通過多層感知機和 softmax 層輸入每篇文檔作為截斷位置的概率。

在訓練階段，作者使用 RAML 進行訓練，具體來說，作者首先定義了輸出的分布如下：

在原來的訓練方法之中，一般都采用對所有截斷錯誤的樣本進行優化，直接采用 MLE 的損失函數如下：

但是這沒有考慮輸出的全局分布信息，本文作者將輸出分布嵌入損失函數中，轉而對全局的輸出分布進行優化，損失函數如下：

這種損失使本文的模型分布達到了標準化的獎勵分布。作者可以直接優化此新的目標分布函數，以學習 AttnCut。可以看到，這種學習標準很容易實現。這也是幾乎所有現有排名列表截斷模型都采用的通用學習準則。

實驗

本文在 Robust04 和 MQ2007 兩個數據集上進行實驗，首先使用 BM25 和 DRMM 返回結果列表，并和當前 baseline 進行對比，主要考慮返回固定的長度、已有自動截斷模型和 ground truth，整體結果來看，本文提出的模型都達到了最好的效果。

在此基礎上，作者觀察了 RAML 的效果，分別和直接使用 MLE，使用 BiCut 的訓練方法和強化學習三種形式進行對比，實驗結果發現，本文提出的優化方法可以在現有的模型中取得最好的效果，從而驗證了其有效性。

結論

在本文中，作者提出了直接優化用戶定義的目標以用于排序列表截斷的方法，目的是從全局角度做出最終的截止決策。作者利用 Transformer 架構來捕獲排名列表中的長期依賴關系，并采用 RAML 進行模型學習。

實驗結果表明，本文的模型可以大大優于最新方法。在將來的工作中，作者計劃考慮一些與多樣性相關的文檔表示函數，以獲得更好的文檔表示形式，并將模型擴展到實際的檢索應用程序，例如移動端搜索。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 学习截断信息检索排序列表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。