寫在前面的話

本文將基于在中國計算機大會方案宣講PPT中的內(nèi)容，給出此次比賽的完整方案，主要從賽題理解、建模核心思路、算法核心思想等角度闡述，同時對相關(guān)細節(jié)進行了適當?shù)耐卣怪v解。涉及SIF Sentence Embedding、InferSent、Bi-LSTM和BERT等算法及相關(guān)概念。

1.1 任務背景

科學研究已經(jīng)成為現(xiàn)代社會創(chuàng)新的主要動力。大量科研數(shù)據(jù)的積累也讓我們可以理解和預測科研發(fā)展，并能用來指導未來的研究。論文是人類最前沿知識的媒介，因此如果可以理解論文中的數(shù)據(jù)，可以極大地擴充計算機理解知識的能力和范圍。

在論文中，作者經(jīng)常會引用其他論文，并對被引論文做出對應描述。如果我們可以自動地理解、識別描述對應的被引論文，不僅可以加深對科研脈絡(luò)的理解，還能在科研知識圖譜、科研自動問答系統(tǒng)和自動摘要系統(tǒng)等領(lǐng)域有所進步。

1.2 任務描述

本次比賽將提供一個論文庫（約含20萬篇論文），同時提供對論文的描述段落，來自論文中對同類研究的介紹。參賽選手需要為描述段落匹配三篇最相關(guān)的論文。

例子：

描述段落：

An efficient implementation based on BERT [1] and graph neural network (GNN) [2] is introduced.

相關(guān)論文：

[1] BERT: Pre-training of deep bidirectional transformers for language understanding.

[2] Relational inductive biases, deep learning, and graph networks.

1.3 評測方案

準確率（Precision）: 提交結(jié)果的準確性通過 Mean Average Precision @ 3 (MAP@3) 打分，具體公式如下：

其中，|U|是需要預測的press_id總個數(shù)，P(k)是在k處的精度，n是paper個數(shù)。

2 題意分析

從任務描述中我們可以看到，該任務需要對描述段落匹配三篇最相關(guān)的論文。單從形式上可以理解為這是一個“完形填空”任務。但相較于在本文的相應位置上填上相應的詞語不同的是，這里需要填充的是一個Sentence，也就是論文的題目。但是如果你按照這個思路去尋求解決方案，你會發(fā)現(xiàn)在這個量級的文本數(shù)據(jù)上，一般算力是滿足不了的。

既然如此，那我們不如換一個思路來思考這個問題，“對描述段落匹配三篇最相關(guān)的論文”，其實最簡單的實現(xiàn)方式是計算描述段落和論文庫里所有論文的相似度，找出最相似的即可。但這同樣會存在一個問題，通過對數(shù)據(jù)進行探查你會發(fā)現(xiàn)“An efficient implementation based on BERT [1] and graph neural network (GNN) [2] is introduced.”這一描述段落，同時引用了兩篇文章，那么在計算相似度時，到底哪個位置該是哪篇文章呢？

基于分析中提到的問題和難點，本次比賽給出了以下解決方案。

3 建模核心思路

在解決本問題時，使用了兩種方式，其一是利用Wrod2Vec方法，將描述段落利用Word2Vec得到每個詞的詞向量，同時對句子中的詞使用IDF為權(quán)重進行加權(quán)得到Sentence Embedding，同時為了得到更好的效果，這里做了一個改進，即使用Smooth Inverse Frequency代替IDF作為每個詞的權(quán)重；其二是利用BM25得到Sentence Embedding。兩種方法各自計算余弦相似度得到3篇論文，去重后召回集中每個段落有3-6篇不等的召回論文。

在排序階段，我們利用Bi-LSTM對描述段落Description和論文文本PaperText組成句子對（Description，PaperText）進行編碼，在中間層對兩個向量進行差值和內(nèi)積操作后，在輸出層經(jīng)過Dense和Softmax層后得到概率值后排序。

4 算法核心思想

4.1 SIF Sentence Embedding

SIF Sentence Embedding 使用預訓練好的詞向量，使用加權(quán)平均的方法，對句子中所有詞對應的詞向量進行計算，得到整個句子的embedding向量。

SIF 的計算分為兩步：

1） 對句子中的每個詞向量，乘以一個獨特的權(quán)重b，權(quán)重b是一個常數(shù) a除以a與該詞頻率的和，這種做法的會對出現(xiàn)頻率高詞進行降權(quán)，也就是說出現(xiàn)頻次越高，其權(quán)重也就越小；

2） 計算句向量矩陣的第一主成分u，讓每個Sentence Embedding減去它在u上的投影，具體參見論文[2]；

這里，利用該方法做召回，在驗證集上的準確性要比其他兩種方式效果好。

（1）對句子中所有單詞求平均得到sentence embedding；

（2）對句子中所有單詞利用IDF值加權(quán)后求平均得到sentence embedding。

4.2 InferSent

InferSent相似度模型是Facebook提出了一種通過不同的encoder得到Sentence Embedding，然后計算兩個Sentence Embedding的差值、點乘得到交互向量，計算兩者之間的相似度。

這里，對原始論文方法做了兩處修改：

其一是針對這個問題對3-way softmax層（entailment，contradiction，neutral）做了相應的修改變?yōu)?-way softmax；

其二是中間層去掉了u和v，只使用差值和內(nèi)積兩種特征表征方式；

同時在7中編碼器：1）LSTM, 2）GRU, 3）bi-GRU, 4）bi-LSTM(mean pooling), 5）bi-LSTM(max pooling), 6）self-attention, 7）CNN 中選用了Bi-LSTM MaxPooling的方式。

4.3 Others-BERT

當時，在BERT時代，解決方案的嘗試中少不了它的身影，這里我們用BERT嘗試了兩種方案，其一是利用BERT對Description和PaperText進行編碼后，計算文本的余弦相似度；其二是在上述整體模型中，用BERT替換InferSent部分。

以上兩種方式是我和何從慶在CCL“中國法研杯”相似案例匹配評測競賽中使用的方案（https://zhuanlan.zhihu.com/p/88207736）

寫在后面的話

入職兩年，見過了許多形形色色，感慨良多，但初心沒忘，為了讓自己保持一個良好的競技狀態(tài)和學習狀態(tài)。每次任務又是一個不斷審視、總結(jié)自己的過程。無論是結(jié)構(gòu)化數(shù)據(jù)、自然語言處理領(lǐng)域還是圖像領(lǐng)域，歡迎志同道合的小伙伴一起分享探討，共同進步。

參考論文

[1] Sanjeev Arora, Yingyu Liang, Tengyu Ma. A Simple but Tough-to-Beat Baseline for Sentence Embeddings, ICLR 2017

[2] Conneau A , Kiela D , Schwenk H , et al. Supervised Learning of Universal Sentence Representations from Natural Language Inference Data[J]. 2017.

[3] Devlin J , Chang M W , Lee K , et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[J]. 2018.

作者簡介

總結(jié)

以上是生活随笔為你收集整理的DigSci科学数据挖掘大赛-亚军方案分享的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。