喵喵喵，好久不見(jiàn)啦。首先很抱歉大家期待的調(diào)參手冊(cè)（下）遲遲沒(méi)有出稿，最近兩個(gè)月連著趕了4個(gè)DDL，整個(gè)人都不好了。最近幾天終于有時(shí)間趕一下未完成的稿子了。在趕DDL的時(shí)候夾著寫(xiě)了這篇文章，就先發(fā)布這一篇吧～調(diào)參手冊(cè)（下）不出意外的話最近也可以發(fā)布啦。

本文由來(lái)

一年前在知乎上關(guān)注過(guò)這么一個(gè)問(wèn)題：
如何判斷兩段文本說(shuō)的是「同一件事情」？ - 知乎 https://www.zhihu.com/question/56751077

如果是document level的判斷，那么信息檢索中的shingling算法是一個(gè)簡(jiǎn)單有效的解決方案。不過(guò)看了一下問(wèn)題描述，應(yīng)該是特指sentence level，所以這個(gè)問(wèn)題應(yīng)該是屬于sentence level paraphrase任務(wù)。

近期小夕的研究中也順帶研究了一下相關(guān)任務(wù)，發(fā)現(xiàn)這個(gè)問(wèn)題并不是如最高票所言的將QA匹配模型直接搬到這個(gè)問(wèn)題里就萬(wàn)事大吉了。其實(shí)在理論層面上這種做法已經(jīng)很不合適了，里面有很多坑要填，所以本文就試圖糾正一下這個(gè)問(wèn)題的導(dǎo)向吧（雖然這屬于挖墳行為\(//?//)\）。

paraphrase與QA匹配

在目前主流的研究方向來(lái)看，匹配兩段文本的語(yǔ)義主要有兩個(gè)任務(wù)，一個(gè)是paraphrase，即判斷一段文本是不是另一段文本的釋義（即換一種說(shuō)法，但是意思不變）；一個(gè)是問(wèn)答對(duì)匹配，或者說(shuō)檢索式QA，即給定一個(gè)問(wèn)題，判斷一段文本是不是符合這個(gè)問(wèn)題的回答。最多可以再加上entailment任務(wù)，即判斷給定一段文本后能不能推理出另一段給定的文本（判斷文本2是否可以根據(jù)文本1推理得到）。近幾年檢索式QA的問(wèn)題非常火，很多文本匹配相關(guān)的研究都是將一些QA數(shù)據(jù)集如insuranceQA、wikiQA作為benchmark。

但是！難道真的如那個(gè)知乎問(wèn)題的最高票回答所言，在QA任務(wù)上很有效的文本匹配模型真的能直接拿到paraphrase任務(wù)上去？

共通之處

我們先來(lái)簡(jiǎn)單討論一下這兩個(gè)任務(wù)的共通之處，也就是最最最基本的模型結(jié)構(gòu)。顯然，對(duì)兩段文本進(jìn)行相似度比較之前，首先要把這兩段文本各自encoding成一個(gè)壓縮上下文信息的矩陣或者直接embedding成一個(gè)向量，然后通過(guò)矩陣相似度或向量相似度的計(jì)算方法得到相似程度就可以啦。顯然embedding成向量后的比較更為簡(jiǎn)單，因?yàn)榭梢灾苯邮褂脷W式距離或者余弦距離啦，但是顯然這樣對(duì)embedding的質(zhì)量要求非常高，而且難以進(jìn)行兩段文本之間的細(xì)粒度的比較。直接比較encoding后的矩陣的方法聽(tīng)起來(lái)雖然好，但是兩個(gè)矩陣之間的相似度該如何比較？細(xì)粒度的詞、短語(yǔ)的匹配信息又該如何聚合呢？顯然后一種更麻煩一些。

當(dāng)然，不管是embedding還是encoding，其實(shí)都要先encoding╮(￣▽￣””)╭，畢竟同一個(gè)詞的語(yǔ)義在不同的上下文語(yǔ)境中很可能相差甚遠(yuǎn)。encoding的模型基本分為CNN系、RNN系、RecNN系以及self-attention系這幾種。當(dāng)然，這幾種方法可以疊加使用。我們以CNN為例，討論一下如何在文本匹配模型中對(duì)兩段文本進(jìn)行有效的encoding。

這就不得不提到參考文獻(xiàn)[1]啦。這篇文章針對(duì)這個(gè)問(wèn)題做了詳細(xì)的實(shí)驗(yàn)。

這篇論文實(shí)驗(yàn)了6種模型結(jié)構(gòu)，但是我們這里僅關(guān)心其中最有意義的一對(duì)比較。有興趣了解全部6種結(jié)構(gòu)的比較的同學(xué)可以去看原文哈。

對(duì)比圖1和圖2，圖1使用兩個(gè)CNN網(wǎng)絡(luò)分別對(duì)文本1（Q）和文本2（A）進(jìn)行encoding，而圖2僅僅使用一個(gè)CNN，或者說(shuō)使用兩個(gè)共享參數(shù)的CNN來(lái)對(duì)兩段文本分別進(jìn)行encoding。然后通過(guò)max-over-time-pooling來(lái)embedding成向量進(jìn)而計(jì)算余弦距離后發(fā)現(xiàn)圖2明顯的比圖1有效（圖2比圖1高20個(gè)百分點(diǎn)，詳見(jiàn)參考文獻(xiàn)[1]）。其實(shí)很好理解啦，對(duì)兩個(gè)向量進(jìn)行余弦距離計(jì)算的前提是這兩個(gè)向量必須要位于同一個(gè)embedding空間呀，比如你要是拿三次元的小夕跟二次元的小白狐??相比，【那當(dāng)然是小夕更可愛(ài)啦】（劃掉），那當(dāng)然沒(méi)有可比性啦，只能說(shuō)都很可愛(ài)。

所以說(shuō)，圖2將兩個(gè)文本的embedding結(jié)果約束在同一個(gè)embedding空間內(nèi)進(jìn)行比較，當(dāng)然會(huì)比圖1這種在兩個(gè)不同的embedding空間之間進(jìn)行比較靠譜的多。像圖2這種底層共享權(quán)重的架構(gòu)俗稱(chēng)雙塔模型（倆基座，但是是同一個(gè)塔）。

出問(wèn)題了╮(￣▽￣””)╭

然而，這種簡(jiǎn)單做法顯然在QA匹配問(wèn)題上會(huì)有明顯問(wèn)題的。哪怕一個(gè)回答是標(biāo)準(zhǔn)回答，問(wèn)題的embedding結(jié)果與回答的embedding結(jié)果都很難完全一致，而且真的完全一致了也不合理。甚至如果你把問(wèn)題本身當(dāng)成回答的話，會(huì)發(fā)現(xiàn)兩段文本的embedding結(jié)果一樣，導(dǎo)致余弦距離超級(jí)近，然而問(wèn)題本身并不能當(dāng)作問(wèn)題的回答呀。但是這對(duì)于paraphrase任務(wù)來(lái)說(shuō)就沒(méi)毛病（句子A和句子B完全一致的話，對(duì)paraphrase任務(wù)里A與B當(dāng)然應(yīng)該有最近的距離）。所以其實(shí)這時(shí)paraphrase與QA匹配的模型應(yīng)該開(kāi)始有所區(qū)別了。

一方面，由于paraphrase看起來(lái)沒(méi)有大毛病，因此理論上在相似度計(jì)算的層面上再取得重大突破應(yīng)該比較困難，而QA匹配顯然在相似度計(jì)算的層面上有非常非常大的改進(jìn)需求。如參考文獻(xiàn)[2]的實(shí)驗(yàn)結(jié)果支撐，文獻(xiàn)[2]僅僅使用了簡(jiǎn)單的attentive pooling就使得模型在多個(gè)QA匹配數(shù)據(jù)集上取得了顯著提升（如圖3，CNN上提高接近10個(gè)百分點(diǎn)），這個(gè)實(shí)驗(yàn)現(xiàn)象恰好驗(yàn)證了上述小夕的理論猜想。

圖3

而在Quora數(shù)據(jù)集（也是一個(gè)paraphrase detection任務(wù)）里Quora給出的baseline來(lái)看（如圖4，見(jiàn)參考文獻(xiàn)[3]），果然使用attention的模型并沒(méi)有明顯的優(yōu)越性（甚至性能還不如不用attention）。

圖4

抱著好奇，小夕在某不方便透露的數(shù)據(jù)集上也做了實(shí)驗(yàn)，實(shí)驗(yàn)了在QA匹配上辣么有效的attentive pooling，除了文章中提到的attention方法（機(jī)器翻譯領(lǐng)域中貌似叫g(shù)eneral attention[4]），小夕還額外實(shí)驗(yàn)了無(wú)參數(shù)的dot attention[4]以及經(jīng)典的additive attention[5]，結(jié)果發(fā)現(xiàn)在該paraphrase數(shù)據(jù)集上效果最好的是additive attention，但是在char-level上比不用attention低了整整3個(gè)點(diǎn)的f1，在word-level上也僅僅有0.幾的提升，還不排除隨機(jī)初始化的影響。而原文里的attentive pooling直接慘出天際，這還都是調(diào)參后的結(jié)果。

為什么呢？其實(shí)依然非常好理解，以attentive pooling為例，其核心就是這么一個(gè)對(duì)齊矩陣的計(jì)算公式：

其中U是可訓(xùn)練的參數(shù)矩陣，Q是文本1，A是文本2，G是對(duì)齊矩陣，存儲(chǔ)著Q中每個(gè)詞跟A中每個(gè)詞的相關(guān)度（attention degree）。Q和A都可以看作是一個(gè)[embed_dim, seq_len]的矩陣，顯然U就是[embed_dim, embed_dim]的矩陣。當(dāng)然，去掉U之后就是最簡(jiǎn)單的dot attention，即直接計(jì)算兩個(gè)詞向量的內(nèi)積。

想一下，這里的U起到什么作用呢？雖然Q和A被embedding進(jìn)了同一個(gè)向量空間，但是顯然問(wèn)題中的詞分布與正確回答中的詞分布是有顯著差異的。比如回答中很少出現(xiàn)”多高“這個(gè)詞，但是問(wèn)題中出現(xiàn)就不稀奇了。因此Q的空間與A的空間其實(shí)是不一樣的，直接進(jìn)行距離計(jì)算會(huì)有問(wèn)題。顯然，在Q的空間和A的空間之間缺一個(gè)橋梁！而在小夕的《線性代數(shù)這樣講（一）》里提過(guò)，矩陣代表著線性映射，因此U的出現(xiàn)恰好可以完成兩個(gè)分布之間的映射。

啰嗦一下，舉個(gè)栗子。一方面，無(wú)attention的模型中，答案中的“1米”的詞向量可能跟問(wèn)題中的“多高”并沒(méi)有很近的距離，但是U完全可以把“1米”相關(guān)的表示具體長(zhǎng)度的語(yǔ)義映射到“多高”附近。另一方面，無(wú)attention的模型中，答案中的”多高“和問(wèn)題中的”多高“肯定有非常近的距離（歐式距離為0），但是U完全可以將問(wèn)題中的”多高“映射到其他詞附近，導(dǎo)致其跟回答中的”多高“有很遠(yuǎn)的距離（即”多高“并不是”多高“的回答！）。所以說(shuō)，U為答案空間和問(wèn)題空間搭建了一座橋梁，使得兩者的之間的距離計(jì)算變得有意義。看，attention一下子把QA匹配里的兩個(gè)大問(wèn)題都解決了。

然而，這種標(biāo)準(zhǔn)的詞對(duì)齊的attention放在paraphrase任務(wù)里有什么意義呢？起碼我很難想到它是無(wú)可取代的。文本1中的詞與文本2中的詞本身就是同一個(gè)空間里的，文本1與文本2里的同義詞、近義詞已經(jīng)通過(guò)訓(xùn)練詞向量獲得了很近的距離，為什么要多此一舉的加個(gè)attention呢？哪怕是為了針對(duì)OOV（未登陸詞），那么在表示層多疊幾層CNN或RNN就可以了哇（用OOV的上下文去描述它），也沒(méi)有必要為此上一個(gè)attention吧，何況OOV在大部分情況下并不會(huì)有太大影響。

所以

那么對(duì)于paraphrase任務(wù)來(lái)說(shuō)，怎樣才看起來(lái)比較靠譜呢。我覺(jué)得那個(gè)知乎問(wèn)答下最高票回答的第一大段還有斤木的回答其實(shí)是真正在點(diǎn)子上的。一方面要提高word-level embedding的質(zhì)量和領(lǐng)域相關(guān)的詞匯召回率，另一方面要將關(guān)注點(diǎn)放在捕捉syntactic level和semantic level的知識(shí)上，可以直接做POS、SRL等相關(guān)特性，要么就在大數(shù)據(jù)集上引導(dǎo)模型學(xué)習(xí)相關(guān)知識(shí)。

而在花式attention方面，推薦大家去關(guān)注機(jī)器閱讀理解領(lǐng)域的前沿模型，在相似度計(jì)算方面，推薦大家關(guān)注檢索式QA相關(guān)的前沿。當(dāng)然，小夕也可能未來(lái)放出相關(guān)文章哦，限于篇幅，這里就不展開(kāi)講啦。

總結(jié)一下：

1、再次驗(yàn)證no-free-lunch定理，哪怕是兩個(gè)看起來(lái)非常相似的任務(wù)，都有可能導(dǎo)致非常不同的解決方案。
2、對(duì)于檢索式QA來(lái)說(shuō)好好做attention是值得的。
3、對(duì)于paraphrase來(lái)說(shuō)，別對(duì)別人家的attention抱那么大的期望，除非你能自己造一種task-specific的attention方式，并且你認(rèn)為它捕獲的信息無(wú)可替代。
4、在沒(méi)有相應(yīng)的理論分析和實(shí)驗(yàn)驗(yàn)證之前，不要盲目相信一個(gè)東西的性能。引用美妝屆的一句經(jīng)典：甲之蜜糖，乙之砒霜╮(╯▽╰)╭。

參考文獻(xiàn)

[1] Feng M, Xiang B, Glass M R, et al. Applying deep learning to answer selection: A study and an open task[C]//Automatic Speech Recognition and Understanding (ASRU), 2015 IEEE Workshop on. IEEE, 2015: 813-820.
[2] dos Santos C N, Tan M, Xiang B, et al. Attentive pooling networks[J]. CoRR, abs/1602.03609, 2016, 2(3): 4
[3] https://engineering.quora.com/Semantic-Question-Matching-with-Deep-Learning
[4] Luong M T, Pham H, Manning C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025, 2015.
[5] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.

哦對(duì)啦，「小公式」與「小算法」開(kāi)通，歡迎順路逛逛哦(￣?￣)

總結(jié)

以上是生活随笔為你收集整理的如何匹配两段文本的语义？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。