本文利用self-attention的方式去學(xué)習(xí)句子的embedding，表示為二維矩陣，而不是一個(gè)向量，矩陣中的每一行都表示句子中的不同部分。模型中使用了self-attention機(jī)制和一個(gè)特殊的regularization term

總結(jié)

以往論文中常用的句子表示為一維向量，但是這只能表達(dá)句子的一部分信息，為此作者提處一種self-attentive機(jī)制，并基于此機(jī)制，將句子表示為一個(gè)2維矩陣，使得句子的信息盡可能多的得到保留，同時(shí)為了使得句子的信息盡可能多的保留，即行與行之間盡可能差異化，作者使用了Frobenius范數(shù)懲罰項(xiàng)

參考連接：

https://www.jianshu.com/p/87108d836c63

https://blog.csdn.net/john_xyz/article/details/80650677

https://blog.csdn.net/guoyuhaoaaa/article/details/78701768

總結(jié)

以上是生活随笔為你收集整理的A Self-Attention Setentence Embedding 阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。