鏈接： https://arxiv.org/abs/1711.04043

本文提出了用 GNN(GraphNeural Network) 來解決 Few-Shot Learning 場(chǎng)景的分類問題。在 Few-Shot Learning 中，每個(gè)類別的訓(xùn)練樣本數(shù)據(jù)較少，如果直接訓(xùn)練一個(gè)多分類模型，會(huì)由于每個(gè)類別的樣本較少而無法訓(xùn)練充分。而 GNN 的一個(gè)優(yōu)點(diǎn)在于可以通過節(jié)點(diǎn)之間的連接來做信息擴(kuò)散，如果把每個(gè)樣本視作圖中一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)之間的邊是它們的某種距離度量，那么，就可以把已有l(wèi)abel的樣本的 label 信息根據(jù)節(jié)點(diǎn)之間相似性的強(qiáng)弱，有選擇的擴(kuò)散到與之最相似的，需要預(yù)測(cè)的樣本上。這樣，新樣本在預(yù)測(cè)的時(shí)候，可以利用到各個(gè)類別的標(biāo)注數(shù)據(jù)，類似于遷移學(xué)習(xí)，從而緩解了 Few-Shot Learning 中每個(gè)類別訓(xùn)練樣本較少的問題。

基于以上思路，本文利用 GNN 在小樣本 Few-Shot Learning 數(shù)據(jù)集上，對(duì) Few-Shot Learning, Semi-supervised Learning 以及 Active Learning 三個(gè)任務(wù)都做了實(shí)驗(yàn)，驗(yàn)證了GNN利用信息傳播做預(yù)測(cè)的有效性。

?

模型的基本結(jié)構(gòu)是常見的 GNN，流程如下：

（1）?????初始化：將每個(gè)樣本視作圖中的節(jié)點(diǎn)，隨機(jī)初始化每個(gè)節(jié)點(diǎn)的表示。初始化方式為：利用CNN得到的圖片（實(shí)驗(yàn)數(shù)據(jù)集是圖片分類）的向量表示，以及樣本的label的onehot表示，拼接得到。對(duì)于半監(jiān)督的情形，未標(biāo)注樣本的label的onehot表示是隨機(jī)生成的。

（2）?????信息傳播：計(jì)算節(jié)點(diǎn)之間的相似性，得到節(jié)點(diǎn)兩兩之間的相似性矩陣。然后以每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)的表示和自己當(dāng)前的表示來更新下一步的表示，即：自己的表示+ sum(相似性 * 鄰居節(jié)點(diǎn)的表示)，是一個(gè)常用的加權(quán)平均更新方式

（3）?????對(duì)于需要預(yù)測(cè)label的節(jié)點(diǎn)，利用其最終的表示，通過softmax做分類。

?

實(shí)驗(yàn)結(jié)果：

相比已有的一些利用樣本間相似性做 Few-Shot Learning 的模型，如 Siamese Net, Matching Network,Prototypical Network，都有提升。另外，論文中證明了后續(xù)這三種模型都是 GNN 模型的特例。

（1）?????Few-Shot Learning：

（2）?????Semi-supervised Learning:

(3) Active Learning:

本文作者: 王梁，浙江大學(xué)碩士，研究方向?yàn)橹R(shí)圖譜，自然語言處理.

---

OpenKG.CN

中文開放知識(shí)圖譜（簡(jiǎn)稱OpenKG.CN）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請(qǐng)注明原標(biāo)題。

?

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 用图网络做小样本学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。