筆記整理 |?王澤元，浙江大學(xué)在讀碩士，研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)，對(duì)比學(xué)習(xí)。

---

什么是外推？指從已知數(shù)據(jù)的孤點(diǎn)集合中構(gòu)建新的數(shù)據(jù)的方法。與插值（interpolation）類似，但其所得的結(jié)果意義更小，而且更加受不確定性影響。

第一張圖展示了原始數(shù)據(jù)的分布；現(xiàn)在我們對(duì)原始數(shù)據(jù)進(jìn)行線性擬合得到圖二，其中藍(lán)色部分就是插值所得到的結(jié)果，紅色部分就被稱為外推所得到的結(jié)果；從圖三可以看出外推的點(diǎn)相比插值所得到的點(diǎn)，其誤差會(huì)更大

作者發(fā)現(xiàn)前饋神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)簡(jiǎn)單多項(xiàng)式的時(shí)候外推的表現(xiàn)不好，而圖神經(jīng)網(wǎng)絡(luò)在比訓(xùn)練集大很多的網(wǎng)絡(luò)上完成有挑戰(zhàn)的任務(wù)如預(yù)測(cè)物理系統(tǒng)的演化時(shí)間、學(xué)習(xí)圖算法、解決數(shù)學(xué)問(wèn)題中表現(xiàn)的很好。作者對(duì)這種差別進(jìn)行深入研究，研究通過(guò)基于梯度下降訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是如何外推的，它們?cè)谟?xùn)練集之外學(xué)到了什么。經(jīng)過(guò)分析，明確了在什么情況下多層感知機(jī)和圖神經(jīng)網(wǎng)絡(luò)可以外推出良好的結(jié)果，并且提供了一個(gè)假設(shè)：外推的成功依賴于對(duì)模型架構(gòu)和輸入的非線性編碼

作者首先在多層感知機(jī)上進(jìn)行外推實(shí)驗(yàn)下面四張圖是文章在讓兩層的多層感知機(jī)上訓(xùn)練得到的結(jié)果。其中藍(lán)色是訓(xùn)練數(shù)據(jù)、灰色是需要擬合的數(shù)據(jù)、黑色是多層感知機(jī)訓(xùn)練的數(shù)據(jù)。可以看出來(lái)在訓(xùn)練集之外，多層感知機(jī)預(yù)測(cè)的結(jié)果將會(huì)快速的收斂到線性方程

但是僅是需要擬合的數(shù)據(jù)是線性的并不能讓多層感知機(jī)擬合的效果變好，還需要添加一個(gè)條件：訓(xùn)練集的數(shù)據(jù)分布需要涵蓋所有方向。左圖展示的如果涵蓋的方向有差別會(huì)產(chǎn)生什么效果，右圖定量的分析了不同訓(xùn)練集分布會(huì)產(chǎn)生的誤差。fix1指將一維設(shè)為常數(shù)、negd指的是限制n維為負(fù)數(shù)、all指涵蓋所有數(shù)據(jù)。可以看出數(shù)據(jù)涵蓋的越全面，得到的誤差就會(huì)越小

文章之后分析了GNN，文章先讓圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)規(guī)劃算法，可以看到學(xué)習(xí)的動(dòng)態(tài)規(guī)劃算法中間有一個(gè)非線性操作min，經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，使用min作為aggregator操作的效果比其他操作效果更好。至此文章提出了線性算法對(duì)齊的假設(shè)，及我們使用min操作對(duì)齊動(dòng)態(tài)規(guī)劃的dp操作，圖神經(jīng)網(wǎng)絡(luò)中的多層感知機(jī)就可以對(duì)齊動(dòng)態(tài)規(guī)劃中的線性操作。因此圖神經(jīng)網(wǎng)絡(luò)可以獲得良好的外推效果。

由此推論我們可以得到，在一些圖神經(jīng)網(wǎng)絡(luò)任務(wù)中目標(biāo)方程分解為線性方程和非線性方程，我們可以先對(duì)輸入進(jìn)行非線性操作，多層感知機(jī)去擬合線性部分。這樣做就可以得到好的外推效果

文章還發(fā)現(xiàn)不同的圖的拓?fù)浣Y(jié)構(gòu)會(huì)影響不同任務(wù)的外推效果。在尋找最大節(jié)點(diǎn)任務(wù)中，對(duì)于沒(méi)有節(jié)點(diǎn)度數(shù)限制的圖表現(xiàn)的效果會(huì)更好。環(huán)、階梯圖、正則圖、路徑這種有度數(shù)限制的圖會(huì)導(dǎo)致外推失敗。在尋找最短路徑任務(wù)中，過(guò)密或過(guò)于稀疏的圖都會(huì)對(duì)外推造成影響。但是文章未對(duì)這些現(xiàn)象做出過(guò)多解釋，需要對(duì)圖的深入研究才能回答這些問(wèn)題。

歡迎有興趣的同學(xué)閱讀原文。?

---

OpenKG

OpenKG（中文開放知識(shí)圖譜）旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開源開放。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 神经网络是如何外推的：从前馈神经网络到图神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。