?作者?|?hahakity

單位?|?華中師范大學(xué)

研究方向?|?能核物理、人工智能

之前看到一篇文章，覺(jué)得非常重要，一直沒(méi)看到中文 AI 媒體報(bào)道，這里用最簡(jiǎn)短的文字介紹一下。文章題目為 Linearly Constrained Neural Networks。

論文標(biāo)題：

Linearly Constrained Neural Networks

論文鏈接：

https://arxiv.org/pdf/2002.01600.pdf

AI for Science 領(lǐng)域的人意識(shí)到既然神經(jīng)網(wǎng)絡(luò)有“萬(wàn)能表示”能力，就可以用它表示任意的參數(shù)化的函數(shù) ，這個(gè)函數(shù)可以是偏微分方程、常微分方程的解，也可以是薛定諤方程、量子多體問(wèn)題的變分波函數(shù)。求解微分方程，求解多體量子系統(tǒng)基態(tài)能量和波函數(shù)的任務(wù)全部轉(zhuǎn)化為深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題。

但是，物理系統(tǒng)的變分函數(shù)很多時(shí)候需要滿(mǎn)足特定約束。比如，多費(fèi)米子系統(tǒng)的波函數(shù)，要滿(mǎn)足交換反對(duì)稱(chēng)，即 。DeepWF 以及谷歌的 FermiNet 等通過(guò)特定的神經(jīng)網(wǎng)絡(luò)架構(gòu)構(gòu)造方法，實(shí)現(xiàn)了這個(gè)目標(biāo)。用最通俗的話講，可以定義：

其中 是子神經(jīng)網(wǎng)絡(luò) 的所有可訓(xùn)練參數(shù)的集合。 是子神經(jīng)網(wǎng)絡(luò)的輸入。通過(guò)類(lèi)似 Slater Determinant 的構(gòu)造方法，使得“裸”神經(jīng)網(wǎng)絡(luò)的輸出經(jīng)過(guò)變換滿(mǎn)足交換反對(duì)稱(chēng)。

有人問(wèn)，如何讓子神經(jīng)網(wǎng)絡(luò) 依賴(lài)輸入特征的順序？其實(shí)，一般的神經(jīng)網(wǎng)絡(luò)，其輸出天生依賴(lài)于輸入數(shù)據(jù)的順序，改變 的順序，就像把身高的特征換成體重，體重的特征換成身高。只有某些特殊的神經(jīng)網(wǎng)絡(luò)，比如點(diǎn)云神經(jīng)網(wǎng)絡(luò)，才會(huì)加入重排不變性，使得輸出不依賴(lài)輸入特征的順序。

之前還介紹過(guò)“拉格朗日神經(jīng)網(wǎng)絡(luò)”，將力學(xué)系統(tǒng)里的拉格朗日公式直接嵌入到神經(jīng)網(wǎng)絡(luò)中。但這些網(wǎng)絡(luò)的構(gòu)造方法都針對(duì)于特定任務(wù)，今天介紹的這篇 “線性約束的神經(jīng)網(wǎng)絡(luò)”，相當(dāng)于對(duì)這些嵌入物理約束的方法做了一個(gè)總結(jié)，提出了針對(duì)線性約束的一套通用的方法。

這篇文章使用的例子是計(jì)算電磁學(xué)問(wèn)題，如何用神經(jīng)網(wǎng)絡(luò)表示無(wú)源 或者無(wú)旋的場(chǎng) ？比如對(duì)于磁場(chǎng) ，天然無(wú)源，散度為 0（divergence-free），，如何構(gòu)造神經(jīng)網(wǎng)絡(luò) ，其輸入為（x, y, z）, 輸出為 ，且輸出對(duì)輸入的自動(dòng)微分滿(mǎn)足散度為 0 條件？

一個(gè)沒(méi)有任何約束的神經(jīng)網(wǎng)絡(luò)，其輸出 自然不滿(mǎn)足散度為 0 。

但我們知道，一個(gè)標(biāo)量勢(shì)（scalar potential）的梯度是無(wú)旋的，而一個(gè)矢量勢(shì)（vector potential）的旋度是無(wú)源的。

如果想構(gòu)造無(wú)旋場(chǎng)，可以用神經(jīng)網(wǎng)絡(luò)近似一個(gè)標(biāo)量勢(shì)。即輸入是 3 維坐標(biāo)，輸出只有一個(gè)實(shí)數(shù) 的神經(jīng)網(wǎng)絡(luò)。使用自動(dòng)微分，計(jì)算出：

則 無(wú)旋。

如果想構(gòu)造無(wú)源場(chǎng)，可以用神經(jīng)網(wǎng)絡(luò)生成一個(gè)矢量勢(shì)。即輸入是 3 維坐標(biāo)，輸出是三個(gè)實(shí)數(shù) 的神經(jīng)網(wǎng)絡(luò)。做一個(gè)線性變換：

其中：

則 無(wú)源。

對(duì)于一般的線性約束，只要找到特定的線性映射矩陣 ，將它作用在“裸”的神經(jīng)網(wǎng)絡(luò)輸出上，使其輸出滿(mǎn)足約束即可。

線性約束可以寫(xiě)為微分算子行向量 作用在 上的形式，即只要：

因?yàn)?，那么必然有 ，即可解出 映射矩陣。

文章中將 寫(xiě)為 的形式，其中 是個(gè)實(shí)值矩陣， 是算符列向量。

舉例：如果約束方程是 ，則約束向量 ，算符列向量 , 投影矩陣 G 滿(mǎn)足：

要求上面式子等于 0，可以設(shè) 。

從而得到投影矩陣 。

總結(jié)：

計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域需要的神經(jīng)網(wǎng)絡(luò)很多時(shí)候沒(méi)有任何的先驗(yàn)約束，只要大量的喂數(shù)據(jù)，根據(jù)貝葉斯公式，最終的后驗(yàn)概率會(huì)慢慢收斂到一個(gè)與先驗(yàn)無(wú)關(guān)的結(jié)果。但是在 AI for science 領(lǐng)域，神經(jīng)網(wǎng)絡(luò)表示的函數(shù)或場(chǎng)可能需要天然滿(mǎn)足某些約束，使用大量數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)也能慢慢學(xué)到這些約束，但更經(jīng)濟(jì)的做法是直接將這些約束內(nèi)嵌到神經(jīng)網(wǎng)絡(luò)的架構(gòu)中，使其天然滿(mǎn)足這些約束。

這樣，神經(jīng)網(wǎng)絡(luò)需要的訓(xùn)練數(shù)據(jù)會(huì)大量減少，而且內(nèi)嵌的先驗(yàn)知識(shí)為強(qiáng)約束，無(wú)論神經(jīng)網(wǎng)絡(luò)參數(shù)如何變化，這些約束天然滿(mǎn)足。這個(gè)應(yīng)該是 AI for science 領(lǐng)域發(fā)展的重要方向。

參考文獻(xiàn)

https://github.com/mfinzi/constrained-hamiltonian-neural-networks

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫(xiě)，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的如何构造天然满足某些约束的神经网络？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。