?作者?|?hahakity

單位?|?華中師范大學

研究方向?|?能核物理、人工智能

之前看到一篇文章，覺得非常重要，一直沒看到中文 AI 媒體報道，這里用最簡短的文字介紹一下。文章題目為 Linearly Constrained Neural Networks。

論文標題：

Linearly Constrained Neural Networks

論文鏈接：

https://arxiv.org/pdf/2002.01600.pdf

AI for Science 領域的人意識到既然神經網絡有“萬能表示”能力，就可以用它表示任意的參數化的函數 ，這個函數可以是偏微分方程、常微分方程的解，也可以是薛定諤方程、量子多體問題的變分波函數。求解微分方程，求解多體量子系統基態能量和波函數的任務全部轉化為深度神經網絡的優化問題。

但是，物理系統的變分函數很多時候需要滿足特定約束。比如，多費米子系統的波函數，要滿足交換反對稱，即 。DeepWF 以及谷歌的 FermiNet 等通過特定的神經網絡架構構造方法，實現了這個目標。用最通俗的話講，可以定義：

其中 是子神經網絡 的所有可訓練參數的集合。 是子神經網絡的輸入。通過類似 Slater Determinant 的構造方法，使得“裸”神經網絡的輸出經過變換滿足交換反對稱。

有人問，如何讓子神經網絡 依賴輸入特征的順序？其實，一般的神經網絡，其輸出天生依賴于輸入數據的順序，改變 的順序，就像把身高的特征換成體重，體重的特征換成身高。只有某些特殊的神經網絡，比如點云神經網絡，才會加入重排不變性，使得輸出不依賴輸入特征的順序。

之前還介紹過“拉格朗日神經網絡”，將力學系統里的拉格朗日公式直接嵌入到神經網絡中。但這些網絡的構造方法都針對于特定任務，今天介紹的這篇 “線性約束的神經網絡”，相當于對這些嵌入物理約束的方法做了一個總結，提出了針對線性約束的一套通用的方法。

這篇文章使用的例子是計算電磁學問題，如何用神經網絡表示無源 或者無旋的場 ？比如對于磁場 ，天然無源，散度為 0（divergence-free），，如何構造神經網絡 ，其輸入為（x, y, z）, 輸出為 ，且輸出對輸入的自動微分滿足散度為 0 條件？

一個沒有任何約束的神經網絡，其輸出 自然不滿足散度為 0 。

但我們知道，一個標量勢（scalar potential）的梯度是無旋的，而一個矢量勢（vector potential）的旋度是無源的。

如果想構造無旋場，可以用神經網絡近似一個標量勢。即輸入是 3 維坐標，輸出只有一個實數 的神經網絡。使用自動微分，計算出：

則 無旋。

如果想構造無源場，可以用神經網絡生成一個矢量勢。即輸入是 3 維坐標，輸出是三個實數 的神經網絡。做一個線性變換：

其中：

則 無源。

對于一般的線性約束，只要找到特定的線性映射矩陣 ，將它作用在“裸”的神經網絡輸出上，使其輸出滿足約束即可。

線性約束可以寫為微分算子行向量 作用在 上的形式，即只要：

因為 ，那么必然有 ，即可解出 映射矩陣。

文章中將 寫為 的形式，其中 是個實值矩陣， 是算符列向量。

舉例：如果約束方程是 ，則約束向量 ，算符列向量 , 投影矩陣 G 滿足：

要求上面式子等于 0，可以設 。

從而得到投影矩陣 。

總結：

計算機視覺和自然語言處理領域需要的神經網絡很多時候沒有任何的先驗約束，只要大量的喂數據，根據貝葉斯公式，最終的后驗概率會慢慢收斂到一個與先驗無關的結果。但是在 AI for science 領域，神經網絡表示的函數或場可能需要天然滿足某些約束，使用大量數據，神經網絡也能慢慢學到這些約束，但更經濟的做法是直接將這些約束內嵌到神經網絡的架構中，使其天然滿足這些約束。

這樣，神經網絡需要的訓練數據會大量減少，而且內嵌的先驗知識為強約束，無論神經網絡參數如何變化，這些約束天然滿足。這個應該是 AI for science 領域發展的重要方向。

參考文獻

https://github.com/mfinzi/constrained-hamiltonian-neural-networks

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的如何构造天然满足某些约束的神经网络？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。