PNAS新研究：剑桥学者发现，有些 AI 模型无法被计算
來源：AI科技評論
作者：Ailleurs
編輯：陳彩嫻
近日，劍橋學者在《美國科學院院報》（PNAS）上發表了一篇名為“The Difficulty of Computing Stable and Accurate Neural Networks: On the Barriers of Deep Learning and Smale's 18th Problem”的文章，提出了一個有趣的發現：
研究者可以證明存在具有良好近似質量的神經網絡，但不一定存在能夠訓練（或計算）這類神經網絡的算法。
論文地址：
http://www.damtp.cam.ac.uk/user/mjc249/pdfs/PNAS_Stable_Accurate_NN.pdf
這與圖靈的觀點相似：無論計算能力和運行時間如何，計算機都可能無法解決一些問題。也就是說，哪怕再優秀的神經網絡，也可能無法對現實世界進行準確的描述。
不過，這并不表明所有的神經網絡都是有缺陷的，而是它們僅僅在特定情況下才能達到穩定和準確的狀態。
研究團隊通過引入一個經典逆問題，提出了一個分類理論，用來描述哪些神經網絡可以通過算法進行計算，對「人工智能可以做什么和不可以做什么」這一歷史性問題給出了一個新的答案。
同時，他們開發了一個新的模型——「快速迭代重啟網絡」（FIRENETs），能夠在應用場景中同時保證神經網絡的穩定性和準確性。一方面，FIRENETs 所計算的神經網絡在對抗擾動方面具有穩定性，還能夠將不穩定的神經網絡變得穩定；另一方面，它在保持穩定性的前提下還取得了高性能和低漏報率。
以下是對該工作的簡單介紹：
1
研究背景
深度學習 (DL) 取得了前所未有的成功，現在正全力進入科學計算領域。然而，盡管通用的逼近特性可以保證穩定的神經網絡 (NN) 的存在，但當前的深度學習方法往往存在不穩定性。這個問題使得深度學習在現實生活中的落地充滿危險。
比方說，Facebook（Meta）和紐約大學于2019年的 FastMRI 挑戰賽中曾稱，在標準圖像質量指標方面表現良好的網絡容易出現漏報，無法重建微小但具有物理相關性的圖像異常。2020年 FastMRI 挑戰賽將重點放在病理上，又指出:「這種虛幻的特征是不可接受的，尤其如果它們模擬的是正常結構，而這些結構要么不存在，要么實際上是異常的，那就非常有問題。正如對抗擾動研究所證明的，神經網絡模型可能是不穩定的」。顯微鏡學中也存在類似的例子。
在不同的應用場景中，對誤報率和漏報率的容忍度是不同的。對于具有高錯誤分析成本的場景，必須避免這種誤報和漏報。因此，在醫療診斷等應用場景中，人工智能的「幻覺」可能存在非常嚴重的危險。
對于該問題，經典的近似定理表明，連續函數可以用神經網絡很好地任意逼近。因此，用穩定函數描述的穩定問題往往可以用神經網絡穩定地解決。這就產生了這樣一個基礎性問題:
為什么有些場景已被證明存在穩定、準確的神經網絡，深度學習還會出現不穩定的方法和由 AI 生成的「幻覺」？
為了回答這個問題，研究者們啟動了研究，希望確定深度學習在逆問題中所能達到的極限。
此外，深度學習中的神經網絡還存在穩定性和準確性的權衡問題。穩定性差是現代人工智能的致命弱點，這方面也有一個悖論：盡管存在穩定的神經網絡，但訓練算法仍能發現不穩定的神經網絡。這個基礎性問題與Steven Smale 在1998年就人工智能極限提出的第18個數學問題有關。
計算穩定的神經網絡并不困難，例如，零網絡就是穩定的，但它準確度不高，因而不是特別有用。最大的問題是：如何計算既穩定又準確的神經網絡？科學計算本身基于穩定性和準確性，然而，兩者之間往往存在取舍，有時必須犧牲準確性以確保穩定性。
2
分類理論：計算穩定NN的算法的存在條件
針對上述問題，作者團隊提出了一種分類理論，描述了達到一定準確度（且穩定）的神經網絡可以被算法計算的充分條件。
他們從一個線性方程組欠定系統的經典逆問題出發：
在這里，A∈Cm ×N 表示采樣模型（m < N），比如 MRI 中的下采樣離散傅里葉變換，x表示未知量。矢量 e 對噪聲或擾動進行建模。該方程 1 所展示的問題是許多逆問題和圖像分析的基礎。
基于定理1和定理2（定理詳情見論文），他們指出這樣一個悖論性問題：
存在從訓練數據到合適的神經網絡的映射，但沒有訓練算法（即使是隨機的算法）可以從訓練數據中計算神經網絡的近似值。
對此，該論文的其中一位作者Hansen做了一個類比：「可能存在一種蛋糕，但卻不存在制作它的配方」。他認為，問題不在于「配方」，而是在于制作蛋糕所必須的「工具」，有可能無論你使用什么攪拌機，都無法制作出想要的蛋糕，但在某些情況下，也有可能你自家廚房里的攪拌機就足夠了。
那么是在什么情況下呢？研究團隊對計算神經網絡的算法進行了分類，解釋了什么條件下計算神經網絡的算法才會存在（這也可以類比為：哪些蛋糕可以用具有物理設計可能性的攪拌機來制作）：
定理2
計算神經網絡的算法是否存在取決于期望的精度。對于任意正整數 K > 2 和 L，存在良態問題類，同時有以下情況：
a）不存在隨機訓練算法（即便是隨機的算法）能以超過 50% 的概率計算出具有 K 位精度的神經網絡；
b）存在一種確定的訓練算法，可以計算具有 K-1 位精度的神經網絡，但需要大量的訓練數據；
c）存在一種確定的訓練算法，可以使用不超過 L 個訓練樣本計算具有 K-2 位精度的神經網絡。
這表明，一些基礎性的、本質性的障礙阻止了神經網絡被算法計算。這也是為什么一些場景中存在穩定而準確的神經網絡，但深度學習仍會出現「幻覺」的原因。
3
FIRENETs：平衡穩定性與準確性
神經網絡的穩定性與準確性之間存在權衡問題，一個穩定的神經網絡在逆問題中的性能表現往往是有限的。這在圖像重建中尤其突出，當前深度學習重建圖像的方法會出現不穩定性，這體現在：
1）在圖像或抽樣域中的一個微小擾動就可能在重建圖像中產生嚴重的偽影；
2）圖像域中的一個微小細節可能會在重建圖像中被洗掉（缺乏準確性），導致潛在的漏報。
這類線性逆問題導致深度學習方法在穩定性與準確性之間的不平衡，使得任何圖像重建方法都無法在不犧牲準確性的情況下保持較高的穩定性，反之亦然。
為了解決這個問題，研究團隊引入一種「快速迭代重啟網絡」（FIRENETs）。經證明與數值驗證，FIRENETs 十分穩定。他們發現：在特定條件下，比如在 MRI中 ，有一些算法可以為方程1中的問題計算穩定的神經網絡。
關鍵是，他們證明了 FIRENETs 對擾動具有魯棒性，甚至可用來使不穩定的神經網絡變得穩定。
FIRENETs對擾動具有魯棒性
在穩定性測試中，團隊將 FIRENETs 與V. Antun等人（2020）開發的AUTOMAP網絡進行對比。如下圖中的上行所示，AUTOMAP網絡重建很不穩定，導致圖像完全變形。下行則是使用FIRENETs網絡的重建結果。即使在最差的重建結果中，它仍然保持穩定。
這證明了由FIRENETs算法所計算的神經網絡在小波中稀疏的圖像中，在對抗擾動方面具有穩定性，而且同時能夠維持一定的準確性。
FIRENETs的穩定器作用
同時，FIRENETs也起到了一個穩定器的作用。比如在下圖中，將來自AUTOMAP的重建輸入到FIRENETs，結果顯示，FIRENETs修正了AUTOMAP的輸出并將重建加以穩定化。
圖注：在AUTOMAP 的末端添加一些FIRENET層使其穩定。最左邊是AUTOMAP的重建。左二是x0 = Ψ( ?y)的FIRENET 的重建。右二是 ?y = Ax + e3時FIRENET 的重建。最右邊是輸入AUTOMAP 的測量值后FIRENET的重建。
FIRENETs兼具穩定性與準確性
在下圖中，一個在包含橢圓形狀的圖像上訓練的 U-Net 很穩定，但是，當添加一個原先不包含在訓練集中的細節后，U-Net 的穩定性就會受到極大影響。
圖注：性能有限的神經網絡經過訓練是可以具有穩定性的。考慮三個重建網絡Φj : Cm → CN, j = 1, 2, 3。對于每一個網絡,計算一個擾動值wj∈CN，旨在模擬最壞的效果，并在左列展示了一個經裁剪的攝動圖像x + wj （第二至四行）。中間一列（第二至四行）顯示了每一個網絡的重建圖像 Φj(A(x + wj)）。在右列，以“Can u see it?”的文本形式測試了網絡對微小細節h1的重建能力。
可以看到，在有噪聲測量值條件下訓練的網絡對于最壞情況下的擾動保持穩定，但并不準確。相反，無噪聲訓練的網絡是準確的，但不穩定。而FIRENET實現了二者的平衡，對于小波稀疏且在最壞情況下的穩定圖像來說，它仍是準確的。
但這并不是故事的結局，在現實生活中的應用場景中，找出穩定性與精度之間的最優權衡是最重要的，這無疑需要無數種不同的技術來解決不同的問題和穩定性誤差。
參考鏈接：
https://spectrum.ieee.org/deep-neural-network
http://www.damtp.cam.ac.uk/user/mjc249/pdfs/PNAS_Stable_Accurate_NN.pdf
https://www.pnas.org/doi/full/10.1073/pnas.2107151119
未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）大腦研究計劃，構建互聯網（城市）大腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。每日推薦范圍未來科技發展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。
??如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”
總結
以上是生活随笔為你收集整理的PNAS新研究：剑桥学者发现，有些 AI 模型无法被计算的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 使用ngModel创建组件
- 下一篇： EleutherAI：当OpenAI不够