李沐老師在課上大概描述過：

• 一層的感知機，理論上可以擬合任何一個函數，但是實際上無法實現，因為優化函數接不住

用官方的語言描述：

萬能近似定理(universal approximation theorem)，是深度學習最根本的理論依據。它聲明了在給定網絡具有足夠多的隱藏單元的條件下，配備一個線性輸出層和一個帶有任何“擠壓”性質的激活函數(如logistic sigmoid激活函數)的隱藏層的前饋神經網絡，能夠以任何想要的誤差量近似任何從一個有限維度的空間映射到到另一個有限維度空間的Borel可測的函數。

• 萬能近似定理其實說明了理論上神經網絡可以近似任何函數。但實踐上我們不能保證學習算法一定能學習到目標函數。即使網絡可以表示這個函數，學習也可能因為兩個不同的原因而失敗。第一，訓練算法可能無法找到目標函數的參數值；第二，訓練算法可能由于過擬合而選擇了錯的函數。

• 斯坦福的cs231n中提到，更深的模型更容易讓目前的優化算法學習到

• 和直覺不太符合的是，該課程中進一步提出， bigger neural networks更容易學習到最優解

• 有意思的是，如果我們先用deep模型學習完，再用一個shadow去模擬這個模型，效果有可能比deep模型還好，但直接用shadow模型去學習原始樣本卻會表現很差。Do Deep Nets Really Need to be Deep?【2】這篇論文有詳細的實驗。

• 總結：并不是說有能力近似萬能函數就萬事大吉了，關鍵的還是能不能用現有的優化算法學到它。

• 參考自：

總結

以上是生活随笔為你收集整理的相关-10. 万能近似定理(universal approximation theorem)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。