機器學(xué)習(xí)在本質(zhì)上就是找到個好用的函數(shù)。

而人工神經(jīng)網(wǎng)絡(luò)最牛的地方可能就在于，它可以在理論上證明：“一個包含足夠多隱含層神經(jīng)元的多層前饋網(wǎng)絡(luò)，能以任意精度逼近任意預(yù)定的連續(xù)函數(shù)”。

這個定理也被稱為通用近似定理（UniversalApproximationTheorem這里的“Universal”，也有人將其翻譯成“萬能的”，由此可以看出，這個定理的能有多大。

通用近似定理告訴我們，不管函數(shù) f(x) 在形式上有多復(fù)雜，我們總能確保找到一個神經(jīng)網(wǎng)絡(luò)，對任何可能的輸入，以任意高的精度近似輸出 f(x) 。換句話說，神經(jīng)網(wǎng)絡(luò)在理論上可近似解決任何問題，這就厲害了！有關(guān)神網(wǎng)絡(luò)可以計算任何函數(shù)的可視化證明。

僅有一層的前饋網(wǎng)絡(luò)，的確足以有效地表示任何函數(shù)，但是，這樣的網(wǎng)絡(luò)結(jié)構(gòu)可能會格外龐大，進(jìn)而無法正確地 學(xué)習(xí)和泛化。

如下圖，在區(qū)間[-2,2]中神經(jīng)網(wǎng)絡(luò)對函數(shù)擬合的不錯，但是當(dāng)超過此區(qū)間時，結(jié)果便大相徑庭，也就很難 “泛化” 支撐其他輸入。

參考文獻(xiàn)：《深度學(xué)習(xí)之美:AI時代的數(shù)據(jù)處理與最佳實踐》

猜你喜歡：👇🏻
?【隨筆】深度學(xué)習(xí)之美——楊家有女初長成，養(yǎng)在深閨人未識
?【隨筆】卷積神經(jīng)網(wǎng)絡(luò)中的卷積怎么卷？
?【隨筆】激活函數(shù)是怎樣一種存在？

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【随笔】通用近似定理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。