http://blog.csdn.net/mao_xiao_feng/article/details/53350798

Hebbian principle

目前圖像領(lǐng)域的深度學(xué)習(xí)，是使用更深的網(wǎng)絡(luò)提升representation power，從而提高準(zhǔn)確率，但是這會(huì)導(dǎo)致網(wǎng)絡(luò)需要更新的參數(shù)爆炸式增長(zhǎng)，導(dǎo)致兩個(gè)嚴(yán)重的問(wèn)題：
1、網(wǎng)絡(luò)更容易過(guò)擬合，當(dāng)數(shù)據(jù)集不全的時(shí)候，過(guò)擬合更容易發(fā)生，于是我們需要為網(wǎng)絡(luò)feed大量的數(shù)據(jù)，但是制作樣本集本身就是一件復(fù)雜的事情。
2、大量需要更新的參數(shù)就會(huì)導(dǎo)致需要大量的計(jì)算資源，而當(dāng)下即使硬件快速發(fā)展，這樣龐大的計(jì)算也是很昂貴的

解決以上問(wèn)題的根本方法就是把全連接的網(wǎng)絡(luò)變?yōu)橄∈柽B接（卷積層其實(shí)就是一個(gè)稀疏連接），當(dāng)某個(gè)數(shù)據(jù)集的分布可以用一個(gè)稀疏網(wǎng)絡(luò)表達(dá)的時(shí)候就可以通過(guò)分析某些激活值的相關(guān)性，將相關(guān)度高的神經(jīng)元聚合，來(lái)獲得一個(gè)稀疏的表示。
這種方法也呼應(yīng)了Hebbian principle，一個(gè)很通俗的現(xiàn)象，先搖鈴鐺，之后給一只狗喂食，久而久之，狗聽(tīng)到鈴鐺就會(huì)口水連連。這也就是狗的“聽(tīng)到”鈴鐺的神經(jīng)元與“控制”流口水的神經(jīng)元之間的鏈接被加強(qiáng)了，而Hebbian principle的精確表達(dá)就是如果兩個(gè)神經(jīng)元常常同時(shí)產(chǎn)生動(dòng)作電位，或者說(shuō)同時(shí)激動(dòng)（fire），這兩個(gè)神經(jīng)元之間的連接就會(huì)變強(qiáng)，反之則變?nèi)?#xff08;neurons that fire together, wire together）

總結(jié)

以上是生活随笔為你收集整理的Hebbian principle理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。