用实验验证神经网络的节点是否可以看作弹性小球
1955年在美國(guó)的阿拉莫斯實(shí)驗(yàn)室的三名著名的物理學(xué)家費(fèi)米(E.Fermi),帕斯塔(J.Pasta)和烏萊姆(S.Ulam)為了驗(yàn)證能量均分定理,將64個(gè)質(zhì)點(diǎn)用彈簧聯(lián)結(jié),對(duì)少數(shù)質(zhì)點(diǎn)進(jìn)行激發(fā),看看是否能量是否會(huì)均衡的分布到每個(gè)質(zhì)點(diǎn)上。
但意外的是長(zhǎng)時(shí)間以后能量幾乎全部回到了初始的少數(shù)質(zhì)點(diǎn)上。這個(gè)結(jié)果表明這個(gè)非線性系統(tǒng)可以出現(xiàn)孤立波。這就是著名的FPU問(wèn)題。
模仿這個(gè)實(shí)驗(yàn)做了一個(gè)64層每層1個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò),1*1…*1,畫(huà)成圖如下
X0初始化sigmoid(0.9),
所有權(quán)重w[63][0]都初始化為0.02,
激活函數(shù)是sigmoid
反向傳導(dǎo)的方法讓左右兩邊的x相等
差值的計(jì)算方法
for(int a=0 ;a<2;a++){ d=x[a][0]*( x[a+1][0]-x[a+2][0] ); }for(int a=2 ;a<r-2 ;a++){ d=x[a][0]*( x[a+1][0]-x[a+2][0] )+x[a][0]*( x[a-1][0]-x[a-2][0] ); }for(int a=r-2 ;a<r-1;a++){ d=x[a][0]*( x[a-1][0]-x[a-2][0] ); }分別迭代了500次,1000次,2000次,5000次,1萬(wàn)次,10萬(wàn)次,100萬(wàn)次
將得到的x[64][0]的值畫(huà)出來(lái)
可以開(kāi)到一個(gè)波包隨著迭代次數(shù)的增加向右移動(dòng)
如果把凹陷看作是波,可以看到這個(gè)波在向左移動(dòng)
孤立子有4種類(lèi)型,波包,凹陷,左扭結(jié),右扭結(jié).隨著迭代次數(shù)的增加這個(gè)波包的波長(zhǎng)逐漸增大,到迭代100萬(wàn)次的時(shí)候圖像看起來(lái)像右扭結(jié)。
如果這64個(gè)神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)看作是水分子,上面的圖像不就是水面上的孤波子嗎?
?
具體數(shù)據(jù)
總結(jié)
以上是生活随笔為你收集整理的用实验验证神经网络的节点是否可以看作弹性小球的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 加速神经网络收敛的萃取精馏权重法
- 下一篇: 权重可以当做概率幅吗?---用神经网络的