神经网络的物理学解释(一)---权重与概率幅
假設(shè)在m,n,k位置上有三個球A,B,C
現(xiàn)在讓A撞向B,同時也讓C撞向B,無論這三個小球是如何相互作用的,不管是強相互作用,弱相互作用,電磁力,或者是引力,也不管作用方向,作用力的大小,總之這兩次碰撞的結(jié)果都可以用B球在n點出現(xiàn)概率的變化來表示,B球在n點出現(xiàn)的概率w3=w1+w2
制作一個簡單1*2*2的神經(jīng)網(wǎng)絡(luò),B點的輸入很顯然是A*Wab,按照波動力學(xué),概率幅和電子電荷相乘就代表了電荷在空間的實際分布,把A看作電荷,Wab是歸一化的權(quán)重當(dāng)然也可以看作是概率幅,A*Wab就是B點的電荷的分布。
然后用Fermi-Dirac分布函數(shù)做激活函數(shù)
但是把β=1 ,εF=0
β≡1/(kB*T)
KB是玻爾茲曼常數(shù)
T是溫度
εF系統(tǒng)中電子的化學(xué)勢
ε是能量,假設(shè)能量是與B點電荷的分布有關(guān),并且考慮電性讓B點的能量
ε=(-1)*A*Wab
這樣就把Fermi-Dirac分布函數(shù)變成了sigmoid分布函數(shù)
按照Fermi-Dirac的物理意義,S(x)=1/(1+e^(-A*Wab))的意義就是B粒子占據(jù)能量-A*Wab的幾率。比如S(x)=0.1的意思就是在B位置能量為-A*Wab的粒子數(shù)可能為0.1個
同理C點就是C粒子占據(jù)能量 -(B*Wbc+D*Wdc)的幾率。
總結(jié)
以上是生活随笔為你收集整理的神经网络的物理学解释(一)---权重与概率幅的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 神经网络为什么要加偏置?---bias与
- 下一篇: QSAR生命的发动机卟啉c20h14n4