吸引子矩阵和鞍点矩阵可以用神经网络二分类吗?
?
?
制作一個4*4*2結構的神經網絡,向這個網絡輸入吸引子并讓這個網絡向1,0收斂
將這個網絡簡單表示成
s(c)-4-4-2-(2*k),k∈(0,1)
用同樣的辦法制作一個4*4*2的網絡向這個網絡輸入鞍點,并讓這個網絡向0,1收斂將這個網絡表示成
s(a)-4-4-2-(2*k),k∈(0,1)
現在用這兩個網絡組成一個網絡,并讓4*4*2部分的權重共享,前面大量實驗表明這種效果相當于將兩個彈性系數為k1,k2的彈簧并聯成一個彈性系數為k的彈簧,并且讓k1=k2=k/2的過程。
將這個網絡簡寫成
d2(c,a)-4-4-2-(2*k),k∈(0,1)
這個網絡的收斂標準是
if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )
因為對應每個收斂標準δ都有一個特征的迭代次數n與之對應因此可以用迭代次數曲線n(δ)來評價網絡性能。
本文嘗試了δ從0.5到1e-7在內的35個值.
| 具體進樣順序 | ? | ? | ? |
| 進樣順序 | 迭代次數 | ? | ? |
| δ=0.5 | ? | ? | ? |
| c | 1 | ? | 判斷是否達到收斂 |
| a | 2 | ? | 判斷是否達到收斂 |
| 梯度下降 | ? | ? | ? |
| c | 3 | ? | 判斷是否達到收斂 |
| a | 4 | ? | 判斷是否達到收斂 |
| 梯度下降 | ? | ? | ? |
| …… | ? | ? | ? |
| 達到收斂標準測量準確率,記錄迭代次數,將這個過程重復199次 | ? | ? | |
| δ=0.4 | ? | ? | ? |
| … | ? | ? | ? |
| δ=1e-7 | ? | ? | ? |
?
其中吸引子為
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
x[0]=((double)ti1/100);
Random rand2 =new Random();
int ti2=rand2.nextInt(98)+1;
x[3]=((double)ti2/100);
鞍點為
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
x[0]=1+((double)ti1/100);
Random rand2 =new Random();
int ti2=rand2.nextInt(98)+1;
x[3]=((double)ti2/100);
?
| f2[0] | f2[1] | 迭代次數n | 平均準確率p-ave | δ | 耗時ms/次 | 耗時ms/199次 | 耗時 min/199 |
| 0.4973738 | 0.5790926 | 102.78392 | 0 | 0.5 | 1.1407035 | 227 | 0.0037833 |
| 0.3882091 | 0.604727 | 656.61809 | 0 | 0.4 | 1.5728643 | 313 | 0.0052167 |
| 0.6141019 | 0.3955552 | 981.76382 | 0 | 0.3 | 2.7386935 | 546 | 0.0091 |
| 0.8300665 | 0.1785641 | 1123.7638 | 0 | 0.2 | 2.7336683 | 545 | 0.0090833 |
| 0.9184898 | 0.0878419 | 1405.7337 | 0 | 0.1 | 2.8090452 | 559 | 0.0093167 |
| 0.9919032 | 0.008539 | 2632.1055 | 0 | 0.01 | 5.8894472 | 1203 | 0.02005 |
| 0.9991512 | 8.69E-04 | 5691.7337 | 0 | 0.001 | 14.080402 | 2802 | 0.0467 |
| 0.999917 | 8.38E-05 | 15195.593 | 0 | 1.00E-04 | 27.753769 | 5523 | 0.09205 |
| 0.9999257 | 7.47E-05 | 15284.769 | 0 | 9.00E-05 | 25.21608 | 5018 | 0.0836333 |
| 0.9999339 | 6.64E-05 | 16076.286 | 0 | 8.00E-05 | 27.080402 | 5405 | 0.0900833 |
| 0.9999425 | 5.78E-05 | 16793.824 | 0 | 7.00E-05 | 26.788945 | 5331 | 0.08885 |
| 0.9999502 | 5.00E-05 | 17768.357 | 0 | 6.00E-05 | 28.351759 | 5642 | 0.0940333 |
| 0.9999595 | 4.07E-05 | 18253.603 | 0 | 5.00E-05 | 29.190955 | 5824 | 0.0970667 |
| 0.9999668 | 3.34E-05 | 20081.362 | 0 | 4.00E-05 | 31.723618 | 6313 | 0.1052167 |
| 0.9999752 | 2.50E-05 | 21984.236 | 0 | 3.00E-05 | 35.281407 | 7022 | 0.1170333 |
| 0.9999841 | 1.60E-05 | 24490.99 | 0 | 2.00E-05 | 39.316583 | 7824 | 0.1304 |
| 0.999992 | 8.01E-06 | 28248.005 | 0 | 1.00E-05 | 46.040201 | 9162 | 0.1527 |
| 0.9999928 | 7.18E-06 | 29563.402 | 0 | 9.00E-06 | 48.567839 | 9665 | 0.1610833 |
| 0.9999936 | 6.39E-06 | 29501.603 | 0 | 8.00E-06 | 47.336683 | 9435 | 0.15725 |
| 0.9999944 | 5.66E-06 | 30280.618 | 0 | 7.00E-06 | 49.592965 | 9869 | 0.1644833 |
| 0.9999953 | 4.71E-06 | 32122.377 | 0 | 6.00E-06 | 51.748744 | 10298 | 0.1716333 |
| 0.9999961 | 3.92E-06 | 33773.653 | 0 | 5.00E-06 | 54.944724 | 10934 | 0.1822333 |
| 0.9999969 | 3.12E-06 | 34983.06 | 0 | 4.00E-06 | 56.954774 | 11334 | 0.1889 |
| 0.9999976 | 2.37E-06 | 37436.166 | 0 | 3.00E-06 | 60.236181 | 11988 | 0.1998 |
| 0.9999984 | 1.58E-06 | 41540.487 | 0 | 2.00E-06 | 71.80402 | 14291 | 0.2381833 |
| 0.9999992 | 7.91E-07 | 46298.869 | 0 | 1.00E-06 | 74.346734 | 14795 | 0.2465833 |
| 0.9999993 | 6.95E-07 | 47482.819 | 0 | 9.00E-07 | 78.949749 | 15711 | 0.26185 |
| 0.9999994 | 6.09E-07 | 50850.447 | 0 | 8.00E-07 | 81.653266 | 16249 | 0.2708167 |
| 0.9999995 | 5.44E-07 | 50078.759 | 0 | 7.00E-07 | 79.849246 | 15890 | 0.2648333 |
| 0.9999995 | 4.55E-07 | 53463.724 | 0 | 6.00E-07 | 85.266332 | 16968 | 0.2828 |
| 0.9999996 | 3.84E-07 | 54474.839 | 0 | 5.00E-07 | 88.100503 | 17549 | 0.2924833 |
| 0.9999997 | 3.09E-07 | 55232.638 | 0 | 4.00E-07 | 87.738693 | 17460 | 0.291 |
| 0.9999998 | 2.32E-07 | 59315.241 | 0 | 3.00E-07 | 93.527638 | 18612 | 0.3102 |
| 0.9999999 | 1.47E-07 | 62487.734 | 0 | 2.00E-07 | 97.663317 | 19435 | 0.3239167 |
| 0.9999999 | 7.58E-08 | 70304.487 | 0 | 1.00E-07 | 114.0804 | 22702 | 0.3783667 |
?
?
迭代次數隨著δ的減小不斷增加。
可以很合理假設兩個微觀粒子在碰到一起的時候一定要相互區分對方,就向在吸引子和鞍點之間有一種力隨著兩個分類對象的接近而增加;或者也可以理解成兩個對象之間的力之所以隨著距離的減小而增加是因為兩個對象在任意小的精度上的差別都在變小,但兩個對象的差別在任意小的精度上一直存在。
如果假設每張圖片相對神經網絡都有兩個屬性分別是頻率和質量,頻率和點的分布有關,而質量和點的數值大小有關。而排斥子和鞍點就是兩條對角線。他們能被分類從數據上證明了圖片相對神經網絡存在一種與分布無關的屬性可以實現彼此區別。
?
實驗參數
| 學習率 0.1 |
| 權重初始化方式 |
| Random rand1 =new Random(); |
| int ti1=rand1.nextInt(98)+1; |
| tw[a][b]=xx*((double)ti1/100); |
?
吸引子
鞍點
?
?
?
總結
以上是生活随笔為你收集整理的吸引子矩阵和鞍点矩阵可以用神经网络二分类吗?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用神经网络二分类吸引子与排斥子
- 下一篇: 一张图片相对神经网络可能有几种属性?