测量一条反斜线的频率和质量n+m=9
本實驗通過三個對象兩兩分類的辦法測量一個二維數組的頻率和質量。 這個二維數組滿足n+m=9，也就是與反對角線平行的一條直線。
假設一組圖片對神經網絡有兩個屬性分別是頻率和質量,頻率與點的分布有關，質量和點的數值大小有關。通過改變x的值觀察這一組斜線的頻率和質量有哪些關系。
?
實驗過程
制作一個帶一個3*3卷積核的神經網絡，測試集是mnist的0和1圖片集，將28*28的圖片縮小成9*9，隱藏層30個節點所以網絡的結構是
這個網絡分成兩個部分左邊的是讓mnist 0向1,0收斂，右邊的是讓mnist 1向 0,1收斂。讓左右兩邊的權重實現同步更新，實現權重共享。前面大量實驗表明這種效果相當于將兩個彈性系數是k1和k2的彈簧并聯得到彈性系數為k的彈簧，并且使得k1=k2=k/2的過程。
將上圖簡寫成
d2（mnist0,1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
這個網絡的收斂標準是
if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )
每個神經網絡對應每個收斂標準δ都有一個特征的迭代次數n，因此可以用迭代次數曲線n(δ)來評價網絡性能。
本文嘗試了δ從0.1到1e-6在內的22個值，訓練集是mnist0和1的前4999張圖片，
| 具體進樣順序 | ? | ? | ? |
| 進樣順序 | 迭代次數 | ? | ? |
| mnist 0-1 | 1 | ? | 判斷是否達到收斂 |
| mnist 1-1 | 2 | ? | 判斷是否達到收斂 |
| 梯度下降 | ? | ? | ? |
| mnist 0-2 | 3 | ? | 判斷是否達到收斂 |
| mnist 1-2 | 4 | ? | 判斷是否達到收斂 |
| 梯度下降 | ? | ? | ? |
| …… | ? | ? | ? |
| mnist 0-4999 | 9997 | ? | 判斷是否達到收斂 |
| mnist 1-4999 | 9998 | ? | 判斷是否達到收斂 |
| 梯度下降 | ? | ? | ? |
| …… | ? | ? | ? |
| 如果4999圖片內沒有達到收斂標準再次從頭循環 | ? | ||
| mnist 0-1 | 9999 | ? | 判斷是否達到收斂 |
| mnist 1-1 | 10000 | ? | 判斷是否達到收斂 |
| …… | ? | ? | ? |
| 達到收斂標準測量準確率 | ? | ? | |
測試集中有980個0和1135個1.將整個過程重復199次，取平均值，用這種方式得到的迭代次數n，用n12表示。
再用同樣的辦法做兩個網絡
d2（mnist x,0）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
意思是用同樣的網絡分類mnist的0和一張x圖片，讓0向1，0收斂，讓x向0，1收斂，得到的迭代次數用nx0表示
d2（mnist x,1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
用同樣的網絡分類mnist的1和一張x圖片，讓x向1，0收斂，讓1向0，1收斂，得到的迭代次數用nx1表示
這張圖片x就是一個9*9的二維數組
double [][]conx=new double[9][9];
for(int n=0 ;n<9;n++){
for(int m=0 ;m<9 ;m++){
if(n+m==9){
conx[n][m]=d;
} } }
本文分別讓d=0.5，0.6，0.7，0.8，0.9，1，2，3也就是計算了8組.
現在有了3個網絡
A:d2（mnist0,1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)
B:d2（mnistx,0）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)
C:d2（mnistx,1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)
根據前面的大量實驗n01，nx0，nx1可以用兩個方程組去計算
頻率方程組
質量方程組
因為測量了8組d因此可以得到8組ωx，ω0, ω1,mx,m0,m1,mx0,mx1,m01,k的數據
?
第一組數據計算ωx
| ? | 計算ωx | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 670.0614 | 868.4069 | 1555.135 | 1675.805 | 1715.435 | 2204.662 | 2071.908 | 2416.876 | 減小 |
| 0.01 | 1280.456 | 1523.381 | 2334.589 | 2436.122 | 2651.223 | 2793.268 | 3120.184 | 3356.517 | 減小 |
| 0.001 | 5673.412 | 4932.393 | 4101.873 | 4026.729 | 4144.065 | 4131.663 | 4299.277 | 4230.628 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 10668.81 | 9215.389 | 7788.842 | 7480.774 | 6797.078 | 6714.904 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 12558.53 | 9500.412 | 8816.668 | 7427.626 | 7065.494 | 6741.244 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 12330.94 | 10331.16 | 8704.732 | 8281.612 | 7318.294 | 6713.373 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 17239.39 | 11912.23 | 10129.68 | 8378.653 | 7831.011 | 7408.006 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 16656.86 | 11876.51 | 9494.629 | 9311.546 | 7753.765 | 7382.406 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 16337.2 | 12997.31 | 10277.42 | 9122.759 | 8326.603 | 7455.416 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 18253.29 | 11722.4 | 10105.03 | 8979.458 | 8101.14 | 7851.292 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 17303.49 | 13225.07 | 10738.56 | 9399.329 | 8380.329 | 7757.296 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 19931.99 | 13390.4 | 11397.37 | 9723.189 | 8674.823 | 8217.406 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 36458.73 | 21677.82 | 14648.71 | 12178.51 | 11084.49 | 9720.21 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 21039.96 | 17436.31 | 13223.02 | 11239.29 | 9956.357 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 43544.85 | 22080.23 | 14873.96 | 13139.55 | 11216.51 | 10016.29 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 23564.86 | 16156.51 | 13073.39 | 11046.18 | 10321.98 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 27792.02 | 17026 | 13554.97 | 11593.25 | 11115.8 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 29602.8 | 19029.55 | 14264.01 | 13033.51 | 11401.92 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 36667.51 | 20081.57 | 14387.73 | 13201.77 | 12021.63 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 35304.65 | 23085.29 | 17319.25 | 13631.57 | 12644.63 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 36257.68 | 23626.98 | 18525.58 | 15587.47 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 282189.9 | 36731.88 | 25592.15 | 18437.14 | 增加 |
?
隨著d的增大ωx也在增大
第二組數據計算ω0
| ? | 計算ω0 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 1541.09 | 1617.13 | 1586.76 | 1623.345 | 1593.772 | 1667.777 | 1635.571 | 1667.395 | 減小 |
| 0.01 | 2403.83 | 2360.674 | 2434.982 | 2468.306 | 2430.703 | 2360.394 | 2518.313 | 2449.249 | 減小 |
| 0.001 | 3941.145 | 4132.478 | 4087.841 | 4046.661 | 3891.431 | 3794.074 | 3702.333 | 3607.159 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 6290.997 | 6123.274 | 5969.894 | 5981.371 | 5770.516 | 5800.619 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 6359.921 | 6145.052 | 6176.768 | 5965.502 | 5968.738 | 5752.464 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 6391.406 | 6461.825 | 6357.966 | 6326.608 | 6004.165 | 5970.282 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 6644.815 | 6474.572 | 6332.298 | 6161.625 | 5987.018 | 5982.142 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 7191.522 | 6775.575 | 6777.093 | 6697.949 | 6333.664 | 6279.289 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 7401.921 | 7066.944 | 6951.306 | 6738.256 | 6769.821 | 6230.099 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 8190.791 | 7926.788 | 7468.458 | 7318.272 | 7126.291 | 7052.438 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 9021.717 | 9251.778 | 8761.426 | 8244.644 | 7742.68 | 7588.339 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 10569.76 | 10642.37 | 11260.86 | 10107.85 | 9276.681 | 8786.29 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 12604.13 | 12746.58 | 12621.47 | 12041.44 | 11004.56 | 10917.04 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 13413.81 | 12796.62 | 12163.51 | 11446.06 | 10420.36 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 14025.22 | 14735.59 | 14310.83 | 14391.87 | 12636.1 | 11743.73 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 15416.29 | 14694.26 | 14119.36 | 12110.3 | 11805.89 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 15899.1 | 16968.05 | 14628.95 | 13075.61 | 13031.12 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 16056.91 | 16569.38 | 16006.05 | 16457.9 | 13015.69 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 18209.89 | 17948.59 | 18396.15 | 15845.15 | 14193.9 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 18908.94 | 21005.65 | 20397.4 | 18107.12 | 15496.09 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 20369.68 | 18629.8 | 18194.31 | 16834.9 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 23801.09 | 23769.91 | 20611.5 | 17960.48 | 增加 |
?
隨著d的增大ω0增加，但不顯著
第三組數據計算ω1
| ? | 計算ω1 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 4955.835 | 3549.257 | 3934.299 | 3485.67 | 3832.238 | 3127.211 | 3371.823 | 3129.736 | 增加 |
| 0.01 | 3697.863 | 3870.702 | 3591.408 | 3491.013 | 3605.251 | 3871.941 | 3361.323 | 3546.871 | 增加 |
| 0.001 | 4341.689 | 4121.364 | 4167.12 | 4212.13 | 4411.061 | 4566.177 | 4741.718 | 4964.398 | 減小 |
| 1.00E-04 | #NUM! | #NUM! | 5553.202 | 5677.393 | 5808.826 | 5798.312 | 6012.344 | 5978.842 | 減小 |
| 9.00E-05 | #NUM! | #NUM! | 5689.293 | 5858.53 | 5831.447 | 6028.319 | 6024.984 | 6274.859 | 減小 |
| 8.00E-05 | #NUM! | #NUM! | 5968.915 | 5913.279 | 5996.558 | 6023.239 | 6348.935 | 6389.729 | 減小 |
| 7.00E-05 | #NUM! | #NUM! | 5808.439 | 5930.41 | 6046.792 | 6207.85 | 6403.149 | 6409.129 | 減小 |
| 6.00E-05 | #NUM! | #NUM! | 5929.144 | 6201.881 | 6200.718 | 6263.352 | 6614.957 | 6678.618 | 減小 |
| 5.00E-05 | #NUM! | #NUM! | 6145.251 | 6361.709 | 6449.988 | 6636.1 | 6606.361 | 7260.806 | 減小 |
| 4.00E-05 | #NUM! | #NUM! | 6441.127 | 6580.388 | 6887.453 | 7012.204 | 7194.876 | 7273.345 | 減小 |
| 3.00E-05 | #NUM! | #NUM! | 6844.517 | 6749.775 | 6966.48 | 7269.943 | 7680.639 | 7840.802 | 減小 |
| 2.00E-05 | #NUM! | #NUM! | 7623.307 | 7596.485 | 7397.817 | 7815.711 | 8293.673 | 8702.325 | 減小 |
| 1.00E-05 | #NUM! | #NUM! | 8400.501 | 8359.337 | 8395.383 | 8584.845 | 9050.713 | 9100.399 | 減小 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 8262.636 | 8421.986 | 8623.834 | 8918.512 | 9536.482 | 減小 |
| 8.00E-06 | #NUM! | #NUM! | 8865.31 | 8703.225 | 8796.14 | 8777.539 | 9307.06 | 9732.831 | 減小 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 8771.366 | 8917.91 | 9057.592 | 9812.032 | 9984.715 | 減小 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 9363.085 | 9171.036 | 9671.897 | 10252.33 | 10273.96 | 減小 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 9740.713 | 9633.359 | 9752.141 | 9655.568 | 10836.85 | 減小 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 10151.72 | 10198.3 | 10120.09 | 10698.99 | 11355.27 | 減小 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 11355.58 | 10986.05 | 11078.14 | 11545.61 | 12512.33 | 減小 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 12025.87 | 12457.83 | 12594.99 | 13134.87 | 減小 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 15157.69 | 15165.77 | 16299.88 | 18203.85 | 減小 |
?
隨著d的增大ω1減小，但不顯著
第四組數據m0
| ? | m0 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 0.189048 | 0.288375 | 0.960536 | 1.065677 | 1.158501 | 1.747463 | 1.604731 | 2.101028 | 減小 |
| 0.01 | 0.283741 | 0.416433 | 0.919242 | 0.974092 | 1.189676 | 1.400414 | 1.535115 | 1.878069 | 減小 |
| 0.001 | 2.072258 | 1.424604 | 1.006877 | 0.990173 | 1.134056 | 1.185873 | 1.348466 | 1.375558 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 2.876027 | 2.264957 | 1.702208 | 1.564198 | 1.387443 | 1.340081 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 3.899187 | 2.390197 | 2.037447 | 1.550266 | 1.401264 | 1.373321 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 3.722202 | 2.556159 | 1.874453 | 1.713515 | 1.485643 | 1.264422 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 6.730974 | 3.385039 | 2.558993 | 1.84909 | 1.710861 | 1.533519 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 5.364691 | 3.072452 | 1.962769 | 1.93268 | 1.498702 | 1.382213 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 4.871539 | 3.382543 | 2.185925 | 1.832979 | 1.5128 | 1.432036 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 4.966275 | 2.186948 | 1.830682 | 1.505508 | 1.292306 | 1.239378 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 3.678653 | 2.043364 | 1.50225 | 1.29972 | 1.171493 | 1.045027 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 3.556075 | 1.583106 | 1.024391 | 0.925337 | 0.874452 | 0.874699 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 8.36714 | 2.892305 | 1.347035 | 1.022897 | 1.014579 | 0.79276 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 2.460285 | 1.856603 | 1.181799 | 0.964197 | 0.912925 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 9.639499 | 2.245291 | 1.080248 | 0.83354 | 0.787933 | 0.727447 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 2.336523 | 1.208925 | 0.857327 | 0.831983 | 0.764414 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 3.055589 | 1.006841 | 0.858561 | 0.786116 | 0.727642 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 3.398927 | 1.319 | 0.794173 | 0.627154 | 0.767399 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 4.054604 | 1.251799 | 0.611689 | 0.694179 | 0.717337 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 3.486016 | 1.20781 | 0.720955 | 0.566752 | 0.665838 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 3.168338 | 1.608423 | 1.036747 | 0.857294 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 140.5689 | 2.387983 | 1.54168 | 1.053783 | 增加 |
?
隨著d的增加m0增加
第五組數據m1
| ? | m1 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 0.018281 | 0.059865 | 0.156243 | 0.23114 | 0.200375 | 0.497015 | 0.377582 | 0.596339 | 減小 |
| 0.01 | 0.119902 | 0.154895 | 0.422563 | 0.486962 | 0.540781 | 0.520437 | 0.861668 | 0.895544 | 減小 |
| 0.001 | 1.707542 | 1.432298 | 0.96893 | 0.913906 | 0.882606 | 0.818737 | 0.82209 | 0.726234 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 3.691007 | 2.634689 | 1.797915 | 1.664523 | 1.278077 | 1.261379 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 4.872601 | 2.629708 | 2.285895 | 1.518125 | 1.375223 | 1.154176 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 4.267778 | 3.0524 | 2.107205 | 1.890469 | 1.328672 | 1.103867 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 8.808963 | 4.034748 | 2.806349 | 1.821654 | 1.495714 | 1.335994 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 7.892277 | 3.667166 | 2.344618 | 2.210192 | 1.373951 | 1.221863 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 7.067664 | 4.174064 | 2.538927 | 1.889847 | 1.588587 | 1.054324 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 8.030797 | 3.173437 | 2.152571 | 1.639801 | 1.267785 | 1.165236 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 6.391189 | 3.838994 | 2.376102 | 1.671597 | 1.190495 | 0.978813 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 6.836192 | 3.107146 | 2.373569 | 1.547677 | 1.094025 | 0.891659 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 18.83617 | 6.72493 | 3.044514 | 2.012442 | 1.499912 | 1.140855 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 6.484141 | 4.286277 | 2.351043 | 1.588155 | 1.089995 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 24.12603 | 6.436458 | 2.859359 | 2.240864 | 1.452414 | 1.059095 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 7.217642 | 3.282228 | 2.083297 | 1.267379 | 1.068697 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 8.810536 | 3.446579 | 1.964147 | 1.278689 | 1.170593 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 9.236003 | 3.90213 | 2.139358 | 1.822077 | 1.107006 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 13.04619 | 3.87739 | 2.021233 | 1.522575 | 1.120809 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 9.665974 | 4.415581 | 2.444131 | 1.393986 | 1.02126 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 9.090058 | 3.596929 | 2.163455 | 1.408314 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 346.5905 | 5.86621 | 2.465158 | 1.025795 | 增加 |
?
?
隨著d的增加m1增加
第六組數據mx0
| ? | mx0 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 1.189048 | 1.288375 | 1.960536 | 2.065677 | 2.158501 | 2.747463 | 2.604731 | 3.101028 | 減小 |
| 0.01 | 1.283741 | 1.416433 | 1.919242 | 1.974092 | 2.189676 | 2.400414 | 2.535115 | 2.878069 | 減小 |
| 0.001 | 3.072258 | 2.424604 | 2.006877 | 1.990173 | 2.134056 | 2.185873 | 2.348466 | 2.375558 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 3.876027 | 3.264957 | 2.702208 | 2.564198 | 2.387443 | 2.340081 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 4.899187 | 3.390197 | 3.037447 | 2.550266 | 2.401264 | 2.373321 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 4.722202 | 3.556159 | 2.874453 | 2.713515 | 2.485643 | 2.264422 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 7.730974 | 4.385039 | 3.558993 | 2.84909 | 2.710861 | 2.533519 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 6.364691 | 4.072452 | 2.962769 | 2.93268 | 2.498702 | 2.382213 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 5.871539 | 4.382543 | 3.185925 | 2.832979 | 2.5128 | 2.432036 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 5.966275 | 3.186948 | 2.830682 | 2.505508 | 2.292306 | 2.239378 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 4.678653 | 3.043364 | 2.50225 | 2.29972 | 2.171493 | 2.045027 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 4.556075 | 2.583106 | 2.024391 | 1.925337 | 1.874452 | 1.874699 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 9.36714 | 3.892305 | 2.347035 | 2.022897 | 2.014579 | 1.79276 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 3.460285 | 2.856603 | 2.181799 | 1.964197 | 1.912925 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 10.6395 | 3.245291 | 2.080248 | 1.83354 | 1.787933 | 1.727447 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 3.336523 | 2.208925 | 1.857327 | 1.831983 | 1.764414 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 4.055589 | 2.006841 | 1.858561 | 1.786116 | 1.727642 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 4.398927 | 2.319 | 1.794173 | 1.627154 | 1.767399 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 5.054604 | 2.251799 | 1.611689 | 1.694179 | 1.717337 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 4.486016 | 2.20781 | 1.720955 | 1.566752 | 1.665838 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 4.168338 | 2.608423 | 2.036747 | 1.857294 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 141.5689 | 3.387983 | 2.54168 | 2.053783 | 增加 |
?
隨著d的增加mx0增加
第七組數據mx1
| ? | mx1 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 1.018281 | 1.059865 | 1.156243 | 1.23114 | 1.200375 | 1.497015 | 1.377582 | 1.596339 | 減小 |
| 0.01 | 1.119902 | 1.154895 | 1.422563 | 1.486962 | 1.540781 | 1.520437 | 1.861668 | 1.895544 | 減小 |
| 0.001 | 2.707542 | 2.432298 | 1.96893 | 1.913906 | 1.882606 | 1.818737 | 1.82209 | 1.726234 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 4.691007 | 3.634689 | 2.797915 | 2.664523 | 2.278077 | 2.261379 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 5.872601 | 3.629708 | 3.285895 | 2.518125 | 2.375223 | 2.154176 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 5.267778 | 4.0524 | 3.107205 | 2.890469 | 2.328672 | 2.103867 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 9.808963 | 5.034748 | 3.806349 | 2.821654 | 2.495714 | 2.335994 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 8.892277 | 4.667166 | 3.344618 | 3.210192 | 2.373951 | 2.221863 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 8.067664 | 5.174064 | 3.538927 | 2.889847 | 2.588587 | 2.054324 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 9.030797 | 4.173437 | 3.152571 | 2.639801 | 2.267785 | 2.165236 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 7.391189 | 4.838994 | 3.376102 | 2.671597 | 2.190495 | 1.978813 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 7.836192 | 4.107146 | 3.373569 | 2.547677 | 2.094025 | 1.891659 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 19.83617 | 7.72493 | 4.044514 | 3.012442 | 2.499912 | 2.140855 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 7.484141 | 5.286277 | 3.351043 | 2.588155 | 2.089995 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 25.12603 | 7.436458 | 3.859359 | 3.240864 | 2.452414 | 2.059095 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 8.217642 | 4.282228 | 3.083297 | 2.267379 | 2.068697 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 9.810536 | 4.446579 | 2.964147 | 2.278689 | 2.170593 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 10.236 | 4.90213 | 3.139358 | 2.822077 | 2.107006 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 14.04619 | 4.87739 | 3.021233 | 2.522575 | 2.120809 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 10.66597 | 5.415581 | 3.444131 | 2.393986 | 2.02126 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 10.09006 | 4.596929 | 3.163455 | 2.408314 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 347.5905 | 6.86621 | 3.465158 | 2.025795 | 增加 |
?
隨著d的增加mx1增加
第八組數據m01
| ? | m01 | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 0.207329 | 0.348239 | 1.116779 | 1.296816 | 1.358876 | 2.244478 | 1.982314 | 2.697367 | 減小 |
| 0.01 | 0.403643 | 0.571328 | 1.341805 | 1.461054 | 1.730457 | 1.92085 | 2.396783 | 2.773613 | 減小 |
| 0.001 | 3.779799 | 2.856902 | 1.975807 | 1.904079 | 2.016662 | 2.00461 | 2.170556 | 2.101792 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 6.567034 | 4.899646 | 3.500122 | 3.228721 | 2.66552 | 2.601459 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 8.771788 | 5.019906 | 4.323342 | 3.068391 | 2.776488 | 2.527498 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 7.98998 | 5.608559 | 3.981657 | 3.603983 | 2.814315 | 2.368289 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 15.53994 | 7.419787 | 5.365342 | 3.670744 | 3.206575 | 2.869513 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 13.25697 | 6.739618 | 4.307387 | 4.142872 | 2.872653 | 2.604076 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 11.9392 | 7.556607 | 4.724852 | 3.722825 | 3.101387 | 2.48636 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 12.99707 | 5.360385 | 3.983254 | 3.145309 | 2.560091 | 2.404614 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 10.06984 | 5.882358 | 3.878352 | 2.971318 | 2.361987 | 2.02384 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 10.39227 | 4.690252 | 3.39796 | 2.473014 | 1.968478 | 1.766358 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 27.20331 | 9.617234 | 4.391549 | 3.035339 | 2.514491 | 1.933616 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 8.944426 | 6.14288 | 3.532842 | 2.552352 | 2.002921 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 33.76553 | 8.681749 | 3.939607 | 3.074404 | 2.240348 | 1.786542 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 9.554165 | 4.491153 | 2.940624 | 2.099363 | 1.833111 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 11.86613 | 4.45342 | 2.822707 | 2.064805 | 1.898235 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 12.63493 | 5.22113 | 2.933531 | 2.449231 | 1.874405 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 17.10079 | 5.129189 | 2.632922 | 2.216754 | 1.838146 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 13.15199 | 5.62339 | 3.165086 | 1.960738 | 1.687097 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 12.2584 | 5.205352 | 3.200202 | 2.265608 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 487.1595 | 8.254193 | 4.006838 | 2.079577 | 增加 |
?
隨著d的增加m01增加
第九組數據k
| ? | k | ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 3 | 2 | 1 | 0.9 | 0.8 | 0.7 | 0.6 | 0.5 | ? |
| 0.1 | 448982.3 | 754130.5 | 2418444 | 2808324 | 2942718 | 4860536 | 4292804 | 5841290 | 減小 |
| 0.01 | 1639567 | 2320690 | 5450308 | 5934688 | 7028982 | 7802346 | 9735548 | 11266204 | 減小 |
| 0.001 | 32187604 | 24328496 | 16825365 | 16214550 | 17173271 | 17070639 | 18483783 | 17898212 | 增加 |
| 1.00E-04 | #NUM! | #NUM! | 1.14E+08 | 84923384 | 60666067 | 55961982 | 46200266 | 45089936 | 增加 |
| 9.00E-05 | #NUM! | #NUM! | 1.58E+08 | 90257829 | 77733630 | 55169624 | 49921205 | 45444369 | 增加 |
| 8.00E-05 | #NUM! | #NUM! | 1.52E+08 | 1.07E+08 | 75772361 | 68585092 | 53557427 | 45069381 | 增加 |
| 7.00E-05 | #NUM! | #NUM! | 2.97E+08 | 1.42E+08 | 1.03E+08 | 70201833 | 61324737 | 54878547 | 增加 |
| 6.00E-05 | #NUM! | #NUM! | 2.77E+08 | 1.41E+08 | 90147976 | 86704894 | 60120876 | 54499917 | 增加 |
| 5.00E-05 | #NUM! | #NUM! | 2.67E+08 | 1.69E+08 | 1.06E+08 | 83224738 | 69332311 | 55583227 | 增加 |
| 4.00E-05 | #NUM! | #NUM! | 3.33E+08 | 1.37E+08 | 1.02E+08 | 80630668 | 65628476 | 61642785 | 增加 |
| 3.00E-05 | #NUM! | #NUM! | 2.99E+08 | 1.75E+08 | 1.15E+08 | 88347385 | 70229920 | 60175640 | 增加 |
| 2.00E-05 | #NUM! | #NUM! | 3.97E+08 | 1.79E+08 | 1.3E+08 | 94540394 | 75252559 | 67525768 | 增加 |
| 1.00E-05 | #NUM! | #NUM! | 1.33E+09 | 4.7E+08 | 2.15E+08 | 1.48E+08 | 1.23E+08 | 94482488 | 增加 |
| 9.00E-06 | #NUM! | #NUM! | #NUM! | 4.43E+08 | 3.04E+08 | 1.75E+08 | 1.26E+08 | 99129041 | 增加 |
| 8.00E-06 | #NUM! | #NUM! | 1.90E+09 | 4.88E+08 | 2.21E+08 | 1.73E+08 | 1.26E+08 | 1E+08 | 增加 |
| 7.00E-06 | #NUM! | #NUM! | #NUM! | 5.55E+08 | 2.61E+08 | 1.71E+08 | 1.22E+08 | 1.07E+08 | 增加 |
| 6.00E-06 | #NUM! | #NUM! | #NUM! | 7.72E+08 | 2.9E+08 | 1.84E+08 | 1.34E+08 | 1.24E+08 | 增加 |
| 5.00E-06 | #NUM! | #NUM! | #NUM! | 8.76E+08 | 3.62E+08 | 2.03E+08 | 1.7E+08 | 1.3E+08 | 增加 |
| 4.00E-06 | #NUM! | #NUM! | #NUM! | 1.35E+09 | 4.03E+08 | 2.07E+08 | 1.74E+08 | 1.45E+08 | 增加 |
| 3.00E-06 | #NUM! | #NUM! | #NUM! | 1.25E+09 | 5.33E+08 | 3E+08 | 1.86E+08 | 1.6E+08 | 增加 |
| 2.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 1.32E+09 | 5.58E+08 | 3.43E+08 | 2.43E+08 | 增加 |
| 1.00E-06 | #NUM! | #NUM! | #NUM! | #NUM! | 7.96E+10 | 1.35E+09 | 6.55E+08 | 3.4E+08 | 增加 |
?
隨著d的增加k增加
數據綜合
| ? | ωx | ω0 | ω1 | m0 | m1 | mx0 | mx1 | m01 | k |
| δ>0.001 | 減小 | 減小 | 增加 | 減小 | 減小 | 減小 | 減小 | 減小 | 減小 |
| δ<=0.001 | 增加 | 增加但不顯著 | 減小但不顯著 | 增加 | 增加 | 增加 | 增加 | 增加 | 增加 |
?
可以明顯觀察到所有9個量在δ=0.001附近的變化方向都是相反的，
ω0和ω1的變化規律是相反的，并自δ<=0.001的波動要比較其他的量要平穩的多
所有9個量只有ω1是先增加再減小的。
當x從0.5-3的變化過程中mnist的0和1相對這張圖片的頻率屬性ω0和ω1的變化是相對平穩的，如果假設頻率和點的分布規律有關，這個結果是可以用這個假設解釋的。
?
實驗數據
| 學習率 0.1 |
| 權重初始化方式 |
| Random rand1 =new Random(); |
| int ti1=rand1.nextInt(98)+1; |
| int xx=1; |
| if(ti1%2==0) |
| { xx=-1;} |
| tw[a][b]=xx*((double)ti1/x); |
| 第一層第二層和卷積核的權重的初始化的x分別為1000,1000,200 |
?
?
總結
以上是生活随笔為你收集整理的测量一条反斜线的频率和质量n+m=9的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 开发商降价卖房算扰乱市场秩序么？
- 下一篇： 二分类吸引子，排斥子，鞍点和反鞍点数据汇