由隐藏层节点数引起的网络准确率的不规则变化02
(0，2)-81*n*2-(1,0)(0,1)
做一個(gè)分類mnist 0，2的二分類三層網(wǎng)絡(luò)，隱藏層節(jié)點(diǎn)數(shù)由3-1000共實(shí)驗(yàn)了59組值。固定收斂標(biāo)準(zhǔn)δ=1e-6,每組值迭代1999次，統(tǒng)計(jì)平均分類準(zhǔn)確率pave和迭代次數(shù)的分布。
?
統(tǒng)計(jì)得到的表格
| 隱藏層節(jié)點(diǎn)數(shù) | 迭代次數(shù)的均值 | 平均分類準(zhǔn)確率 | δ | 耗時(shí)ms/次 | 峰值占比% | 不同峰值數(shù)量 | 1/n^2 |
| 3 | 178616.4877 | 0.986592451 | 1.00E-06 | 796.08804 | 6.8 | 683 | 0.111111 |
| 5 | 117136.8594 | 0.98855914 | 1.00E-06 | 621.7969 | 2.8 | 674 | 0.04 |
| 10 | 80329.23862 | 0.988490518 | 1.00E-06 | 583.22361 | 18.4 | 162 | 0.01 |
| 20 | 56105.15958 | 0.987261772 | 1.00E-06 | 732.94347 | 46.5 | 40 | 0.0025 |
| 30 | 34663.66183 | 0.985049185 | 1.00E-06 | 606.98649 | 36.7 | 23 | 0.001111 |
| 40 | 18375.36068 | 0.983432571 | 1.00E-06 | 453.7964 | 37.9 | 13 | 0.000625 |
| 50 | 12000.17909 | 0.982436049 | 1.00E-06 | 382.18659 | 34.1 | 13 | 0.0004 |
| 60 | 8716.448224 | 0.982761759 | 1.00E-06 | 335.53677 | 62.5 | 8 | 0.000278 |
| 70 | 7765.041521 | 0.981953203 | 1.00E-06 | 357.97199 | 82.3 | 6 | 0.000204 |
| 80 | 7575.328664 | 0.981890548 | 1.00E-06 | 389.42671 | 80.5 | 7 | 0.000156 |
| 90 | 6987.775888 | 0.982819939 | 1.00E-06 | 417.70035 | 47 | 7 | 0.000123 |
| 100 | 5530.548274 | 0.98257404 | 1.00E-06 | 423.09355 | 55.3 | 9 | 0.0001 |
| 110 | 4701.468734 | 0.981943755 | 1.00E-06 | 384.8024 | 54.5 | 9 | 8.26E-05 |
| 120 | 4529.92096 | 0.981862701 | 1.00E-06 | 392.42271 | 91.8 | 5 | 6.94E-05 |
| 130 | 4516.147074 | 0.981792089 | 1.00E-06 | 511.30415 | 99.8 | 2 | 5.92E-05 |
| 150 | 4476.825413 | 0.9805621 | 1.00E-06 | 574.1906 | 95.3 | 4 | 4.44E-05 |
| 170 | 3694.712356 | 0.954447154 | 1.00E-06 | 565.87844 | 97.3 | 3 | 3.46E-05 |
| 190 | 3592.71936 | 0.95640887 | 1.00E-06 | 603.2051 | 78.9 | 4 | 2.77E-05 |
| 210 | 3288.171586 | 0.976363927 | 1.00E-06 | 629.10155 | 98.7 | 4 | 2.27E-05 |
| 230 | 3272.45923 | 0.975947964 | 1.00E-06 | 631.7939 | 90.6 | 4 | 1.89E-05 |
| 250 | 3138.144072 | 0.978781637 | 1.00E-06 | 712.0065 | 56.8 | 5 | 0.000016 |
| 270 | 2888.591296 | 0.973652084 | 1.00E-06 | 773.10255 | 51.4 | 6 | 1.37E-05 |
| 290 | 2357.346673 | 0.935567436 | 1.00E-06 | 696.62481 | 97.7 | 4 | 1.19E-05 |
| 310 | 1856.995498 | 0.929918737 | 1.00E-06 | 612.47474 | 62.5 | 2 | 1.04E-05 |
| 330 | 1556.47924 | 0.92568501 | 1.00E-06 | 606.68534 | 99.4 | 2 | 9.18E-06 |
| 350 | 1552 | 0.921664858 | 1.00E-06 | 664.22911 | 100 | 1 | 8.16E-06 |
| 370 | 1552 | 0.918690707 | 1.00E-06 | 772.15358 | 100 | 1 | 7.3E-06 |
| 390 | 1552 | 0.916166582 | 1.00E-06 | 720.62431 | 100 | 1 | 6.57E-06 |
| 410 | 1552 | 0.914367472 | 1.00E-06 | 843.29965 | 100 | 1 | 5.95E-06 |
| 430 | 1551.701351 | 0.912146928 | 1.00E-06 | 793.67234 | 99.8 | 2 | 5.41E-06 |
| 450 | 1522.433717 | 0.880051358 | 1.00E-06 | 859.56378 | 85.1 | 2 | 4.94E-06 |
| 470 | 1402.874437 | 0.754977141 | 1.00E-06 | 764.50125 | 74.9 | 2 | 4.53E-06 |
| 490 | 1347.812906 | 0.722088927 | 1.00E-06 | 886.8004 | 89.8 | 5 | 4.16E-06 |
| 510 | 1146.158579 | 0.857728317 | 1.00E-06 | 892.62881 | 50.6 | 5 | 3.84E-06 |
| 530 | 977.2226113 | 0.826342346 | 1.00E-06 | 643.85993 | 97.8 | 3 | 3.56E-06 |
| 550 | 970 | 0.82386397 | 1.00E-06 | 680.67684 | 100 | 1 | 3.31E-06 |
| 570 | 970 | 0.822728213 | 1.00E-06 | 702.85343 | 100 | 1 | 3.08E-06 |
| 590 | 970 | 0.822263766 | 1.00E-06 | 722.5923 | 100 | 1 | 2.87E-06 |
| 610 | 970 | 0.822133731 | 1.00E-06 | 736.7959 | 100 | 1 | 2.69E-06 |
| 630 | 970 | 0.822198624 | 1.00E-06 | 735.29915 | 100 | 1 | 2.52E-06 |
| 650 | 970 | 0.822440544 | 1.00E-06 | 798.82191 | 100 | 1 | 2.37E-06 |
| 670 | 970 | 0.82361832 | 1.00E-06 | 850.35468 | 100 | 1 | 2.23E-06 |
| 690 | 970 | 0.824684708 | 1.00E-06 | 854.21961 | 100 | 1 | 2.1E-06 |
| 710 | 969.873937 | 0.826557165 | 1.00E-06 | 894.21061 | 99.8 | 2 | 1.98E-06 |
| 730 | 968.3561781 | 0.830087758 | 1.00E-06 | 912.29165 | 98.1 | 3 | 1.88E-06 |
| 750 | 946.4872436 | 0.851308358 | 1.00E-06 | 929.28664 | 82.9 | 4 | 1.78E-06 |
| 770 | 809.911956 | 0.929636538 | 1.00E-06 | 851.93297 | 51.7 | 7 | 1.69E-06 |
| 790 | 716.0025013 | 0.963690593 | 1.00E-06 | 853.78639 | 88.2 | 7 | 1.6E-06 |
| 810 | 690.8169085 | 0.965884533 | 1.00E-06 | 890.66033 | 82.7 | 5 | 1.52E-06 |
| 830 | 679.128064 | 0.95942877 | 1.00E-06 | 874.05003 | 75.3 | 5 | 1.45E-06 |
| 850 | 615.8854427 | 0.869436458 | 1.00E-06 | 898.92997 | 64.6 | 7 | 1.38E-06 |
| 870 | 525.803902 | 0.763393128 | 1.00E-06 | 798.73787 | 36.9 | 6 | 1.32E-06 |
| 890 | 331.6188094 | 0.556186393 | 1.00E-06 | 789.82491 | 80.1 | 8 | 1.26E-06 |
| 910 | 267.3936968 | 0.490041243 | 1.00E-06 | 709.89045 | 99 | 6 | 1.21E-06 |
| 930 | 264.8129065 | 0.494703117 | 1.00E-06 | 766.3942 | 98.3 | 2 | 1.16E-06 |
| 950 | 264.1690845 | 0.520551031 | 1.00E-06 | 743.35218 | 92.4 | 2 | 1.11E-06 |
| 970 | 263.4097049 | 0.550442219 | 1.00E-06 | 760.8024 | 85.5 | 2 | 1.06E-06 |
| 990 | 261.1205603 | 0.639628711 | 1.00E-06 | 820.14357 | 64.7 | 2 | 1.02E-06 |
| 1000 | 257.9674837 | 0.762096754 | 1.00E-06 | 814.48074 | 63.9 | 2 | 0.000001 |
?
Pave
這次實(shí)驗(yàn)n=5時(shí)pave取得最大pave=0.988559140405195，觀察圖片pave隨n的增加至少有比較明顯的兩個(gè)谷和一個(gè)峰，表現(xiàn)了非常不規(guī)則的變化，也就是在固定δ的情況下說n越大網(wǎng)絡(luò)性能越強(qiáng)或者說n越小網(wǎng)絡(luò)分辨性能越強(qiáng)都是不準(zhǔn)確的。
峰值占比
這條曲線一個(gè)比較有價(jià)值的分割點(diǎn)是n=60，當(dāng)n>60以后最大峰值占比就幾乎都是大于40%，
而峰值占比小于20%的只有3組數(shù)據(jù)分別是n=3，5，10而這三組數(shù)據(jù)的平均分辨準(zhǔn)確率也是所有59組數(shù)據(jù)中排名位于3，1，2的前三組數(shù)據(jù)。這個(gè)現(xiàn)象也證實(shí)了峰值占比和分辨準(zhǔn)確率之間的強(qiáng)烈的正相關(guān)關(guān)系。
?
不同峰值數(shù)量
這組數(shù)據(jù)變化幅度非常大暗示和1/n^2之一強(qiáng)烈的關(guān)系。不同峰值數(shù)量大于100的只有3，5，10這3組數(shù)據(jù)。
這個(gè)現(xiàn)象提供了無需測(cè)試集找到網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)的迭代思路：
在固定收斂標(biāo)準(zhǔn)下，在相同的迭代次數(shù)內(nèi)，如果A網(wǎng)絡(luò)的不同峰值數(shù)量>B網(wǎng)絡(luò)的不同峰值數(shù)量，則A網(wǎng)絡(luò)性能優(yōu)于B網(wǎng)絡(luò)。
?
?
?
?
?
?
?
?
?
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的由隐藏层节点数引起的网络准确率的不规则变化02的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 平均分辨准确率对网络隐藏层节点数的非线性
- 下一篇： 神经网络与原子轨道线性组合算法LCAO