调参总结
一.Tensorflow的迭代次數(shù)到底應(yīng)該設(shè)置為多少？
二.迭代次數(shù)對網(wǎng)絡(luò)分類準(zhǔn)確率的影響
三.快速設(shè)定網(wǎng)絡(luò)參數(shù)的一種便捷方法
?
一
1.訓(xùn)練集對迭代次數(shù)的影響
完全相同的兩個(gè)對象無法被分成兩類，比如用一個(gè)二分類網(wǎng)絡(luò)去分類mnist的0和0，這個(gè)網(wǎng)絡(luò)的分類準(zhǔn)確率永遠(yuǎn)是50%。也就是說分類兩個(gè)完全相同的對象的迭代次數(shù)是無窮大，由此可以引申出如果兩個(gè)被分類對象之間的差異越小，與之對應(yīng)的迭代次數(shù)將越大。
因此可以將迭代次數(shù)理解成是兩個(gè)被分類對象之間差異大小的量度。
制作9個(gè)網(wǎng)絡(luò)分別用來分類0-1到0-9
(mnis 0, mnist x)-con(3*3)-49-30-2-(1,0)(0,1)
三層網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)是81，30，2。有一個(gè)3*3的卷積核，分類mnist的0和mnist x，讓x=1-9，讓0向（1，0）收斂，讓x向（0，1）收斂。
同時(shí)設(shè)置這個(gè)網(wǎng)絡(luò)的迭代停止標(biāo)準(zhǔn)是
|輸出函數(shù)-目標(biāo)函數(shù)|<δ
讓δ等于0.1到1e-7的31個(gè)值，每組值收斂199次，統(tǒng)計(jì)每次的迭代次數(shù)并統(tǒng)計(jì)平均值，得到的表格
| ? | 9 | 6 | 8 | 2 | 5 | 3 | 4 | 7 | 1 |
| δ | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n |
| 0.1 | 2362.905 | 2763.372 | 2617.372 | 2785.725 | 3508.412 | 2567.648 | 2352.869 | 2232.146 | 2081.131 |
| 1.00E-02 | 3377.824 | 3516.397 | 3487.045 | 3620.905 | 4482.322 | 3501.432 | 3239.744 | 3104.673 | 2850.236 |
| 1.00E-03 | 4638.894 | 4851.055 | 4888.638 | 4846.435 | 6103.94 | 4664.523 | 4525.779 | 4367.447 | 4126.91 |
| 1.00E-04 | 7127.503 | 7646.131 | 6770.578 | 7709.22 | 8919.698 | 7099.93 | 6481.905 | 6468.623 | 5887.709 |
| 9*1e-5 | 7156.286 | 7773.497 | 7345.497 | 7951.16 | 9349.02 | 7262.709 | 6723.286 | 6437.633 | 5996.663 |
| 8*1e-5 | 7367.859 | 7928.668 | 7308.02 | 8182.51 | 9539.442 | 7505.925 | 6901.276 | 6564.357 | 6169.337 |
| 7*1e-5 | 7518.492 | 8338.367 | 7442.362 | 8193.28 | 10203.43 | 7687.362 | 6983.593 | 6779.578 | 6184.608 |
| 6*1e-5 | 7833.106 | 8790.824 | 7950.407 | 8780.59 | 9851.553 | 8094.297 | 7224.774 | 6887.774 | 6469.729 |
| 5*1e-5 | 8203.98 | 8774.352 | 7781.106 | 9227.095 | 10868.83 | 8405.387 | 7523.724 | 7299.528 | 6686.593 |
| 4*1e-5 | 8463.402 | 9638.643 | 8625.352 | 9473.415 | 11182.1 | 8815.392 | 7910.116 | 7553.477 | 7160.337 |
| 3*1e-5 | 9201.839 | 10600.94 | 9775.462 | 10478 | 12931.17 | 9679.422 | 8599.352 | 8293.955 | 7711.472 |
| 2*1e-5 | 10848.2 | 11411.08 | 11628.49 | 12060.84 | 14625.32 | 10461.67 | 9137.015 | 8723.643 | 8744.005 |
| 1.00E-05 | 13375.71 | 14873 | 14918.06 | 19757.36 | 20225.77 | 12683.54 | 11235.33 | 10555.44 | 9885.658 |
| 9*1e-6 | 13466.41 | 15159.28 | 14988.04 | 22245.54 | 21326.77 | 13059.99 | 11316.15 | 10476.27 | 9949.095 |
| 8*1e-6 | 14629.72 | 17935.03 | 16597.2 | 22214.93 | 23468.94 | 13171.09 | 11563.64 | 10925.47 | 10597.78 |
| 7*1e-6 | 14828.54 | 18620.5 | 17736.16 | 28045.61 | 24229.22 | 13862.52 | 12665.93 | 11219.57 | 10781.61 |
| 6*1e-6 | 15859.35 | 19321.87 | 20981.81 | 28410.34 | 27358.97 | 15417.61 | 13010.63 | 11748.35 | 11409.87 |
| 5*1e-6 | 18927.24 | 21230.97 | 21156.49 | 33681.76 | 31394.19 | 15919.56 | 13712.61 | 12474.75 | 11777.72 |
| 4*1e-6 | 19663.64 | 24558.27 | 24769.43 | 37281.58 | 36071.51 | 18205.72 | 14354.06 | 13049.01 | 12539.73 |
| 3*1e-6 | 26072.95 | 31304.92 | 32129.62 | 45173.59 | 43770.63 | 22269.52 | 16352.39 | 14324.43 | 13767.38 |
| 2*1e-6 | 34811.55 | 46862.86 | 53448.89 | 60366.62 | 53362.96 | 31163.59 | 18902.75 | 16918.78 | 14645.3 |
| 1.00E-06 | 70131.85 | 100355.9 | 73646.55 | 90392.45 | 76472.83 | 47298.7 | 29535.1 | 21313.81 | 18080.93 |
| 9*1e-7 | 77841.01 | 103772.7 | 81385.9 | 99247.65 | 86231.85 | 50701.34 | 28357.42 | 21287.42 | 18234.14 |
| 8*1e-7 | 108462 | 119839 | 91615.03 | 95016.96 | 91895.45 | 50896.83 | 32744.68 | 24145.12 | 19182.81 |
| 7*1e-7 | 123232.6 | 129092.7 | 109482.4 | 113411.5 | 94373.55 | 62449.56 | 35204.73 | 27625.46 | 20378.61 |
| 6*1e-7 | 140167.9 | 127953.1 | 109426.8 | 116304.3 | 101428.6 | 64837.91 | 39191.89 | 29357.48 | 20348.53 |
| 5*1e-7 | 149534.4 | 156705.3 | 124867.1 | 129507.3 | 95963.77 | 77875.12 | 48544.11 | 40684.06 | 22365.02 |
| 4*1e-7 | 164962.1 | 161217.8 | 137533.3 | 135768.1 | 112533.3 | 88745.73 | 60192.69 | 40085.21 | 23351.5 |
| 3*1e-7 | 249506.1 | 205342.5 | 159985.3 | 149701.4 | 120549.3 | 114492.7 | 69731.63 | 62320.85 | 27243.87 |
| 2*1e-7 | 289655.7 | 256312.4 | 187551.5 | 155856.8 | 135646.8 | 141850.7 | 99327.43 | 74617.93 | 34178.87 |
| 1.00E-07 | ? | 318339.7 | ? | 207402.7 | 159863.3 | 1.82E+05 | 155931.3 | 133071.7 | 38643.19 |
?
可以明顯的觀察到0-9的迭代次數(shù)最大，0-1的迭代次數(shù)最少
對應(yīng)同一個(gè)δ迭代次數(shù)n由小到大的順序是1<7<4<3<5<2<8<6<9，這一規(guī)律體現(xiàn)出0和9的差異比較小相應(yīng)的迭代次數(shù)就比較多，而0和1的差異則比較大相應(yīng)的迭代次數(shù)則比較少。這兩個(gè)迭代次數(shù)之間的比值可以達(dá)到8.45倍。
?
2.學(xué)習(xí)率對迭代次數(shù)的影響
(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)
用網(wǎng)絡(luò)分類0-2，讓學(xué)習(xí)率從0.6變化到1e-3，讓δ=0.1到1e-7，利用多次測量求平均值的辦法統(tǒng)計(jì)對應(yīng)每個(gè)δ和每個(gè)學(xué)習(xí)率的迭代次數(shù)
| δ\r | 0.6 | 0.5 | 0.4 | 0.3 | 0.2 | 0.1 | 9*1e-2 | 8*1e-2 | 7*1e-2 | 6*1e-2 | 5*1e-2 | 4*1e-2 | 3*1e-2 | 2*1e-2 | 1.00E-02 |
| ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0.1 | 450.9 | 509.7 | 601.6 | 832.2 | 1347 | 2786 | 3022.15 | 3421.49 | 3760.23 | 4466.9 | 5034.79 | 6573.76 | 8421.98 | 13866.1 | 29395.11 |
| 1.00E-02 | 707.2 | 757.2 | 998.1 | 1110 | 1717 | 3621 | 4132.17 | 4517.59 | 5232.74 | 6364.6 | 7586.89 | 9070.88 | 13176.8 | 17543.2 | 33094.21 |
| 1.00E-03 | 1102 | 1333 | 1451 | 1674 | 2429 | 4846 | 5419.32 | 6337.57 | 7445.61 | 8704.97 | 10398.8 | 13593.1 | 18510.3 | 26145.6 | 59695.11 |
| 1.00E-04 | 2527 | 2765 | 3067 | 3262 | 3965 | 7709 | 8515.03 | 9764.71 | 11357.2 | 13413.6 | 17218.2 | 21796.3 | 28744.2 | 42848.8 | 92427 |
| 0.00009 | 2686 | 2780 | 3145 | 3561 | 4488 | 7951 | 9066.59 | 9938.67 | 11039 | 14057.1 | 17463.9 | 22672.1 | 31534.5 | 46692.4 | 102512.5 |
| 0.00008 | 2923 | 3232 | 3656 | 3935 | 4710 | 8183 | 8945.27 | 10424.5 | 12045 | 14629.4 | 18146.8 | 22694.6 | 31008.1 | 50762.4 | 96688.84 |
| 0.00007 | 2632 | 3064 | 3951 | 4072 | 4461 | 8193 | 9274.57 | 10642.4 | 12481.7 | 14741.7 | 18819.3 | 24147.9 | 34670.9 | 46805.2 | 107360.5 |
| 0.00006 | 3413 | 3510 | 4434 | 4480 | 5156 | 8781 | 9656.64 | 10810.9 | 12898.6 | 15812.2 | 19477.4 | 24635.7 | 34407.5 | 53700.6 | 101850.8 |
| 0.00005 | 3514 | 3871 | 4467 | 4494 | 5562 | 9227 | 9912.13 | 11487 | 13513.3 | 16702 | 19825.9 | 26156.2 | 34971.2 | 54688.2 | 114240.8 |
| 0.00004 | 4030 | 4434 | 5692 | 5888 | 6443 | 9473 | 10787.3 | 12214.6 | 15033.8 | 17546.2 | 21844.8 | 27275.6 | 37760.9 | 56086.2 | 110557.3 |
| 0.00003 | 5155 | 6595 | 6183 | 6651 | 6918 | 10478 | 11589.7 | 13443.5 | 16093.2 | 19075 | 22692.5 | 31011.1 | 41042.7 | 66337.2 | 145883.5 |
| 0.00002 | 6346 | 6691 | 8426 | 8511 | 12241 | 12061 | 13977.1 | 16357.6 | 18447.9 | 20868.3 | 25713.1 | 34325.6 | 46288.7 | 73116.6 | 157999.1 |
| 1.00E-05 | 10469 | 12805 | 14397 | 16428 | 17083 | 19757 | 19716.1 | 21967.6 | 28235.1 | 26126.3 | 31903.6 | 42933.4 | 57378.8 | 88206.8 | 184000.7 |
| 0.000009 | 14149 | 15900 | 14249 | 20380 | 18225 | 22246 | 22123 | 23800.7 | 24885.1 | 30206.6 | 36951.2 | 45709.4 | 61453.5 | 99080.4 | 197259.9 |
| 0.000008 | 12061 | 16991 | 17343 | 20878 | 18793 | 22215 | 24338.4 | 23525.6 | 26229.4 | 30248.3 | 37264.6 | 45744 | 63118.8 | 102147 | 238433.6 |
| 0.000007 | 15448 | 17055 | 16757 | 23394 | 24627 | 28046 | 26621.4 | 27583.9 | 27712.9 | 33021.7 | 40300.9 | 48154.7 | 66872.6 | 91680.2 | 227748.7 |
| 0.000006 | 16363 | 19539 | 23098 | 23525 | 25263 | 28410 | 30478 | 30443.5 | 34617.6 | 36609.3 | 43348.8 | 51335.1 | 72964.4 | 101187 | 235256.2 |
| 0.000005 | 15435 | 22017 | 28748 | 27565 | 27952 | 33682 | 32414.7 | 34133.3 | 39291.5 | 39831.4 | 49829.6 | 57589.2 | 79256.6 | 112888 | 231381.4 |
| 0.000004 | 22164 | 27614 | 32166 | 35141 | 38190 | 37282 | 40560.4 | 38845.3 | 49073 | 49934.9 | 56060.9 | 59055.6 | 80945.5 | 105719 | 235798.3 |
| 0.000003 | 22927 | 28860 | 36660 | 35043 | 42120 | 45174 | 51076.8 | 54023.8 | 56240.5 | 55068.8 | 61498.8 | 72600.9 | 94621.9 | 130338 | 311185.9 |
| 0.000002 | 33399 | 36130 | 41347 | 47989 | 54458 | 60367 | 70687.1 | 73467.4 | 65498.1 | 79889.1 | 84106.9 | 99886.3 | 110987 | 195190 | 346350.5 |
| 1.00E-06 | 44777 | 49353 | 58197 | 66138 | 74129 | 90392 | 100524 | 110145 | 103614 | 111490 | 127627 | 135720 | 159008 | 232212 | 477003.3 |
| 1.00E-07 | 91115 | ? | ? | ? | ? | 2E+05 | 212024 | 243068 | 255093 | 300479 | 360578 | 405315 | 481567 | ? | ? |
?
結(jié)果表明在δ不變的前提下學(xué)習(xí)率越小對應(yīng)的迭代次數(shù)越大。
?
3. 權(quán)重對迭代次數(shù)的影響
(mnis 0, mnist 2)-con(3*3)-49-30-2-(1,0)(0,1)
分類mnist的0-2，設(shè)d是從1-100的隨機(jī)數(shù)，讓隱藏層的權(quán)重=d/x，讓x=10到50萬，讓δ等于0.1到1e-6的22個(gè)值。每組值計(jì)算99次取平均值。
| n | 50w | 10w | 50000 | 10000 | 5000 | 2000 | 1000 | 500 | 100 | 10 |
| 0.1 | 2954.606 | 2925.677 | 2682.434 | 2789.273 | 2851.414 | 2934.99 | 2785.725 | 2469.051 | 1492.364 | 824.5455 |
| 1.00E-02 | 3905.949 | 3822.828 | 3697.778 | 3839.242 | 3665.414 | 3597.384 | 3620.905 | 3195.273 | 2412.556 | 2290.162 |
| 1.00E-03 | 5019.576 | 4922.071 | 5071.838 | 5135.232 | 5039.111 | 5039.828 | 4846.435 | 4716.636 | 4220.495 | 6053.737 |
| 1.00E-04 | 7745.818 | 7713.869 | 7586.202 | 7566.566 | 7782.485 | 7884.495 | 7709.22 | 7643.263 | 7695.222 | 16028 |
| 9*1e-5 | 7963.232 | 8079.162 | 7945.636 | 8140.626 | 7738.576 | 7998 | 7951.16 | 7770.828 | 7968.343 | 15690.17 |
| 8*1e-5 | 8365.172 | 8228.737 | 8023.788 | 8136.414 | 8344.596 | 8009.616 | 8182.51 | 8274.535 | 8373.879 | 13377.99 |
| 7*1e-5 | 8351.596 | 8663.02 | 8172.141 | 8062.172 | 8338 | 8543.707 | 8193.28 | 8299.495 | 8587.455 | 15126.16 |
| 6*1e-5 | 8417.556 | 9177.737 | 8753.091 | 8484.495 | 8541.737 | 8616.182 | 8780.59 | 8658 | 8802.596 | 22843.65 |
| 5*1e-5 | 9031.434 | 8857.374 | 9313.737 | 9411.121 | 8861.606 | 8909.141 | 9227.095 | 8950.667 | 9941.172 | 27780.29 |
| 4*1e-5 | 9703.253 | 9872.081 | 9288.869 | 9631.778 | 9538.909 | 9668.152 | 9473.415 | 9662.909 | 10444.78 | 27402.92 |
| 3*1e-5 | 10273.36 | 10113.93 | 10285.41 | 10206.91 | 10629.06 | 10816.66 | 10478 | 10568.34 | 14323.28 | 24808.89 |
| 2*1e-5 | 11731.25 | 11892.36 | 12266.43 | 11755.62 | 11908.38 | 12202.96 | 12060.84 | 12658.81 | 15518.96 | 41082.65 |
| 1.00E-05 | 18167.29 | 16326.62 | 17709.88 | 16517.19 | 18050.47 | 17632.76 | 19757.36 | 19631.6 | 27037.91 | 41576.35 |
| 9*1e-6 | 18092.37 | 17627.63 | 17650.47 | 18858.78 | 18803.26 | 18320.92 | 22245.54 | 22426 | 34867.61 | 55239.19 |
| 8*1e-6 | 20048.55 | 20191.28 | 20609.12 | 18776.23 | 21052.76 | 20959.47 | 22214.93 | 29472.02 | 32882.16 | 38499.32 |
| 7*1e-6 | 19530.55 | 23512.86 | 22542.05 | 21879.03 | 23718.92 | 22918.35 | 28045.61 | 27159.87 | 44096.94 | 52918.58 |
| 6*1e-6 | 24351.96 | 23340.25 | 26207.54 | 24757.15 | 27849.16 | 28211.88 | 28410.34 | 30183.58 | 46843.72 | 46127.79 |
| 5*1e-6 | 29944.24 | 28645.25 | 28010.44 | 28571.44 | 31057.9 | 30435.4 | 33681.76 | 37208.66 | 53281.34 | 60459.68 |
| 4*1e-6 | 33255.04 | 35861.74 | 30981.66 | 34554.54 | 35596.87 | 34793.94 | 37281.58 | 40257.97 | 55912.52 | 60573.09 |
| 3*1e-6 | 42423.89 | 40650.68 | 40574.6 | 43801.63 | 41936.11 | 47156.65 | 45173.59 | 46803.47 | 68222.7 | 57790.01 |
| 2*1e-6 | 59707.64 | 60227.69 | 60508.31 | 55440.01 | 56348.59 | 58648.75 | 60366.62 | 66742.11 | 79970.38 | 76566.7 |
| 1.00E-06 | 90144.53 | 82600.19 | 81751.4 | 79639.55 | 85065.39 | 92023.44 | 90392.45 | 93909.44 | 109287.6 | 125939.1 |
結(jié)果很清晰在δ不變的前提下x越小迭代次數(shù)越大
4.隱藏層節(jié)點(diǎn)數(shù)對迭代次數(shù)的影響
(mnis 0, mnist 2)-con(3*3)-49-x-2-(1,0)(0,1)
分類0和2讓隱藏層的節(jié)點(diǎn)數(shù)等于20-1000，讓δ等于0.5到1e-6的26個(gè)值，每組值測量199次取平均值
| δ | 49*20*2 | 49*30*2 | 49*40*2 | 49*50*2 | 49*60*2 | 49*70*2 | 49*80*2 | 49*90*2 | 49*100*2 | 49*200*2 | 49*500*2 | 49*1000*2 |
| 0.5 | 25.54271 | 19.34673 | 14.68342 | 11.38191 | 9.562814 | 8.19598 | 8.678392 | 6.643216 | 6.713568 | 5.874372 | 366.4925 | 427.3367 |
| 0.4 | 1963.995 | 1847.327 | 1764.221 | 1649.487 | 1576.447 | 1480.261 | 1418.327 | 1433.764 | 1318.367 | 972.9296 | 327.407 | 416.7387 |
| 0.3 | 2327.337 | 2152.91 | 2053.513 | 1929.819 | 1867.296 | 1810.663 | 1733.02 | 1758.487 | 1724.548 | 1385.97 | 351.1457 | 495.2915 |
| 0.2 | 2514.834 | 2431.106 | 2247.01 | 2125.985 | 2047.809 | 2066.814 | 2061.312 | 1933.638 | 1919.312 | 1509.106 | 445.1106 | 431.7739 |
| 0.1 | 2907.417 | 2785.725 | 2586.347 | 2471.467 | 2336.698 | 2228.251 | 2266.432 | 2177.734 | 2181.518 | 1814.653 | 551.9648 | 538 |
| 0.01 | 3885.196 | 3620.905 | 3409.337 | 3290.392 | 3211.704 | 3154.075 | 2935.085 | 2922.005 | 2812.744 | 2409.899 | 1947.156 | 958.5578 |
| 0.001 | 5718.608 | 4846.435 | 4769.618 | 4482.884 | 4176.96 | 4087.307 | 4172.447 | 3935.538 | 3826.744 | 3242.412 | 2687.367 | 2178.156 |
| 1.00E-04 | 9210.337 | 7709.22 | 6843.774 | 6534.899 | 6287.417 | 5992.899 | 5800.96 | 5795.191 | 5498.035 | 4641.508 | 3755.719 | 3671.734 |
| 9.00E-05 | 9710.065 | 7951.16 | 7050.683 | 6653.683 | 6228.538 | 6188.085 | 5818.04 | 5733.683 | 5592.457 | 4643.814 | 3834.146 | 3766.915 |
| 8.00E-05 | 9738.583 | 8182.51 | 7373.899 | 6771.176 | 6455.231 | 6244.548 | 6237.206 | 5827.538 | 6010.317 | 4800.719 | 4004.121 | 3537.553 |
| 7.00E-05 | 10116.43 | 8193.28 | 7534.085 | 6862.09 | 6728.658 | 6499.869 | 6520.226 | 5903.482 | 5896.548 | 4944.121 | 3983.704 | 3755.638 |
| 6.00E-05 | 11118.71 | 8780.59 | 7912.809 | 7370.769 | 6712.94 | 6664.392 | 6259.513 | 6207.869 | 5955.121 | 5034.216 | 4338.09 | 3795.146 |
| 5.00E-05 | 12111.81 | 9227.095 | 8041.648 | 7763.618 | 7220.683 | 6979.608 | 6658.965 | 6452.015 | 6224.266 | 5301.121 | 4155.116 | 3860.779 |
| 4.00E-05 | 13728.94 | 9473.415 | 8914.709 | 7870.065 | 7335.975 | 6974.879 | 6793.106 | 6877.789 | 6384.94 | 5264.402 | 4743.256 | 3863.553 |
| 3.00E-05 | 15497.58 | 10478 | 8983.256 | 8461.719 | 7950.296 | 7625.261 | 7386.211 | 6936.482 | 6846.653 | 5613.075 | 4725.739 | 4506.377 |
| 2.00E-05 | 23317.28 | 12060.84 | 10254.75 | 9369.106 | 8535.261 | 8129.583 | 7959.653 | 7832.623 | 7559.673 | 6100.709 | 5045.266 | 4465.935 |
| 1.00E-05 | 38937.04 | 19757.36 | 13325.5 | 11380.39 | 9927.246 | 10038.44 | 9422.307 | 8606.266 | 8652.513 | 6956.779 | 5789.261 | 4991.508 |
| 9.00E-06 | 43911.23 | 22245.54 | 14199.69 | 12113.82 | 10543.48 | 10136.59 | 9981.849 | 9199.065 | 8930.714 | 7182.894 | 5733.809 | 5153.573 |
| 8.00E-06 | 53602.43 | 22214.93 | 15274 | 12452.03 | 10837.76 | 10599.35 | 9611.568 | 9402.352 | 8958.739 | 7194.166 | 5806.985 | 5193.623 |
| 7.00E-06 | 53211.28 | 28045.61 | 16940.79 | 13635.24 | 12077.03 | 11315.1 | 10070.84 | 9749.487 | 9323.196 | 7430.01 | 6073.266 | 5183.844 |
| 6.00E-06 | 57217.69 | 28410.34 | 19087.45 | 14732.5 | 12292.16 | 11030.2 | 10436.6 | 10225.85 | 9608.98 | 7687.754 | 6300.633 | 5706.01 |
| 5.00E-06 | 77478.28 | 33681.76 | 19354.78 | 16120.72 | 12830.23 | 12153.75 | 11567.16 | 10823.58 | 10396.34 | 8213.729 | 6550.332 | 6091.136 |
| 4.00E-06 | 84001.14 | 37281.58 | 24309.85 | 17517.83 | 16267.97 | 14135.49 | 11897.39 | 11054.88 | 11352.55 | 8421.467 | 6433.166 | 5787.121 |
| 3.00E-06 | 90617.76 | 45173.59 | 30329.22 | 20533.79 | 17320.02 | 15464.66 | 14069.67 | 13135.28 | 12671.94 | 8811.065 | 6982.005 | 6397.271 |
| 2.00E-06 | 119310.4 | 60366.62 | 40249.79 | 29888.18 | 24441.9 | 20569.78 | 18074.04 | 15542.84 | 15187.57 | 10138.04 | 7838.643 | 6485.407 |
| 1.00E-06 | 153821.4 | 90392.45 | 66962.16 | 48307.74 | 40945.18 | 31941.37 | 30805.03 | 25686.17 | 23370.95 | 15122.7 | 9934.658 | 8098.126 |
規(guī)律很明顯x越小對應(yīng)的迭代次數(shù)越大。X越大對應(yīng)的迭代次數(shù)越少。但是x越大網(wǎng)絡(luò)越大單次迭代的計(jì)算量也越大，因此隨著x的增大在δ不變的前提下收斂時(shí)間有個(gè)極小值。
?
5.卷積核數(shù)量對迭代次數(shù)的影響
(mnist 0 ,mnist2)81-con(3*3)*n-(49*n)-30-2-(1,0) || (0,1)
分類0和2，向這個(gè)網(wǎng)絡(luò)增加n個(gè)3*3的卷積核，讓n分別等于0-9.當(dāng)n=0時(shí)，網(wǎng)絡(luò)相當(dāng)于一個(gè)三層的網(wǎng)絡(luò)
(mnist 0 ,mnist2)81-30-2-(1,0) || (0,1)
讓δ分別等于0.5到1e-6的34個(gè)值每組值收斂199次，統(tǒng)計(jì)迭代次數(shù)平均值。
| ? | ? | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| δ | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n |
| 0.5 | 8.864322 | 16.24623 | 13.80905 | 14.90452 | 15.17588 | 12.13568 | 11.83417 | 11.92462 | 13.06533 | 11.13065 |
| 0.4 | 208.9397 | 1685.925 | 1134.131 | 882.4573 | 751.9347 | 664.0804 | 594.8342 | 526.3166 | 481.1859 | 445.8191 |
| 0.3 | 268.7286 | 1923.096 | 1299.829 | 1047.608 | 869.2663 | 788.8694 | 699.3417 | 648.0251 | 593.9447 | 548.1809 |
| 0.2 | 324.0151 | 2120.045 | 1440.628 | 1160.975 | 988.6633 | 872.4271 | 790.1357 | 712.6784 | 664.0754 | 630.4221 |
| 0.1 | 410.5879 | 2318.668 | 1637.131 | 1291.804 | 1105.392 | 971.6834 | 880.6131 | 814.5879 | 764.2714 | 718.4573 |
| 0.01 | 685.5477 | 2832.724 | 2076.397 | 1656.417 | 1424.9 | 1282.628 | 1206.704 | 1101.251 | 1039.472 | 999.1859 |
| 0.001 | 1447.131 | 3803.322 | 2899.739 | 2436.895 | 2234.598 | 2142.965 | 2086.709 | 2070.985 | 2123.764 | 2199.789 |
| 9.00E-04 | 1450.915 | 3783.528 | 2924.246 | 2495.834 | 2291.754 | 2173.563 | 2137.221 | 2139.347 | 2256.804 | 2365.523 |
| 8.00E-04 | 1494.925 | 3831.327 | 3005.176 | 2545.623 | 2314.834 | 2233.156 | 2231.533 | 2247.498 | 2312.97 | 2508.678 |
| 7.00E-04 | 1552.714 | 3962.889 | 3032.824 | 2621.95 | 2432.156 | 2312.236 | 2360.945 | 2437.226 | 2532.663 | 3025.829 |
| 6.00E-04 | 1711.628 | 4070.799 | 3151.97 | 2738.246 | 2520.181 | 2427.558 | 2559.216 | 2598.543 | 2897.819 | 3426.171 |
| 5.00E-04 | 1968.714 | 4228.101 | 3268.749 | 2908.442 | 2656.392 | 2614.231 | 2638.94 | 3189.176 | 3705.146 | 4812.141 |
| 4.00E-04 | 2165.055 | 4379.653 | 3413.588 | 3049.171 | 2878.216 | 2938.784 | 3379.382 | 4073.372 | 5242.417 | 7248.422 |
| 3.00E-04 | 2324.08 | 4616.387 | 3568.749 | 3236.673 | 3262.699 | 3474.136 | 4279.653 | 6453.819 | 8586.452 | 11609.67 |
| 2.00E-04 | 2720.844 | 5050.874 | 4034.085 | 3941.784 | 4741.608 | 5935.935 | 8696.774 | 11151.12 | 15180.14 | 19449.47 |
| 1.00E-04 | 3165.709 | 6349.699 | 5698.945 | 6692.221 | 9883.704 | 14487.85 | 20128.9 | 26472.59 | 31021.32 | 34488.16 |
| 9.00E-05 | 3407.91 | 6705.251 | 6425.643 | 7671.834 | 10057.86 | 16786.43 | 22643.76 | 27280.82 | 33107.07 | 36141.16 |
| 8.00E-05 | 3486.764 | 6955.814 | 6875.578 | 8632.764 | 13695.61 | 18656.79 | 24313.79 | 30661.9 | 32898.83 | 37901.49 |
| 7.00E-05 | 3668.683 | 7528.92 | 7582.653 | 10520.67 | 14594.5 | 21585.94 | 27430.91 | 33478.19 | 37926.07 | 39971.74 |
| 6.00E-05 | 3962.563 | 8184.292 | 8908.658 | 10364.41 | 17772.01 | 26005.45 | 33621.57 | 37461.17 | 40297.02 | 43397.05 |
| 5.00E-05 | 4167.678 | 8865.02 | 9484.176 | 13928.86 | 20620.39 | 29064.9 | 36309.25 | 40110.72 | 43048.42 | 45538.37 |
| 4.00E-05 | 4515.829 | 9644.558 | 11563.16 | 18354.37 | 27010.35 | 33951.97 | 40799.66 | 44108.27 | 45917.92 | 48308.95 |
| 3.00E-05 | 5059.879 | 11485.9 | 15935.82 | 23537.47 | 31983.07 | 40540.77 | 44894.17 | 48028.65 | 49944.31 | 52696.23 |
| 2.00E-05 | 6524.874 | 15515.14 | 23050.37 | 31693.9 | 39692.1 | 46629.56 | 50373.94 | 54465.65 | 55854.44 | 57249.01 |
| 1.00E-05 | 8527.9 | 25127.07 | 34262.57 | 43816.4 | 51902.06 | 55930.22 | 60159.97 | 61394.46 | 63830.06 | 66139.31 |
| 9.00E-06 | 8746.422 | 26410.51 | 37680.04 | 46022.3 | 54010.82 | 57544.23 | 61327.05 | 63699.2 | 64750.77 | 68351 |
| 8.00E-06 | 9474.01 | 29507.95 | 39589.83 | 48614.33 | 54025.24 | 59733.02 | 62842.51 | 64384.89 | 66818.93 | 68970.2 |
| 7.00E-06 | 10301.67 | 31298.12 | 40019.11 | 50429.01 | 56361.68 | 62009 | 63321.66 | 66217.43 | 69258.37 | 69606.42 |
| 6.00E-06 | 11850.65 | 33845.36 | 44199.28 | 51939.93 | 59028.91 | 63013.84 | 65983.75 | 67526.19 | 69809.58 | 70851.06 |
| 5.00E-06 | 13068.73 | 36965.26 | 47009.32 | 56133.38 | 62123.93 | 66072.72 | 68282.15 | 71326.04 | 72951.16 | 74612.08 |
| 4.00E-06 | 14670.05 | 40347.78 | 49610.82 | 59106.07 | 63852.48 | 69004.8 | 71463.16 | 73956.1 | 77287.44 | 76819.8 |
| 3.00E-06 | 17112.47 | 44845.01 | 56031.89 | 62566.35 | 67823.03 | 73042.56 | 74778.5 | 77379.65 | 80787.31 | 81893.53 |
| 2.00E-06 | 23285.87 | 52058.75 | 62225.43 | 70379.01 | 74180.41 | 77512.57 | 81224.45 | 85341.33 | 87238.95 | 87805.16 |
| 1.00E-06 | 35222.24 | 66830.71 | 77563.4 | 82040.66 | 86059.04 | 90214.99 | 93471.64 | 96062.58 | 99403.25 | 102968.4 |
迭代次數(shù)隨著卷積核數(shù)量的增加而增加。并且迭代次數(shù)與卷積核數(shù)量的平方根成正比
X---卷積核的數(shù)量
α---系數(shù)
?
并且收斂時(shí)間與卷積核數(shù)量的3/2次冪成正比。
?
6.網(wǎng)絡(luò)層數(shù)對網(wǎng)絡(luò)迭代次數(shù)的影響
(mnist 0 ,mnist 2)81-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-49-30-2-(1,0) || (0,1)
(mnist 0 ,mnist 2)81-30-49-30-49-30-49-30-2-(1,0) || (0,1)
制作4個(gè)網(wǎng)絡(luò)去分類0和2，這4個(gè)網(wǎng)絡(luò)的層數(shù)分別是3層，5層，7層，9層.
讓δ等于0.5到1e-6的34個(gè)值，每組值收斂199次，統(tǒng)計(jì)平均值。
?
| ? | 9 | 7 | 5 | 3 |
| δ | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n | 迭代次數(shù)n |
| 0.5 | 8.291457 | 7.628141 | 5.728643 | 4.824121 |
| 0.4 | 334.3869 | 136.5377 | 47.92965 | 10.60302 |
| 0.3 | 445.608 | 223.8141 | 105.6432 | 32.92462 |
| 0.2 | 500.1307 | 275.8442 | 155.2563 | 68.78894 |
| 0.1 | 612.9146 | 369.5226 | 248.9497 | 155.2965 |
| 0.01 | 1085.503 | 754.2462 | 596.3015 | 492.8593 |
| 0.001 | 9882.784 | 8027.377 | 2793.01 | 1295.281 |
| 9.00E-04 | 10881.03 | 8691.206 | 2924.266 | 1368.503 |
| 8.00E-04 | 11977.38 | 9745.246 | 3438.271 | 1426.709 |
| 7.00E-04 | 14072.29 | 10714.58 | 4023.141 | 1494.201 |
| 6.00E-04 | 16406.42 | 12371.1 | 4890.673 | 1667.829 |
| 5.00E-04 | 20385.63 | 15137.29 | 5992.065 | 1749.307 |
| 4.00E-04 | 24298.51 | 17785.58 | 7844.638 | 1875.171 |
| 3.00E-04 | 32696.08 | 22253.22 | 11235.22 | 2184.286 |
| 2.00E-04 | 44724.82 | 31035.44 | 15313.87 | 2582.925 |
| 1.00E-04 | 89078.6 | 56299.69 | 25407.06 | 3498.412 |
| 9.00E-05 | 95407.9 | 63010.57 | 27220.85 | 3645.025 |
| 8.00E-05 | 104874.4 | 68325.11 | 29562.66 | 3840.156 |
| 7.00E-05 | 116214.4 | 78167.16 | 32122.32 | 4077.126 |
| 6.00E-05 | 131232.3 | 89236.13 | 34942.84 | 4212.678 |
| 5.00E-05 | 149461.3 | 102580.9 | 39240.9 | 4589.568 |
| 4.00E-05 | 166924.9 | 117010.6 | 42965.2 | 5167.663 |
| 3.00E-05 | 204507.9 | 149188.4 | 52871.19 | 5821.111 |
| 2.00E-05 | 274629 | 212703 | 64717.94 | 6976.513 |
| 1.00E-05 | 439076.3 | 360851.1 | 90076 | 9615.879 |
| 9.00E-06 | 473836.4 | 386946.7 | 91610.54 | 9692.05 |
| 8.00E-06 | 514704.1 | 429464.9 | 99462.98 | 10012.85 |
| 7.00E-06 | 550991.1 | 455372.7 | 105727.8 | 10419.32 |
| 6.00E-06 | 616058.6 | 535610.7 | 110838.9 | 11089.11 |
| 5.00E-06 | 742561 | 608267.8 | 118164.4 | 12141.85 |
| 4.00E-06 | 892665.6 | 729212.1 | 138541.7 | 12888.37 |
| 3.00E-06 | 1155870 | 930735.7 | 155032.7 | 13944.59 |
| 2.00E-06 | 1.69E+06 | 1390712 | 189751.4 | 16152.7 |
| 1.00E-06 | 3.35E+06 | 2727215 | 318306.6 | 20551.51 |
?
在δ不變的前提下，隨著網(wǎng)絡(luò)層數(shù)的增加迭代次數(shù)增加。
將上述所有現(xiàn)象總結(jié)成表格
| δ | 訓(xùn)練集差異 | 學(xué)習(xí)率 | 權(quán)重 | 隱藏層節(jié)點(diǎn)數(shù) | 卷積核數(shù)量 | 網(wǎng)絡(luò)層數(shù) | ? |
| 不變 | 增加 | 減小 | 增大 | 減小 | 增加 | 增加 | 迭代次數(shù)增加 |
| ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 訓(xùn)練集差異 | 學(xué)習(xí)率 | 權(quán)重 | 隱藏層節(jié)點(diǎn)數(shù) | 卷積核數(shù)量 | 網(wǎng)絡(luò)層數(shù) | ? |
| 減小 | 不變 | 不變 | 不變 | 不變 | 不變 | 不變 | 迭代次數(shù)增加 |
在δ不變的前提下，訓(xùn)練集差異增加，學(xué)習(xí)率減小，權(quán)重增大，隱藏層節(jié)點(diǎn)數(shù)減小，卷積核數(shù)增加，網(wǎng)絡(luò)層數(shù)增加都會(huì)導(dǎo)致迭代次數(shù)增加。
在網(wǎng)絡(luò)結(jié)構(gòu)不變的前提下δ減小，迭代次數(shù)增加。
?
二.迭代次數(shù)對網(wǎng)絡(luò)分類準(zhǔn)確率的影響
前面的所有實(shí)驗(yàn)都表明在訓(xùn)練集不變，δ不變的前提下迭代次數(shù)越多網(wǎng)絡(luò)的分類準(zhǔn)確率越大。但是不包括由于卷積核數(shù)量的增加而引起的迭代次數(shù)的增加。
| 平均性能 | 0-1 | 81*30*2>2>3>4>5>6>7>8>9>1 | 沒有正面價(jià)值 | ||
| ? | 0-5 | 2>3>4>5>6>7>8>9>81-30-2>1 | 明顯提升 | ||
| ? | 0-6 | 81*30*2>2>9>8>1>7>6>5>4>3 | 沒有正面價(jià)值 | ||
| ? | 0-2 | 81*30*2>2>3>4>5>6>7>8>9>1 | 沒有正面價(jià)值 | ||
| ? | ? | ? | ? | ? | ? |
| 最大性能 | 0-1 | 81*30*2=1=2=3=4=5=6=7=8=9 | 沒有提升 | ||
| ? | 0-5 | 2>3>4>5>6>7>8>9>1>81-30-2 | 提升明顯 | ||
| ? | 0-6 | 81*30*2=2=7>8>1=3=4>6>5 | 無明顯提升 | ||
| ? | 0-2 | 5>3>2>4=7=8>1=9>6>81*30*2 | 提升明顯 | ||
?
卷積核數(shù)量對網(wǎng)絡(luò)性能的影響的實(shí)驗(yàn)共做了4次，分別是0-1，0-2，0-5，0-6.這4次實(shí)驗(yàn)都表明卷積核的數(shù)量有一個(gè)最優(yōu)值，超過最優(yōu)值以后網(wǎng)絡(luò)的性能是下降的。
卷積核有可能改善網(wǎng)絡(luò)性能比如0-5，但是卷積核也有可能沒有任何正面價(jià)值，比如0-1，0-6，0-2增加卷積核只會(huì)導(dǎo)致網(wǎng)絡(luò)平均性能下降。
7個(gè)變量對網(wǎng)絡(luò)性能影響的總結(jié)
| δ | 訓(xùn)練集差異 | 學(xué)習(xí)率 | 權(quán)重 | 隱藏層節(jié)點(diǎn)數(shù) | 卷積核數(shù)量 | 網(wǎng)絡(luò)層數(shù) | ? |
| 不變 | 增加 | 減小 | 增大 | 減小 | 有最優(yōu)值 | 增加 | 網(wǎng)絡(luò)性能增加 |
| ? | ? | ? | ? | ? | ? | ? | ? |
| δ | 訓(xùn)練集差異 | 學(xué)習(xí)率 | 權(quán)重 | 隱藏層節(jié)點(diǎn)數(shù) | 卷積核數(shù)量 | 網(wǎng)絡(luò)層數(shù) | ? |
| 減小 | 不變 | 不變 | 不變 | 不變 | 不變 | 不變 | 網(wǎng)絡(luò)性能增加 |
如果不考慮卷積核數(shù)量改變導(dǎo)致的迭代次數(shù)改變，可以簡單的概括成在δ不變的前提下，迭代次數(shù)越多網(wǎng)絡(luò)性能越好。分類準(zhǔn)確率越高。因此使網(wǎng)絡(luò)性能更好有兩種等效的調(diào)參策略，一種是通過調(diào)節(jié)學(xué)習(xí)率，權(quán)重，節(jié)點(diǎn)數(shù)，網(wǎng)絡(luò)層數(shù)使迭代次數(shù)變大；或者在其他所有參數(shù)都不變的情況下將δ調(diào)小。
?
三.快速設(shè)定網(wǎng)絡(luò)參數(shù)的一種便捷方法
由上述所有討論，一個(gè)參數(shù)最優(yōu)的網(wǎng)絡(luò)應(yīng)該滿足：隱藏層節(jié)點(diǎn)數(shù)應(yīng)該小于等于節(jié)點(diǎn)數(shù)效率最優(yōu)值，卷積核數(shù)應(yīng)該等于卷積核數(shù)量最優(yōu)值。而其余無論是由學(xué)習(xí)率，權(quán)重，網(wǎng)絡(luò)層數(shù)引起的迭代次數(shù)的增加都可以用δ減小來等效的替代。
也就是可以通過將δ不斷減小的辦法來使網(wǎng)絡(luò)性能得到單向的不斷的提升。甚至一個(gè)網(wǎng)絡(luò)即便不滿足參數(shù)最優(yōu)，把δ調(diào)的更小也確定的會(huì)使網(wǎng)絡(luò)的性能得到改善，因此這是一種便捷的單參數(shù)調(diào)參法。
?
?
?
?
總結(jié)
- 上一篇： 3层，5层，7层，9层网络性能比较-0-
- 下一篇： 应用化学C4H12Si类四甲基硅结构的神