當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

平均分辨准确率对网络隐藏层节点数的非线性变化关系03

發布時間：2025/4/5 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了平均分辨准确率对网络隐藏层节点数的非线性变化关系03 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

（0，3）-81*n*2-(1,0)(0,1)

制作一個二分類的網絡分類mnist的0和3，收斂標準1e-6,收斂次數是1999次，隱藏層節點數從3到1000共實驗了79組值。統計每次收斂的迭代次數，觀察分辨準確率和迭代次數對同一收斂標準的對應規律。

隱藏層節點數	迭代次數的均值	平均分類準確率	δ	耗時ms/次	最大峰值占比%	不同峰值數量
3	225528.8639	0.99216191	1E-06	1017.794397	3.2	920
4	180492.6073	0.992873572	1E-06	874.8694347	1	977
5	153176.2796	0.993332093	1E-06	849.8394197	2.5	701
6	140841.2446	0.993333601	1E-06	823.3416708	2.9	505
7	132496.8744	0.993346673	1E-06	850.7328664	3.7	376
8	127019.8734	0.993389157	1E-06	890.1555778	6	292
9	121743.1321	0.993315502	1E-06	855.1110555	6.4	245
10	117795.6293	0.99328609	1E-06	869.6633317	5.6	205
20	91179.56428	0.992468345	1E-06	1202.25913	14.3	87
30	71645.70185	0.990856735	1E-06	1283.252626	34.9	47
40	52466.62381	0.98786001	1E-06	1286.266133	40.5	21
50	28288.04652	0.985970372	1E-06	844.4602301	35.3	10
60	14117.54027	0.984868816	1E-06	533.1965983	53.1	7
70	10979.98449	0.985028192	1E-06	445.3021511	62	6
80	10638.81541	0.984156903	1E-06	524.6763382	69.6	8
90	9757.722361	0.982007335	1E-06	570.4182091	29.2	7
100	8878.603802	0.977207951	1E-06	648.2546273	90.6	7
110	7560.581791	0.970227073	1E-06	551.4747374	50.2	7
120	6046.066533	0.961413621	1E-06	571.1925963	89.1	3
130	5021.085543	0.970240899	1E-06	508.1095548	53.1	3
140	4089.464732	0.980966865	1E-06	427.3106553	91.8	3
150	3914.265133	0.982963341	1E-06	450.4702351	99.2	3
160	3897	0.983089283	1E-06	538.0455228	100	1
200	3871.009005	0.977139575	1E-06	639.2601301	93.1	4
210	3696.18009	0.974980204	1E-06	671.5392696	72.3	6
215	3286.678339	0.94333423	1E-06	641.4507254	38	4
220	2702.929465	0.853601172	1E-06	567.7673837	86.5	4
240	2596	0.814743804	1E-06	601.4292146	100	1
260	2596	0.795055317	1E-06	640.7138569	100	1
280	2595.533267	0.783086015	1E-06	722.8294147	99.9	2
290	2566.129065	0.782319803	1E-06	765.3481741	96.8	2
295	2482.834417	0.797667929	1E-06	762.1890945	87.4	4
300	2293.785393	0.837000661	1E-06	730.7393697	66	5
301	2244.909955	0.847812097	1E-06	655.6713357	60.3	4
302	2177.41921	0.864338451	1E-06	677.3711856	51.4	6
305	2022.012006	0.899884113	1E-06	695.0115058	57.8	5
310	1803.558779	0.944903105	1E-06	659.4802401	81.1	6
320	1673.505253	0.96343071	1E-06	611.7878939	98.2	5
340	1663	0.962203715	1E-06	685.9094547	100	1
360	1663	0.960327903	1E-06	733.4092046	100	1
380	1663	0.958766821	1E-06	717.7158579	100	1
400	1663	0.957284421	1E-06	859.5852926	100	1
420	1662.861931	0.955882967	1E-06	817.0575288	99.9	2
440	1646.682341	0.951288207	1E-06	834.7243622	93.9	3
460	1472.213607	0.915313938	1E-06	897.7098549	68.3	5
480	1389.0005	0.89510509	1E-06	824.6728364	83.7	5
500	1385.537269	0.880267772	1E-06	932.2776388	100	1
520	1378.798899	0.854598153	1E-06	778.1770885	79.2	3
540	1353.688344	0.779361037	1E-06	839.8534267	97.8	2
560	1352.927464	0.767775345	1E-06	756.9969985	99.9	2
580	1346.689345	0.766967906	1E-06	854.7538769	95.6	2
590	1332.218609	0.784895966	1E-06	824.3956978	85.8	3
595	1315.088044	0.810554775	1E-06	887.1685843	74.1	3
600	1297.293647	0.833875983	1.00E-06	864.6323162	62.6	3
610	1251.265133	0.884327842	1E-06	799.5957979	58	3
620	1202.116558	0.909436879	1E-06	847.2341171	67.3	3
630	1148.246623	0.891357236	1E-06	868.3021511	56.9	3
640	1102.215608	0.847185402	1E-06	830.2316158	62.9	5
650	1062.614307	0.797253149	1E-06	859.0775388	85.6	5
660	1042.4007	0.755573515	1E-06	810.5287644	88.6	5
670	1018.533767	0.671164728	1E-06	832.953977	65.4	4
680	993.12006	0.563521208	1E-06	856.5077539	74.2	3
690	978.7268634	0.510132453	1E-06	848.3081541	94.9	3
700	968.6573287	0.512699314	1E-06	877.2486243	96	3
720	920.2506253	0.606602045	1E-06	815.4517259	74.1	2
740	850.9024512	0.746866901	1E-06	827.106053	57.6	2
760	792.8514257	0.86296314	1E-06	873.7658829	83.1	4
780	604.5072536	0.741864148	1E-06	758.8714357	55.1	4
800	405.188094	0.516227209	1E-06	690.7433717	95.1	2
820	387	0.493433651	1E-06	728.7133567	100	1
840	387	0.493246623	1E-06	749.058029	100	1
860	387	0.493043758	1E-06	766.5687844	100	1
880	386.877939	0.492933401	1E-06	820.8094047	99.9	2
900	379.066033	0.492794136	1E-06	797.971986	93.5	2
920	349.4052026	0.492643055	1E-06	743.5397699	69.2	2
940	303.2661331	0.492528676	1E-06	793.4982491	68.6	2
960	275.1310655	0.492479908	1E-06	792.1855928	91.7	2
980	266.5837919	0.492474378	1E-06	800.042021	98.5	3
1000	264.821911	0.492487953	1E-06	819.8394197	98.8	3

一個很意外的發現，網絡的平均分辨準確率隨著隱藏層節點數n的增加并不是簡單的線性變化的，在3-1000這個區段至少發現了5個精細結構

分別是n=100，290，580，690.在這個4個節點數分辨準確率對隱藏層節點數有明確的拐點，也就表明隱藏層節點數對網絡的分辨準確率不存在簡單的線性關系。當n=6時pave=0.993389156890011是最大值，也就是在3-1000這個區段上至少有1個峰，4個谷。

峰值占比

當n=6時網絡pave取得最大值，這個網絡收斂了1999次產生了505個不同的峰值，其中最大峰136347也只不過占了總數的2.9%，綜合所有實驗數據表明pave比較大的網絡峰值占比都顯著的比較低.

峰值占比低于10的網絡的pave都顯著的更高。當n>800以后峰值占比接近100，也就是只有一個特征主峰。這時的pave約為0.5.如果不同的峰值越多表明網絡的不同特征越多，則這個實驗表明隨著n的增加網絡的特征反而降低了。或者說隱藏層節點數越小網絡可以表現出越多的特征，不同的特征越多越有利分類。

不同峰值數量

當n=4時不同峰值數量為977是實驗的79組數據中不同峰值數量最大的。

特別是當n大于10以后不同峰值數量就已經下降到個位數。表明網絡隨著n的增加正變得更加特征單一，而單一的特征卻不利于分類。

觀察不同峰值數量表格

隱藏層節點數 n	峰值占比%	不同峰值數量	1/n^2	不同峰值數量/(1/n^2)
3	3.2	920	?	?
4	1	977	0.0625	15632
5	2.5	701	0.04	17525
6	2.9	505	0.027778	18180
7	3.7	376	0.020408	18424
8	6	292	0.015625	18688
9	6.4	245	0.012346	19845
10	5.6	205	0.01	20500
20	14.3	87	0.0025	34800
30	34.9	47	0.001111	42300
40	40.5	21	0.000625	33600
50	35.3	10	0.0004	25000
60	53.1	7	0.000278	25200
70	62	6	0.000204	29400
80	69.6	8	0.000156	51200
90	29.2	7	0.000123	56700
100	90.6	7	0.0001	70000
110	50.2	7	8.26E-05	84700
120	89.1	3	6.94E-05	43200
130	53.1	3	5.92E-05	50700
140	91.8	3	5.1E-05	58800

可以非常明確的觀察到不同峰值數量與1/n^2有非常明顯的對應關系。

由此可以假設一個關系式

num是不同峰值數量

C03是mnist的0和3之間的特征差異總量

假設C03是一個定值，而將一次收斂理解成是一次躍遷，有n*n種可能的躍遷路徑也就是能級，如n=4則共有4*4個能級，這個假設可以解釋特征峰數量隨著n的增加而減小的現象。

總結

以上是生活随笔為你收集整理的平均分辨准确率对网络隐藏层节点数的非线性变化关系03的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：神经网络波动方程∂f（x）/ ∂x=f（
下一篇：由隐藏层节点数引起的网络准确率的不规则变