當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

用数学方法构造神经网路的迭代次数1-9

發(fā)布時(shí)間：2025/4/5 编程问答 30 豆豆

生活随笔收集整理的這篇文章主要介紹了用数学方法构造神经网路的迭代次数1-9 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

神經(jīng)網(wǎng)絡(luò)對應(yīng)每個(gè)收斂標(biāo)準(zhǔn)δ都有一個(gè)特征的迭代次數(shù)n，因此可以用迭代次數(shù)曲線n(δ)來評價(jià)網(wǎng)絡(luò)性能。

一個(gè)二分類網(wǎng)絡(luò)分類兩組對象A和B，B中有K張圖片，B的第i張圖片被取樣的概率為pi,B中第i張圖片相對A的迭代次數(shù)為ni最終的迭代次數(shù)nt等于pi*ni的累加和。

由此可以構(gòu)造兩個(gè)矩陣一個(gè)是隨機(jī)矩陣PJ

PJ表明圖片集B中第i張圖片被抽樣到的概率

和矩陣NJ

NJ表明圖片集B中第i張圖片相對A的迭代次數(shù)

總的迭代次數(shù)nt等于矩陣PJ和NJ的點(diǎn)積

為了驗(yàn)證這個(gè)關(guān)系構(gòu)造了等式

本文驗(yàn)算這個(gè)表達(dá)式是否正確

實(shí)驗(yàn)過程

首先用實(shí)驗(yàn)的方法測量n1

制作一個(gè)帶一個(gè)3*3卷積核的神經(jīng)網(wǎng)絡(luò)，測試集是mnist的0和一張圖片x，將28*28的圖片縮小成9*9，隱藏層30個(gè)節(jié)點(diǎn)所以網(wǎng)絡(luò)的結(jié)構(gòu)是

這個(gè)網(wǎng)絡(luò)分成兩個(gè)部分左邊的是讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但是讓左右兩邊的權(quán)重實(shí)現(xiàn)同步更新，實(shí)現(xiàn)權(quán)重共享。前面大量實(shí)驗(yàn)表明這種效果相當(dāng)于將兩個(gè)彈性系數(shù)為k1，k2的彈簧并聯(lián)成一個(gè)彈性系數(shù)為k的彈簧，并且讓k1=k2=k/2的過程。

將上圖簡寫成

S（mnist0）81-（con3*3）49-30-2-（1,0）

S（x）81-（con3*3）49-30-2-（0,1）

w=w，w1=w1,w2=w2

進(jìn)一步簡寫成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

這個(gè)網(wǎng)絡(luò)的收斂標(biāo)準(zhǔn)是

if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )

本文嘗試了δ從0.5到1e-6在內(nèi)的26個(gè)值，訓(xùn)練集是mnist0

圖片x就是一張二維數(shù)組，讓x=1.

具體進(jìn)樣順序	?	?	?	?
進(jìn)樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達(dá)到收斂
X	2	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達(dá)到收斂
X	4	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達(dá)到收斂
X	9998	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達(dá)到收斂
X	10000	?	判斷是否達(dá)到收斂
……	?	?	?	?
達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

用這個(gè)方法可以得到網(wǎng)絡(luò)

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次數(shù)曲線n1。

第二步測量n0.1

用同樣的辦法制作另一個(gè)網(wǎng)絡(luò)

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x=0.1.得到迭代次數(shù)曲線n0.1

實(shí)驗(yàn)數(shù)據(jù)

在《測量一組對角矩陣的頻率和質(zhì)量》中已經(jīng)將這兩個(gè)迭代次數(shù)都測出來了

?	1	0.1
δ	迭代次數(shù)n1	迭代次數(shù)n0.1
0.5	17.40201005	17.87437186
0.4	951.2110553	1408.577889
0.3	1144.577889	1720.517588
0.2	1313.633166	1995.110553
0.1	1505.824121	2243.834171
0.01	2362.115578	3001.552764
0.001	4129.020101	4007.532663
1.00E-04	10353.37186	5532.668342
9.00E-05	10653.93467	5683.753769
8.00E-05	11292.43719	6131.934673
7.00E-05	11761.11055	6106.919598
6.00E-05	12657.69347	6014.688442
5.00E-05	13305.44221	6455.321608
4.00E-05	15844.29648	6724.738693
3.00E-05	17291.77387	7055.80402
2.00E-05	20753.56281	7763.41206
1.00E-05	27708.19598	8749.050251
9.00E-06	29358.8593	8879.41206
8.00E-06	30689.87437	9387.150754
7.00E-06	33437.22111	9532.648241
6.00E-06	36960.63819	9957.683417
5.00E-06	40669.92462	10661.56281
4.00E-06	44594.04523	11025.0402
3.00E-06	51522.10553	11653.63317
2.00E-06	67583.53266	13076.9196
1.00E-06	107224.5276	15184.58794

現(xiàn)在做第3個(gè)網(wǎng)絡(luò)

d2（mnist0? ; 90% x=1, 10%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x在1和0.1之間隨機(jī)。

讓1與0.1的比例是9：1.

具體進(jìn)樣順序	?	?	?	?
進(jìn)樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達(dá)到收斂
90% x=1，10% x=0.1	2	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達(dá)到收斂
90% x=1，10% x=0.1	4	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達(dá)到收斂
90% x=1，10% x=0.1	9998	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達(dá)到收斂
90% x=1，10% x=0.1	10000	?	判斷是否達(dá)到收斂
……	?	?	?	?
達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

相當(dāng)于分類兩個(gè)圖片集，一個(gè)圖片集是mnist的0另一個(gè)圖片集只有兩張圖片，兩張圖片被取樣的概率是9：1

得到的數(shù)據(jù)

用0和x二分類	?	?	?	?	?	?	?	?
1：0.1=9：1	?	?	?	?	?	?	?	?
f2[0]	f2[1]	迭代次數(shù)n	平均準(zhǔn)確率p-ave	δ	耗時(shí)ms/次	耗時(shí)ms/199次	耗時(shí)min/199次	最大準(zhǔn)確率p-max
0.498104124	0.502676985	16.44723618	0.507694501	0.5	705.7939698	140453	2.340883333	0.93286052
0.607871638	0.392303481	962.2462312	0.469812419	0.4	860.839196	171307	2.855116667	0.771631206
0.713203914	0.287205344	1173.944724	0.510825998	0.3	901.3768844	179390	2.989833333	0.996217494
0.815556635	0.184524514	1334.738693	0.546073155	0.2	929.1155779	184894	3.081566667	0.990543735
0.90997792	0.090066952	1611.693467	0.542224123	0.1	973.8894472	193804	3.230066667	0.997635934
0.991681618	0.008309057	2341.964824	0.569198237	0.01	1099.482412	218797	3.646616667	0.993853428
0.999210695	7.89E-04	4295.603015	0.509585754	0.001	1426.964824	283982	4.733033333	0.994799054
0.99991913	8.10E-05	9687.070352	0.502465044	1.00E-04	2373.773869	472383	7.87305	0.995271868
0.999923991	7.60E-05	10210.03518	0.496014351	9.00E-05	2356.180905	468880	7.814666667	0.908274232
0.999935256	6.48E-05	10843.55276	0.497753543	8.00E-05	3242.708543	645299	10.75498333	0.991489362
0.999943561	5.64E-05	10806.32663	0.502959241	7.00E-05	3266.79397	650109	10.83515	0.969267139
0.999950232	4.98E-05	12581.07035	0.497993514	6.00E-05	3724.944724	741264	12.3544	0.989125296
0.999958783	4.13E-05	13029.84422	0.498421184	5.00E-05	3809.974874	758185	12.63641667	0.997635934
0.999966645	3.33E-05	14310.57789	0.510201124	4.00E-05	3262.095477	649172	10.81953333	0.968794326
0.999974884	2.51E-05	16443.79397	0.502852323	3.00E-05	4501.236181	895749	14.92915	0.994799054
0.99998357	1.64E-05	19419.17085	0.503299001	2.00E-05	5115.778894	1018040	16.96733333	0.993380615
0.999991794	8.20E-06	27144.11558	0.489817884	1.00E-05	6756.723618	1344588	22.4098	0.973995272
0.999992793	7.20E-06	29046.41709	0.497423287	9.00E-06	6943.306533	1381720	23.02866667	0.995271868
0.999993282	6.72E-06	31390.61809	0.496453901	8.00E-06	7751.251256	1542499	25.70831667	0.996217494
0.999994272	5.73E-06	31424.78894	0.496423013	7.00E-06	7481.080402	1488736	24.81226667	0.988652482
0.999994899	5.11E-06	36383.01005	0.481965382	6.00E-06	8729.462312	1737170	28.95283333	0.926241135
0.999995796	4.20E-06	36290.04523	0.500666453	5.00E-06	7995.130653	1591032	26.5172	0.972104019
0.999996677	3.32E-06	42239.1005	0.486182686	4.00E-06	9862.758794	1962705	32.71175	0.885106383
0.999997456	2.55E-06	48473.47236	0.488192737	3.00E-06	10236.57789	2037079	33.95131667	0.997635934
0.999998261	1.74E-06	65778.96985	0.483386198	2.00E-06	13816.74874	2749549	45.82581667	0.94893617
0.999999127	8.72E-07	86632.40704	0.494909536	1.00E-06	18408.96482	3663384	61.0564	0.969739953

測試集是0和1，雖然訓(xùn)練集沒有1，平均準(zhǔn)確率接近0.5，但最大準(zhǔn)確率還是能超過99%

所以現(xiàn)在有了3個(gè)迭代次數(shù)分別是

x=1	n1
x=0.1	n0.1
0.9x=1\|\|0.1x=0.1	n1-0.1

驗(yàn)算n1-0.1與n1和n0.1之間的關(guān)系

?	1	0.1	理論值	實(shí)測值	理論值/實(shí)測值
δ	迭代次數(shù)n1	迭代次數(shù)n0.1	0.9n1+0.1n0.1
0.5	17.40201005	17.87437186	17.44924623	16.44723618	1.060922701
0.4	951.2110553	1408.577889	996.9477387	962.2462312	1.036063023
0.3	1144.577889	1720.517588	1202.171859	1173.944724	1.024044689
0.2	1313.633166	1995.110553	1381.780905	1334.738693	1.03524451
0.1	1505.824121	2243.834171	1579.625126	1611.693467	0.980102704
0.01	2362.115578	3001.552764	2426.059296	2341.964824	1.035907658
0.001	4129.020101	4007.532663	4116.871357	4295.603015	0.958391952
1.00E-04	10353.37186	5532.668342	9871.301508	9687.070352	1.019018253
9.00E-05	10653.93467	5683.753769	10156.91658	10210.03518	0.994797413
8.00E-05	11292.43719	6131.934673	10776.38693	10843.55276	0.99380592
7.00E-05	11761.11055	6106.919598	11195.69146	10806.32663	1.036031191
6.00E-05	12657.69347	6014.688442	11993.39296	12581.07035	0.953288761
5.00E-05	13305.44221	6455.321608	12620.43015	13029.84422	0.968578744
4.00E-05	15844.29648	6724.738693	14932.3407	14310.57789	1.043447778
3.00E-05	17291.77387	7055.80402	16268.17688	16443.79397	0.98932016
2.00E-05	20753.56281	7763.41206	19454.54774	19419.17085	1.001821751
1.00E-05	27708.19598	8749.050251	25812.28141	27144.11558	0.9509347
9.00E-06	29358.8593	8879.41206	27310.91457	29046.41709	0.94025072
8.00E-06	30689.87437	9387.150754	28559.60201	31390.61809	0.909813306
7.00E-06	33437.22111	9532.648241	31046.76382	31424.78894	0.98797048
6.00E-06	36960.63819	9957.683417	34260.34271	36383.01005	0.941657732
5.00E-06	40669.92462	10661.56281	37669.08844	36290.04523	1.038000592
4.00E-06	44594.04523	11025.0402	41237.14472	42239.1005	0.976278951
3.00E-06	51522.10553	11653.63317	47535.25829	48473.47236	0.980644793
2.00E-06	67583.53266	13076.9196	62132.87136	65778.96985	0.944570453
1.00E-06	107224.5276	15184.58794	98020.53367	86632.40704	1.131453425

從數(shù)值看

這個(gè)公式還是符合的很好的。

表明神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)可以被看作是一個(gè)線性變量可以用概率矩陣和迭代次數(shù)矩陣的點(diǎn)積來計(jì)算。

實(shí)驗(yàn)參數(shù)

學(xué)習(xí)率 0.1

權(quán)重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一層第二層和卷積核的權(quán)重的初始化的x分別為1000,1000,200

總結(jié)

以上是生活随笔為你收集整理的用数学方法构造神经网路的迭代次数1-9的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： ?j锅馍馍一天能做多少
下一篇：用神经网络迭代次数曲线模拟原子光谱