當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

用两个矩阵的点积计算神经网络的迭代次数 2-8

發(fā)布時(shí)間：2025/4/5 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了用两个矩阵的点积计算神经网络的迭代次数 2-8 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

每個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)每個(gè)收斂標(biāo)準(zhǔn)δ都有一個(gè)特征的迭代次數(shù)n，因此可以用迭代次數(shù)曲線n(δ)來(lái)評(píng)價(jià)網(wǎng)絡(luò)性能。

在《神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)是一個(gè)線性的變量嗎？》中得到表達(dá)式

一個(gè)二分類網(wǎng)絡(luò)分類兩個(gè)對(duì)象A和B，B中有K張圖片，B的第i張圖片被取樣的概率為pi,B中第i張圖片相對(duì)A的迭代次數(shù)為ni,最終的迭代次數(shù)nt等于pi*ni的累加和。

由此可以構(gòu)造兩個(gè)矩陣一個(gè)是隨機(jī)矩陣PJ和迭代次數(shù)矩陣NJ

總的迭代次數(shù)nt等于矩陣PJ和NJ的點(diǎn)積

PJ表明圖片集B中第i張圖片被抽樣到的概率為pi

NJ表明圖片集B中第i張圖片相對(duì)A的迭代次數(shù)為ni

由此總迭代次數(shù)nt可以通過(guò)構(gòu)造矩陣PJ和矩陣NJ的方法精確的控制

本文分別制作兩個(gè)矩陣讓

本文驗(yàn)證這個(gè)乘法關(guān)系是否成立

制作一個(gè)二分類網(wǎng)絡(luò)區(qū)分?jǐn)?shù)據(jù)集mnist0和數(shù)據(jù)集B，其中B中只有兩張圖片，兩張圖片被抽樣到的概率比是8：2.

本文驗(yàn)算這個(gè)表達(dá)式是否正確

實(shí)驗(yàn)過(guò)程

首先用實(shí)驗(yàn)的方法測(cè)量n1

制作一個(gè)帶一個(gè)3*3卷積核的神經(jīng)網(wǎng)絡(luò)，測(cè)試集是mnist的0和一張圖片x，將28*28的圖片縮小成9*9，隱藏層30個(gè)節(jié)點(diǎn)所以網(wǎng)絡(luò)的結(jié)構(gòu)是

這個(gè)網(wǎng)絡(luò)分成兩個(gè)部分左邊的是讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但是讓左右兩邊的權(quán)重實(shí)現(xiàn)同步更新，實(shí)現(xiàn)權(quán)重共享。前面大量實(shí)驗(yàn)表明這種效果相當(dāng)于將兩個(gè)彈性系數(shù)為k1，k2的彈簧并聯(lián)成一個(gè)彈性系數(shù)為k的彈簧，并且讓k1=k2=k/2的過(guò)程。

將上圖簡(jiǎn)寫成

S（mnist0）81-（con3*3）49-30-2-（1,0）

S（x）81-（con3*3）49-30-2-（0,1）

w=w，w1=w1,w2=w2

進(jìn)一步簡(jiǎn)寫成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

這個(gè)網(wǎng)絡(luò)的收斂標(biāo)準(zhǔn)是

if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )

本文嘗試了δ從0.5到1e-6在內(nèi)的26個(gè)值，訓(xùn)練集是mnist0

圖片x就是一張二維數(shù)組，讓x=1.

具體進(jìn)樣順序	?	?	?	?
進(jìn)樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達(dá)到收斂
X	2	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達(dá)到收斂
X	4	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達(dá)到收斂
X	9998	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒(méi)有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達(dá)到收斂
X	10000	?	判斷是否達(dá)到收斂
……	?	?	?	?
達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過(guò)程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

用這個(gè)方法可以得到網(wǎng)絡(luò)

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次數(shù)曲線n1。

第二步測(cè)量n0.1

用同樣的辦法制作另一個(gè)網(wǎng)絡(luò)

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x=0.1.得到迭代次數(shù)曲線n0.1

實(shí)驗(yàn)數(shù)據(jù)

在《測(cè)量一組對(duì)角矩陣的頻率和質(zhì)量》中已經(jīng)將這兩個(gè)迭代次數(shù)都測(cè)出來(lái)了

?	1	0.1
δ	迭代次數(shù)n1	迭代次數(shù)n0.1
0.5	17.40201005	17.87437186
0.4	951.2110553	1408.577889
0.3	1144.577889	1720.517588
0.2	1313.633166	1995.110553
0.1	1505.824121	2243.834171
0.01	2362.115578	3001.552764
0.001	4129.020101	4007.532663
1.00E-04	10353.37186	5532.668342
9.00E-05	10653.93467	5683.753769
8.00E-05	11292.43719	6131.934673
7.00E-05	11761.11055	6106.919598
6.00E-05	12657.69347	6014.688442
5.00E-05	13305.44221	6455.321608
4.00E-05	15844.29648	6724.738693
3.00E-05	17291.77387	7055.80402
2.00E-05	20753.56281	7763.41206
1.00E-05	27708.19598	8749.050251
9.00E-06	29358.8593	8879.41206
8.00E-06	30689.87437	9387.150754
7.00E-06	33437.22111	9532.648241
6.00E-06	36960.63819	9957.683417
5.00E-06	40669.92462	10661.56281
4.00E-06	44594.04523	11025.0402
3.00E-06	51522.10553	11653.63317
2.00E-06	67583.53266	13076.9196
1.00E-06	107224.5276	15184.58794

現(xiàn)在做第3個(gè)網(wǎng)絡(luò)

d2（mnist0? ; 80% x=1, 20%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x在1和0.1之間隨機(jī)。

讓1與0.1的比例是8：2.

具體進(jìn)樣順序	?	?	?	?
進(jìn)樣順序	迭代次數(shù)	?	?	?
δ=0.5	?	?	?	?
mnist 0-1	1	?	判斷是否達(dá)到收斂
80% x=1，20% x=0.1	2	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
mnist 0-2	3	?	判斷是否達(dá)到收斂
80% x=1，20% x=0.1	4	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
mnist 0-4999	9997	?	判斷是否達(dá)到收斂
80% x=1，20% x=0.1	9998	?	判斷是否達(dá)到收斂
梯度下降	?	?	?	?
……	?	?	?	?
如果4999圖片內(nèi)沒(méi)有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán)			?	?
mnist 0-1	9999	?	判斷是否達(dá)到收斂
80% x=1，20% x=0.1	10000	?	判斷是否達(dá)到收斂
……	?	?	?	?
達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過(guò)程重復(fù)199次		?	?	?
δ=0.4	?	?	?	?
……	?	?	?	?

相當(dāng)于分類兩個(gè)圖片集，一個(gè)圖片集是mnist的0另一個(gè)圖片集只有兩張圖片，兩張圖片被取樣的概率是8：2

得到的數(shù)據(jù)

用0和x二分類	?	?	?	?	?	?	?	?
1：0.1=8：2	?	?	?	?	?	?	?	?
?	?	?	?	?	?	?	?	?
f2[0]	f2[1]	迭代次數(shù)n	平均準(zhǔn)確率p-ave	δ	耗時(shí)ms/次	耗時(shí)ms/199次	耗時(shí)min/199次	最大準(zhǔn)確率p-max
0.50566328	0.497763951	17.31155779	0.505501503	0.5	921.0653266	183323	3.055383333	0.861938534
0.606609999	0.393211865	977.2964824	0.477251506	0.4	1112.351759	221358	3.6893	0.963120567
0.713338671	0.286631874	1244.819095	0.545928223	0.3	1166.467337	232127	3.868783333	0.992434988
0.814994506	0.184507552	1367.894472	0.579702294	0.2	1188.100503	236432	3.940533333	0.997163121
0.909871883	0.090147713	1622.60804	0.594867957	0.1	1234.457286	245672	4.094533333	0.995744681
0.991991547	0.008022444	2451.462312	0.606966273	0.01	1401.79397	278973	4.64955	0.997163121
0.999243349	7.56E-04	4189.592965	0.54157549	0.001	1755.160804	349277	5.821283333	0.996690307
0.999918398	8.18E-05	9589.763819	0.513579719	1.00E-04	2860.809045	569301	9.48835	0.992907801
0.999927347	7.27E-05	9769.472362	0.528847547	9.00E-05	2575.964824	512617	8.543616667	0.995271868
0.999937071	6.28E-05	10447.81407	0.520938023	8.00E-05	3024.321608	601840	10.03066667	0.993853428
0.999943494	5.65E-05	11190.78894	0.520569752	7.00E-05	3179.547739	632730	10.5455	0.995744681
0.999951392	4.86E-05	11462.45729	0.526839873	6.00E-05	3200.095477	636827	10.61378333	0.995271868
0.999960481	3.95E-05	12531.89447	0.509782957	5.00E-05	3412.919598	679175	11.31958333	0.987234043
0.999967762	3.23E-05	13652.90955	0.520239495	4.00E-05	3205.512563	637897	10.63161667	0.993853428
0.999975773	2.43E-05	15084.02513	0.516088718	3.00E-05	3937.758794	783620	13.06033333	0.997163121
0.999983453	1.65E-05	17850.52764	0.509438445	2.00E-05	4596.673367	914740	15.24566667	0.994326241
0.999991715	8.29E-06	25200.21608	0.516967818	1.00E-05	4941.844221	983443	16.39071667	0.989598109
0.99999284	7.16E-06	25605.17085	0.515739454	9.00E-06	4968.120603	988673	16.47788333	0.989598109
0.999993474	6.52E-06	28406.36683	0.524064768	8.00E-06	5459.522613	1086445	18.10741667	0.994326241
0.999994401	5.60E-06	28608.58794	0.521154234	7.00E-06	5223.728643	1039538	17.32563333	0.986761229
0.999995111	4.89E-06	32479.66332	0.509533483	6.00E-06	6074.311558	1208788	20.14646667	0.995271868
0.999995947	4.06E-06	36849.28141	0.495180394	5.00E-06	6820.743719	1357328	22.62213333	0.98250591
0.999996768	3.23E-06	36909.13065	0.504486974	4.00E-06	6836.849246	1360549	22.67581667	0.98392435
0.999997515	2.48E-06	43731.97487	0.494505625	3.00E-06	7944.974874	1581050	26.35083333	0.991962175
0.999998265	1.74E-06	62934.13568	0.491236323	2.00E-06	10640.96985	2117553	35.29255	0.990070922
0.999999125	8.74E-07	93680.26633	0.497100158	1.00E-06	16180.28141	3219876	53.6646	0.992907801

所以現(xiàn)在有了3個(gè)迭代次數(shù)分別是

x=1	n1
x=0.1	n0.1
0.8x=1\|\|0.2x=0.1	n1-0.1

驗(yàn)算n1-0.1與n1和n0.1之間的關(guān)系

?	1	0.1	理論值	實(shí)測(cè)值	?
δ	迭代次數(shù)n1	迭代次數(shù)n0.1	0.8n1+0.2n0.1		理論值/實(shí)測(cè)值
0.5	17.40201005	17.87437186	17.49648241	17.31155779	1.010682148
0.4	951.2110553	1408.577889	1042.684422	977.2964824	1.066906963
0.3	1144.577889	1720.517588	1259.765829	1244.819095	1.012007153
0.2	1313.633166	1995.110553	1449.928643	1367.894472	1.059971125
0.1	1505.824121	2243.834171	1653.426131	1622.60804	1.018992936
0.01	2362.115578	3001.552764	2490.003015	2451.462312	1.015721516
0.001	4129.020101	4007.532663	4104.722613	4189.592965	0.979742578
1.00E-04	10353.37186	5532.668342	9389.231156	9589.763819	0.979088884
9.00E-05	10653.93467	5683.753769	9659.898492	9769.472362	0.988784055
8.00E-05	11292.43719	6131.934673	10260.33668	10447.81407	0.982055827
7.00E-05	11761.11055	6106.919598	10630.27236	11190.78894	0.949912684
6.00E-05	12657.69347	6014.688442	11329.09246	11462.45729	0.988365076
5.00E-05	13305.44221	6455.321608	11935.41809	12531.89447	0.952403335
4.00E-05	15844.29648	6724.738693	14020.38492	13652.90955	1.026915536
3.00E-05	17291.77387	7055.80402	15244.5799	15084.02513	1.010644027
2.00E-05	20753.56281	7763.41206	18155.53266	17850.52764	1.017086611
1.00E-05	27708.19598	8749.050251	23916.36683	25200.21608	0.949054038
9.00E-06	29358.8593	8879.41206	25262.96985	25605.17085	0.986635473
8.00E-06	30689.87437	9387.150754	26429.32965	28406.36683	0.930401617
7.00E-06	33437.22111	9532.648241	28656.30653	28608.58794	1.001667981
6.00E-06	36960.63819	9957.683417	31560.04724	32479.66332	0.971686404
5.00E-06	40669.92462	10661.56281	34668.25226	36849.28141	0.940812166
4.00E-06	44594.04523	11025.0402	37880.24422	36909.13065	1.02631093
3.00E-06	51522.10553	11653.63317	43548.41106	43731.97487	0.995802526
2.00E-06	67583.53266	13076.9196	56682.21005	62934.13568	0.900659228
1.00E-06	107224.5276	15184.58794	88816.5397	93680.26633	0.948081631

從數(shù)值看

這個(gè)公式還是符合的很好的。

表明神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)可以被看作是一個(gè)線性變量可以用概率矩陣和迭代次數(shù)矩陣的點(diǎn)積來(lái)計(jì)算。

實(shí)驗(yàn)參數(shù)

學(xué)習(xí)率 0.1

權(quán)重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一層第二層和卷積核的權(quán)重的初始化的x分別為1000,1000,200

總結(jié)

以上是生活随笔為你收集整理的用两个矩阵的点积计算神经网络的迭代次数 2-8的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。