Tanh的表達式

對tanh求導

對其進行反向傳導就是 d*（1+tanhx）（1-tanhx）

而平方映射為μx(1-x)

d對應μ

1+tanhx 對應 x 只是多了一個1

Tanhx（n+1）=d*（1+tanhx（n））（1-tanhx（n））

先寫出結論

d
d<0.86	趨近于一個大于零的解
<0.86d<1.19	周期解
1.19<d	無規則混沌解

當d<0.86的時候有一個解就是X=d（1-x^2）這個方程的解圖像形如

這時當d=0.86時的圖像，圖像最終收斂于0.575333034

也就是說當殘差小于0.86是對tanh進行反向傳導時只要運行次數足夠多，比如對0.86這種情況只要迭代次數大于401次就會得到一個確定的值。這樣的網絡很顯然是穩定的。

當d>0.86是圖像會分岔，出現倍頻周期解

這是d=0.87時的圖像 有一大一小兩個解

這是d=1.1 時 可以看到兩大兩小4個解

這是d=1.18可以看到兩大兩小4個解更加明顯，也就是說tanh函數在反向傳導時如果d>0.87即便是同樣的輸入、迭代同樣的次數，兩次得到的網絡也可能不同，或者對同樣的輸入隨著迭代次數的增加輸出也不見得穩定。

當d>1.2是圖像變的沒有規律

比如當d=1.4時

可以想見如果tanh反向傳導的殘差大于1.4這個網絡的性能是很難穩定的，而tanh的輸出是-1到1,1.4的殘差是可能的。當d更大時輸出變化范圍更大，更不穩定

對比sigmoid函數

d	dx（1-x）
d<1	趨近于0
1<d<2.8	趨近于一個大于零的解
2.8<d<3.5	周期波動
d>3.5	混沌

具體迭代數據

*	d(1+f)(1-f)
d	0.1	0.8	-0.86	0.87	1
f	0.1	0.1	0.1	0.1	0.1
1	0.099	0.792	-0.8514	0.8613	0.99
2	0.0990199	0.2981888	-0.23660151	0.22460121	0.0199
3	0.099019506	0.728866752	-0.81185696	0.826112238	0.99960399
4	0.099019514	0.375002607	-0.29316391	0.276258556	0.000791863
5	0.099019514	0.687498436	-0.78608723	0.803602653	0.999999373
6	0.099019514	0.42187672	-0.3285775	0.308173815	1.25409E-06
7	0.099019514	0.657616026	-0.76715167	0.787375143	1
8	0.099019514	0.45403293	-0.35387135	0.330635135	3.14548E-12
9	0.099019514	0.635083279	-0.75230656	0.774891955	1
10	0.099019514	0.477335383	-0.37326997	0.347601939	0
11	0.099019514	0.617720746	-0.7401758	0.764880416	1
12	0.099019514	0.494736864	-0.38884022	0.361013416	0
13	0.099019514	0.604188348	-0.72997082	0.756612303	1
14	0.099019514	0.507965152	-0.40174263	0.371957906	0
15	0.099019514	0.593577124	-0.72119846	0.749633165	1
16	0.099019514	0.518132959	-0.4126906	0.381103603	0
17	0.099019514	0.58523059	-0.71353037	0.743641238	1
18	0.099019514	0.526004126	-0.422152	0.388888007	0
19	0.099019514	0.578655728	-0.70673741	0.738426523	1
20	0.099019514	0.532126039	-0.43044912	0.395611855	0
21	0.099019514	0.573473503	-0.70065366	0.733837396	1
22	0.099019514	0.536902513	-0.43781263	0.401489928	0
23	0.099019514	0.569388553	-0.69515529	0.729761079	1
24	0.099019514	0.54063734	-0.44441285	0.406680428	0
25	0.099019514	0.566169013	-0.69014761	0.726111596	1

d(1+f)(1-f)
d	1.1	1.18	1.19	1.2	1.6	1.9
f	0.1	0.1	0.1	0.1	0.1	5
1	1.089	1.1682	1.1781	1.188	1.584	-45.6
2	-0.2045131	-0.43033566	-0.46162434	-0.4936128	-2.4144896	-3948.884
3	1.053991831	0.961477236	0.936414537	0.907615684	-7.72761605	-29627999.3
4	-0.12198866	0.089162599	0.146522099	0.211480523	-93.9456796	-1.6679E+15
5	1.083630644	1.170619037	1.164452217	1.146331186	-14119.6651	-5.2853E+30
6	-0.19168091	-0.43701174	-0.42357927	-0.37689023	-318983908	-5.3075E+61
7	1.059584272	0.954644476	0.976490918	1.02954451	-1.628E+17	-5.352E+123
8	-0.13499071	0.10461163	0.055293929	-0.07195428	-4.2407E+34	-5.443E+247
9	1.079955259	1.16708656	1.186361672	1.193787098	-2.8773E+69	#NUM!
10	-0.1829337	-0.42726743	-0.48487028	-0.51015316	-1.325E+139	#NUM!
11	1.063188789	0.964582205	0.910231966	0.887692499	-2.808E+278	#NUM!
12	-0.14340744	0.08210578	0.204058544	0.254402432	#NUM!	#NUM!
13	1.077377736	1.172045196	1.140448532	1.122335283	#NUM!	#NUM!
14	-0.17681707	-0.44095413	-0.3577412	-0.31156379	#NUM!	#NUM!
15	1.065609298	0.950560156	1.037705272	1.083513609	#NUM!	#NUM!
16	-0.14907549	0.113793761	-0.09143036	-0.20880209	#NUM!	#NUM!
17	1.075554147	1.164720156	1.180052183	1.147682025	#NUM!	#NUM!
18	-0.1724984	-0.42075619	-0.46710255	-0.38060884	#NUM!	#NUM!
19	1.067268734	0.97109779	0.930360092	1.026164296	#NUM!	#NUM!
20	-0.15296881	0.067223518	0.159971818	-0.06361579	#NUM!	#NUM!
21	1.074260599	1.174667578	1.159546731	1.195143637	#NUM!	#NUM!
22	-0.16943942	-0.44821583	-0.41001286	-0.51404197	#NUM!	#NUM!
23	1.068419312	0.942941037	0.989948452	0.882913018	#NUM!	#NUM!
24	-0.15567181	0.130817396	0.023802453	0.264557524	#NUM!	#NUM!
25	1.073342917	1.159806435	1.189325797	1.11601118	#NUM!	#NUM!

*	d*f*(1-f)
d	0.1	0.2	0.9	1	1.1	1.2
f	0.1	0.1	0.1	0.1	0.1	0.1
1	0.009	0.018	0.081	0.09	0.099	0.108
2	0.000908	0.003665	0.066995	0.0819	0.098119	0.115603
3	9.09E-05	0.000736	0.056256	0.075192	0.097341	0.122687
4	9.09E-06	0.000147	0.047782	0.069538	0.096652	0.129162
5	9.09E-07	2.95E-05	0.040949	0.064703	0.096041	0.134975
6	9.09E-08	5.89E-06	0.035345	0.060516	0.095499	0.140108
7	9.09E-09	1.18E-06	0.030686	0.056854	0.095017	0.144573
8	9.09E-10	2.36E-07	0.02677	0.053622	0.094588	0.148406
9	9.09E-11	4.71E-08	0.023448	0.050746	0.094205	0.151658
10	9.09E-12	9.42E-09	0.020608	0.048171	0.093863	0.15439
11	9.09E-13	1.88E-09	0.018165	0.045851	0.093558	0.156664
12	9.09E-14	3.77E-10	0.016052	0.043749	0.093286	0.158545
13	9.09E-15	7.54E-11	0.014215	0.041835	0.093042	0.16009
14	9.09E-16	1.51E-11	0.012611	0.040084	0.092824	0.161353
15	9.09E-17	3.02E-12	0.011207	0.038478	0.092628	0.162382
16	9.09E-18	6.03E-13	0.009973	0.036997	0.092453	0.163217
17	9.09E-19	1.21E-13	0.008887	0.035628	0.092296	0.163893
18	9.09E-20	2.41E-14	0.007927	0.034359	0.092155	0.164438
19	9.09E-21	4.83E-15	0.007078	0.033178	0.092029	0.164878
20	9.09E-22	9.65E-16	0.006325	0.032078	0.091915	0.165232
21	9.09E-23	1.93E-16	0.005656	0.031049	0.091814	0.165516
22	9.09E-24	3.86E-17	0.005062	0.030085	0.091722	0.165745
23	9.09E-25	7.72E-18	0.004533	0.02918	0.09164	0.165928
24	9.09E-26	1.54E-18	0.004061	0.028328	0.091567	0.166075
25	9.09E-27	3.09E-19	0.00364	0.027526	0.0915	0.166193

*	d*f*(1-f)
d	2	3	3.5	3.6	3.8	4
f	0.1	0.9	0.1	0.1	0.1	0.1
1	0.18	0.27	0.315	0.324	0.342	0.36
2	0.2952	0.5913	0.755213	0.788486	0.855137	0.9216
3	0.416114	0.724993	0.647033	0.600392	0.470736	0.289014
4	0.485926	0.598135	0.799335	0.863717	0.946746	0.821939
5	0.499604	0.721109	0.561396	0.423756	0.191589	0.585421
6	0.5	0.603333	0.861807	0.879072	0.588555	0.970813
7	0.5	0.717967	0.416835	0.382695	0.9202	0.113339
8	0.5	0.607471	0.850793	0.850462	0.27904	0.401974
9	0.5	0.71535	0.444306	0.457835	0.764472	0.961563
10	0.5	0.610873	0.864144	0.893599	0.684208	0.147837
11	0.5	0.713121	0.410898	0.342286	0.821056	0.503924
12	0.5	0.613738	0.847213	0.810455	0.558307	0.999938
13	0.5	0.711191	0.453051	0.553025	0.937081	0.000246
14	0.5	0.616195	0.867285	0.889878	0.224049	0.000985
15	0.5	0.709496	0.402856	0.352782	0.660634	0.003936
16	0.5	0.618334	0.84197	0.821977	0.851947	0.015682
17	0.5	0.707991	0.465697	0.526792	0.479305	0.061745
18	0.5	0.620219	0.870882	0.897416	0.948373	0.23173
19	0.5	0.706642	0.393564	0.331418	0.186056	0.712124
20	0.5	0.621897	0.83535	0.797689	0.575468	0.820014
21	0.5	0.705423	0.481392	0.580973	0.928357	0.590364
22	0.5	0.623404	0.873788	0.876396	0.252738	0.967337
23	0.5	0.704315	0.385989	0.389974	0.717674	0.126384
24	0.5	0.624767	0.829505	0.856419	0.769948	0.441645
25	0.5	0.7033	0.494993	0.442675	0.673086	0.986379

總結

以上是生活随笔為你收集整理的用平方映射理解tanh的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。