權值初始化

0值初始化

在邏輯回歸中，我們通常會初始化所有權值為 0 ，假如在如下的神經網絡也采用 0 值初始化：

則可以得到：

$$a_1^{(1)}=a_2^{(2)}$$$$則{\delta }_1^{(1)}={\delta }_2^{(1)}$$$$則\frac{?}{?{\Theta }_{01}^{(1)}J(\Theta )}=\frac{?}{?{\Theta }_{02}^{(1)}}J(\Theta )$$$$則更新后的權值：{\Theta }_{01}^{(1)}={\Theta }_{02}^{(1)}$$

亦即，每次迭代，所有權值的數值都一樣，這意味著，隱含層的神經元激活值也將一樣，也就是無論隱含層層數有多少，各層的神經元有多少，由于各層的神經元激活值大小一樣，也就相當于各層只有一個有效神經元（特征），這就失去了神經網絡進行特征擴展和優化的本意了。

隨機初始化

我們看到了固定值初始化將會是神經網絡喪失其特性，因此，對于各層的權值矩陣，采用隨機初始化策略。隨機值產生的區間我們定義為 $[??,+?]$ ，并假定：

$${\Theta }^{(1)}\in R^{10\times 11},{\Theta }^{(2)}\in R^{1\times 11}$$

在 matlab 中，隨機初始化權值的代碼如下：

Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON; Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

在 python 中，隨機初始化權值的代碼如下：

import numpy as np # ... Theta1 = np.random.rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON Theta2 = np.random.rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON

總結

以上是生活随笔為你收集整理的3.6 权值初始化-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。