神經元模型

定義：神經網路是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應[Kohomen,1988]。

神經網絡中最基本的成分是神經元(Neuron)模型，即上述定義中的“簡單單元”。這些神經元（也叫做激活單元,activation unit）采納一些特征作為輸出，冰潔根據本身的模型提供一個輸出。

下面是神經網絡的一個示例
圖片來源：coursera 機器學習
我們要來向量化這個表達式，定義新的變量$z_k^{(j)}$，（其中j表示第j層，k表示第k個）來表達g函數里面的內容

所以我們得到

x和z的向量化表達

圖片來源：coursera 機器學習

由$z_k^{(2)}$的表達式，使用向量知道$z^{(2)}={\Theta }^{(1)}\times x$
令$x=a^{(1)}$，則$z^{(2)}={\Theta }^{(1)}\times a^{(1)}$
推而廣之，$$z^{(j)}={\Theta }^{(j?1)}\times a^{(j?1)}$$

We are multiplying our matrix ${\Theta }^{(j?1)}$ with dimensions $s_j\times (n+1)$ (where $s_j$ is the number of our activation nodes，$s_j$ 是神經元的數量) by our vector $a^{(j?1)}$ with height (n+1).這樣我們得到$z^{(j)}$高度是$s_j$

于是第j層的神經元的數量
$$a^{(j)}=g(z^{(j)})$$
然后增加一個偏置單元$a_0^{(j)}=1$
圖片來源：coursera 機器學習

我們有了$a^{(1)}的輸入，$考慮如何計算$a^{(2)}$。需要第一層的${\Theta }^{(1)}$與$a^{(1)}$的乘積，然后這個乘積通過g函數即可。
測試題

圖片來源：coursera 機器學習

神經網絡中，單層神經網絡（無中間層）可以用來表示邏輯運算，比如邏輯與（AND），邏輯或(OR).
AND ${\Theta }^{(1)}=[?30,20,20]$
NOR ${\Theta }^{(1)}=[10,?20,?20]$
OR:${\Theta }^{(1)}=[?10,20,20]$

測試題
這是一個邏輯或，需要$h_{\Theta }(x)=g(?10+20x_1+20x_2)$，然后根據sigmoid函數的性質
得到真值表

x1x2$h_{\Theta }(x)$

0	0	0
0	1	1
1	0	1
1	1	1

本周測試題
測試結果

測試內容
分析
第二項是錯誤的，沒有隱藏層的兩層神經網絡不能表達異或（XOR），因為$h_{\Theta }(x)=g(a+b{x}_1+c{x}_2)$,其中g為sigmoid函數

$x_1$$x_2$XOR$h_{\Theta }(x)$

0	0	0	g(a)=0,即a<0
0	1	1	g(a+c)=1,即a+c>0，則c>0 ,且$abs(c)>abs(a)$
1	0	1	g(a+b)=1,a+b>0,則b>0,且$abs(b)>abs(a)$
1	1	0	g(a+b+c)=0,即a+b+c<0,由于$abs(c)>abs(a)$和$abs(b)>abs(a)$得出矛盾

因此，沒有隱藏層的兩層神經網絡不能表達異或（XOR）。

分析
筆者是計算出來的，帶入具體的值，因為兩次反轉，發現結果不變。

參考資料：coursera Machine Learning

總結

以上是生活随笔為你收集整理的吴恩达机器学习Week4神经网络表述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。