單神經(jīng)元解決XOR問題

? ? 有兩個(gè)輸入的單個(gè)神經(jīng)元的使用得到的決策邊界是輸入空間的一條直線。在這條直線的一邊的所有的點(diǎn)，神經(jīng)元輸出1；而在這條直線的另一邊的點(diǎn)，神經(jīng)元輸出0。在輸入空間中，這條直線的位置和方向有兩個(gè)輸入節(jié)點(diǎn)相連的神經(jīng)元的突觸權(quán)值和它的偏置決定。由于輸入模式（0,0）和（1,1）是位于單位正方形相對(duì)的兩個(gè)角，輸入模式（0,1）和（1,0）也一樣，很明顯不能做出這樣一條直線作為決策邊界可以使（0,0）和（1,1）在一個(gè)區(qū)域而（0,1）和（1,0）在另一個(gè)區(qū)域。換句話說，通常一個(gè)基本單層感知器不能解決XOR問題，也就是說原始Rosenblatt感知器不能解決XOR問題，所以可以采用多層感知器通過隱藏層來進(jìn)行維度分塊來解決XOR問題。

? ? 下面是構(gòu)造的一個(gè)使用一層有兩個(gè)神經(jīng)元的隱藏層來解決異或問題，假設(shè)

? ? ? ? 每個(gè)神經(jīng)元都由一個(gè)McCulloch-Pitts模型表示，使用閾值函數(shù)作為他的激活函數(shù)。

? ? ? ? 比特符號(hào)0和1分別有水平0和+1表示。

網(wǎng)絡(luò)結(jié)構(gòu)和信號(hào)流圖如下：

其中神經(jīng)元1，神經(jīng)元2，和神經(jīng)元1?2共同構(gòu)造的邊界如下圖：

? ? 第二種方式是采用非線性映射（高斯函數(shù)）解決線性映射模式不可分問題（不增加空間維度）。同時(shí)依然保持單個(gè)神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)。

? ? 要求建立一個(gè)模式分類產(chǎn)生二值輸出相應(yīng)，（1,1）（0，0）->0?（1,0）（0,1）->1，因此在此輸入空間中依Hamming距離最近的點(diǎn)映射到輸出空間中最大分離的區(qū)域，一個(gè)序列的Hamming距離定義為二值序列中從符號(hào)1變?yōu)榉?hào)0的個(gè)數(shù)，反之亦然。因此，11和00的Hamming距離是0,01和10的Hamming距離是1。

定義一對(duì)高斯函數(shù)如下：

結(jié)果如下：

?

Tip:cover定理：

? ? 將低維線性不可分問題，非線性的投射到高維（甚至同維）空間，使其更容易線性可分（這個(gè)以后細(xì)說）。

?

?

?

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—单神经元解决XOR问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。