吴恩达《Machine Learning》精炼笔记 4：神经网络基础
作者 | Peter
編輯 |?AI有道
今天帶來第四周課程的筆記：神經網絡基礎。
非線性假設
神經元和大腦
模型表示
特征和直觀理解
多類分類問題
非線性假設Non-linear Hypotheses
線性回歸和邏輯回歸的缺點：特征太多的時候，計算負荷會非常大
假設我們希望訓練一個模型來識別視覺對象（例如識別一張圖片上是否是一輛汽車），我們怎樣才能這么做呢？一種方法是我們利用很多汽車的圖片和很多非汽車的圖片，然后利用這些圖片上一個個像素的值（飽和度或亮度）來作為特征。
假設采用的是50*50像素的小圖片，將所有的像素視為特征，則有2500個特征。普通的邏輯回歸模型不能處理的，需要使用神經網絡
神經元和大腦
模型表示
模型表示1
每個神經元是可以被認為一個處理單元/神經核processing unit/Nucleus，主要包含：
多個輸入/樹突input/Dendrite
一個輸出/軸突output/Axon
神經網絡是大量神經元相互鏈接并通過電脈沖來交流的一個網絡
神經網絡模型建立在很多神經元之上，每一個神經元又是一個個學習模型
神經元稱之為激活單元activation unit；在神經網絡中，參數又可被成為權重（weight）
類似神經元的神經網絡
神經網絡
下圖是邏輯回歸模型作為自身學習模型的神經元示例
類似神經元的神經網絡結構
x1,x2,x3是輸入單元，將原始數據輸入給它們
幾個比較基礎的概念
輸入層：數據節點所在的層
網絡層：輸出hihi連同它的網絡層參數w,bw,b
隱藏層：網絡層中間的層
輸出層：最后一層
偏置單元：bias unit，每層加上偏置單元
上面模型的激活單元和輸出分別表示為：
三個激活單元的表達式:
輸出的表達式為：
將特征矩陣的每行（一個訓練實例）喂給了神經網絡，最終需要將整個訓練集都喂給神經網絡。
這種從左到右計算的算法稱之為：前向傳播法FORWARD PROPAGATION
模型標記的記憶方法
其尺寸具體表示為：
以第jj?層的激活單元數量為行數
以第?j+1j+1層的激活單元數+1為列數的矩陣
模型表示2
FORWARD PROPAGATION相對于使用循環來編碼，利用向量化的方法會使得計算更為簡便，
假如現在有：
其中z滿足:
也就是上面三個激活單元式子中的括號里面部分，那么有：
那么輸出h可以表示為 ：
特征和直觀理解
神經網絡中，單層神經元（無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)
實現邏輯”與AND”
實現邏輯"或OR"
實現邏輯“非not”
多類分類問題
當輸出中不止有兩種分類時，比如使用神經網絡算法來識別路人、汽車、摩托車等。
輸入向量有3個維度，兩個中間層
輸出層有4個神經元表示4種分類，也就是每一個數據在輸出層都會出現[a,b,c,d]T[a,b,c,d]T，且[a,b,c,d][a,b,c,d]中僅有一個為1，表示當前類
TF中解決辦法
上述多類分類問題和TF中手寫數字問題類似，解決辦法如下：
手寫數字圖片數據
總類別數是10，即輸出節點總數值dout=10dout=10，假設某個樣本的類別是i，即圖片中的數字是ii，需要一個長度為10的向量yy，索引號為ii的位置設置為1，其余是0。
0的one-hot編碼是[1,0,0,0,….]
1的one-hot編碼是[0,1,0,0,….]
其余類推
至此，第四周的課程筆記完畢！
系列文章：
吳恩達《Machine Learning》精煉筆記 1：監督學習與非監督學習
吳恩達《Machine Learning》精煉筆記 2：梯度下降與正規方程
吳恩達《Machine Learning》精煉筆記 3：回歸問題和正則化
推薦閱讀
（點擊標題可跳轉閱讀）
干貨 | 公眾號歷史文章精選
我的深度學習入門路線
我的機器學習入門路線圖
重磅！
AI有道年度技術文章電子版PDF來啦！
掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得2020完整技術文章合集PDF（一定要備注：入群?+ 地點 + 學校/公司。例如：入群+上海+復旦。?
長按掃碼，申請入群
（添加人數較多，請耐心等待）
感謝你的分享，點贊，在看三連↓
總結
以上是生活随笔為你收集整理的吴恩达《Machine Learning》精炼笔记 4：神经网络基础的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 大众流行编程语言有哪些 该选择哪一个来入
- 下一篇： 吴恩达《Machine Learning