文章目錄

• CNN
• • 卷積
  • padding
  • pooling
  • BP
  • 其他CNN
  • ResNets殘差網絡——
  • 圖像數據應用

CNN

• Hebb學習律（無監督
  • 如果兩個神經元在同一時刻被激發，則他們之間的聯系應該被強化
  • 對神經元的重復刺激，使得神經元之間的突觸強度增加
• Delta學習律（有監督
• 彌補之前的DNN的缺陷
  • 圖大，DNN的參數太多
• 基本思想—>得到了某種程度的位移、尺度、形變不變性
  • 局部感知野：局部連接（稀疏連接）-（減少參數數量）
    • 非全連接
    • 圖：近的關聯性強，遠的弱
    • 減少了權值數目
  • 參數共享（減少參數數量）
    • 一個卷積核用在圖的任何地方
    • 一個卷積核可以檢測同一種特征
    • 利用了平移不變性
  • 不是逐層訓練的
• 優點
  • 到了某種程度的位移、尺度、形變不變性
  • 層間聯系和空域信息的緊密的關系，使其適于圖像處理和理解
  • 避免了顯示特征抽取，隱式抽取
    • 特征抽取和模式分類同時進行，并同時在訓練中產生
    • 減小參數，使得網絡更簡單，適應性更強
• 如何計算以解決語義鴻溝？
  • 特異性（局部性、方向和尺度選擇性
  • 不變形（對小的位置、方向、尺度變化有容忍
  • 層級性：從簡單模式到復雜模式
  • 非線性：從輸入x-y是復雜的非線性映射
• CNN
  • 多層（層級性
  • 卷積：特異性
  • pooling:不變性
    • 旋轉不變性
    • 平移不變性
  • 激活函數：非線性
  • 功能:
    • 不同卷積核檢測不同特征

卷積

• 卷積計算（局部鏈接
  • 一維
    • 核m=[1,1,1]
    • 數據：x=[1,2,3,4,5,6]
    • 步長1
    • 結果c=[1·1+1·2+1·3，2·1+3·1+4·1，。。。,4·1+5·1+6·1]
  • 二維
    • 計算：m（是m1*m2的）與x對應相乘后相加
  • 三維
    • 步長1，數據(a1,a2,a3),卷積核（f,f,f)
    • 結果大小（a1-f+1,a2-f+1,a3-f+1）
  • 一個卷積核對一張圖能夠生成1張圖
  • 可以多卷積核，生成多張圖（可看做圖的不同通道）
  • 特別的卷積核——能檢測到的輸出高
    • 垂直邊緣檢測的卷積核
      $?\begin{array}{ccc}1& 0& ?1\\ 1& 0& ?1\\ 1& 0& ?1\end{array}?$
    • 也有可識別特定曲線的卷積核（對特定圖像輸出高，其他低
      

padding

• padding
  • 卷積會讓圖變小
  • 邊緣只計算了一次（會丟失邊緣信息）
  • 目的：使得卷積不讓圖變小
  • 做法：邊緣補0
    • padding=p
    • 上、下、左、右各補p行/列
    • 結果(n+2p,n+2p)
  • 尺寸計算
    • 圖：(n,n)
    • filter（卷積核）：f*f
    • padding:p
    • stride步長：s
    • 結果：$(\frac{n+2p?f}{s}+1,\frac{n+2p?f}{s}+1)$
• 單層卷積網絡的參數
  • g(conv(x)+b)
  • l-層數
    • $f^l,p^l,s^l$
    • 輸入：$n_c^{l?1}個（n_H^{l?1},n_W^{l?1}）圖$
    • 輸出：$n_c^l個（n_H^l,n_W^l）圖$
      • $ n_H^{l}=n_W{l}=\frac{n^{l-1}+2p{l}-f^{l}}{s{l}}+1$
    • 卷積核的數目$n_c^{l?1}個(f^l，f^l)$
    • 權值：$n_c^{l-1}*(fl*f^l)*n_c{l} $
    • b：$n_c^l$

pooling

• pooling：池化
  • 子采樣（下采樣+降維）
    • max（多用這個，反向傳播殘差無約簡
    • ave（ 反向傳播殘差會約簡1
    • L2
  • pooling(f,f)，則s=f——無重疊
  • 池化層無padding，padding=0
  • 池化后尺寸$(\frac{n?f}{s}+1,\frac{n?f}{s}+1)$,同卷積

計算移動padding…尺寸改變…反向傳播

卷積	對應相乘后相加	按步長s移動，可能重疊，也可能不重疊	padding=p,上下左右各補p	$(\frac{n+2p?f}{s}+1,\frac{n+2p?f}{s}+1)$	卷積核上下左右翻轉后再卷積（反卷積
池化	max,ave,L2	不重疊的移動，s=f	p=0,無padding	$(\frac{n?f}{s}+1,\frac{n?f}{s}+1)$	ave:各項填充ave/f；max:一個max，其他0

BP

• CNN結構
  • padding-conv（g(conv+b))-pooling
  • 多層神經網絡
    • 每層多個二維面
    • 每個面有多個獨立神經元
• 訓練
  • 監督
  • 代價函數
    • 最小化平方誤差（MSE
    • 最小化相對熵（Relative entropy
  • BP
    • 前向
    • 后向
      • 輸出層：鏈式法則
      • 池化層：反池化(殘差上采樣
      • 卷積層：反卷積
        
        1個圖A–>2個核–>2個圖（C1,C2)
• 反卷積(相加）：
  • C1–>核1–>A1
  • C2–>核2–>A2
  • A<–A1+A2

其他CNN

• LeNet-5文字識別系統
  • 輸出層全連接
  • 無邊緣
  • sigmoid—>梯度消失
  • 平均池化—>信息約簡
  • 準確度高
• 改進CNN
  • 用relu/tanh
    • 加速收斂，>0,為1，梯度不會消失（sigmoid會
    • 稀疏化（<0.為0）
  • dropout
    • 隱藏層以一定概率清0
    • 可以將dropout看做是模型平均的一種
  • 局部歸一化
  • max池化（不會殘差約簡）
• ImageNet CNN
  • max pooling
  • relu
  • dropout
  • norm
  • conv-relu-maxpool-norm
• VGG CNN（16層
  • conv 3*3,s=1
  • max-pool 2*2,s=2
  • same-padding:邊緣填充
• googleNet—very deep
  • 自動學習超參數
  • inception
  • 把所有卷積核加入到網絡中，讓網絡自適應地決定使用哪個卷積核
  • 加一層1·1的conv，減少通道
  • 1000層也可以訓練

ResNets殘差網絡——

• 可以保證收斂性
  • 因為一般神經網絡，網絡層數增加，會反而上升（錯誤率）
  • 殘差網絡不會，他至少不會變差
• why work？
  • 因為殘差網絡容易學習恒等式函數，隨著網絡加深，至少不會讓網絡變差
  • 對網絡權重的波動變化更敏感
    
    

圖像數據應用

• 圖像分類
• 圖像檢測（多個目標也檢測出來）
• 目標定位
  • 圖像-cnn
    • softmax 是否有
    • 如果有：在哪里（返回坐標，長寬）
  • loss=平方損失函數MSE
• 特征點檢測
• 卷積的滑動窗口實現
• RCNN
  • 先找到2000候選框（傳統圖像分割方法）
  • 再分
  • 更準確
  • fast RCNN
    • 整體卷積，將候選框映射到卷積結果上，在分類
  • faster rcnn
    • 用卷積找候選框
• 人臉識別
  • 人臉驗證：是否是某個人
  • 人臉識別：是否是系統中的某個人
  • 實際：系統中一個人只有一張照片，新來一張照片與所有系統中照片對比，看是否有相近的
  • Siamese網絡
    • 不用softmax
    • 將每個人映射成一個向量
    • 判斷是否是一個人，只需要求向量差的范數即可
  • 二分類：
    • 向量（網絡得到）–一層邏輯回歸：連個向量是否一致
  • triplet損失
    

總結

以上是生活随笔為你收集整理的国科大高级人工智能+prml4-CNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。