常見組合函數

常見激活函數

結構

• 前饋神經網絡（單向）
• 反饋/循環神經網絡

學習方法

• 學習模型

  • 增量
  • 迭代

• 類型

  • 監督
  • 無監督

• 學習策略

  • Hebbrian Learning
    • 若兩端的神經元同時激活，增強聯接權重
    • Unsupervised Learning
    • 循環？
    • ${\omega }_{ij}(t+1)={\omega }_{ij}(t)+\eta (x_i(t),x_j(t))$
  • Error Correction
    • 最小化實際和輸出的誤差
      • BP
        • 目標函數：${\omega }^{?}=argmi{n}_{\omega }\frac{1}{K}{\Sigma }_{k=1}^{K}e(D_k,Y_k)$
        • 迭代：$\omega \leftarrow \omega +\Delta \omega =\omega +\eta \delta$
      • delta rule(LMS rule,windrow-hoff
  • 隨機學習（模擬退火？）
    • 采用隨機模式，跳出局部極小
      • 如果網絡性能提高，新參數被接受.
      • 否則，新參數依概率接受

重要的ANN

…損失函數……目標函數……激活函數……更新…特點

多層感知機（MLP，全連接)	L(y,f(x))	$R(f)=\int L(y,f(x))p(x,y)dx,R_{emf}=\Sigma L(y,f(x))$	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)$	梯度法	-
多層感知機（MLP，全連接–>BP網絡)	平方誤差	-	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)，f是sigmoid，\omega =argmin(E)$	輸入從前向后，損失從后向前（鏈式法則）,梯度下降法	允許非線性，收斂慢，過擬合，局部極小，表達能力強，容易執行
單層感知機	看分類對錯	-	$\omega x=0,一面1，一面?1，權向量是一個超平面$	$\omega =\omega +y^{?}?x，y^{?}=1或?1（C，真實y，正確：y^{?}=y)$	僅當線性可分時收斂，對噪聲（不可分）/泛化性不好
單層感知機(最小二乘法）	平方損失$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)?t_{k,i}{)}^2$	-	$y=v(線性的）$	$w^T=(X^{T}X{)}^{?1}{X}^{T}T$	僅當線性可分時收斂，對噪聲（不可分）/泛化性不好
單層感知機(改進）	平方損失E=$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)?t_{k,i}{)}^2$	-	$y=\frac{1}{1+e^{?v}}(sigmoid$	$\frac{
\partial E}{\partial w_k}=\Sigma_{i=1}n\Sigma_{k=1}m(y_k(x_i)-t_{k,i})y_k(x_i)(1-y_k(x_i))x_i$	僅當線性可分時收斂，對噪聲（不可分）,泛化性不好
支持向量機	-	最大化間隔，約束：$mi{n}_{\omega }\frac{1}{2}\Vert \omega {\Vert }^2,y_i{\omega }^T{x}_i\ge 1，任意i，小于則為0（relu)$	-	-	可以找到最好的分界面，解決了泛化性
Hopfield網絡(能量穩定點-記憶）	-	有輸入：$E=?\frac{1}{2}{\Sigma }_{i=0}^n{\Sigma }_{j=0}^n{\omega }_{ij}{s}_i{s}_j?{\Sigma }_{i=0}^n{I}_i{s}_i,沒有輸入則去除后面的$	wij=ji(i！=j)	$權值是設定的w_{ij}={\Sigma }_{k=1}^K{x}_{ik}{x}_{jk},i=j,否則0(n?n矩陣）（s=x)$	f分布式記憶，動態聯想，記憶容量有限，偽穩定點的聯想與記憶，樣本接近時，難以回憶

感知機

• 感知機收斂定理：線性可分則收斂

  • w、x是增廣得到的
  • 若數據集可分，
    • 存在$w^{?}(||w^{?}||=1),\gamma >0,使得y_t{w}^{?}{x}_t\ge \gamma$
  • 令最終分離超平面參數為$w^{?}(||w^{?}||=1)$
    • $w_k{w}^{?}=(w_{k?1}+x_t{y}_t)w^{?}\ge w_{k?1}{w}^{?}+\gamma \ge ...\ge k\gamma$
    • $||w_k|{|}^2=||w_{k+1}+x_t{y}_t|{|}^2=||w_{k?1}|{|}^2+2w_{k?1}^T{x}_t{y}_t+||x_t|{|}^2$——yt=1
    • $\le ||w_{k?1}|{|}^2+||x_t|{|}^2\le ||w_{k?1}|{|}^2+R^2\le ...\le k{R}^2$
    • 所以$k\gamma \le w_k{w}^{?}\le ||w_k||||w^{?}||\le \sqrt{k}R$
    • $k\le \frac{R^2}{{\gamma }^2}$

• 改進

  • sigmoid激活函數
    • 批處理
      • 一次性更新權重
      • 收斂慢
    • 增量模式
      • 逐樣本更新
      • 隨機近似，但速度快能保證收斂

• MLP（多層感知機

  • 在實際應用中
    • 預處理很重要—normalize
    • 調整學習率——${\eta }_t=1/t$
  • 表達能力強
  • 容易執行
  • 收斂速度慢
    • newton法
  • 過擬合（
    • 正則化，約束權值平滑性
    • 采用更少的隱層單元
  • 局部極小（不同的初始化，增加擾動
  • 三層-所有連續函數
  • 4層：多層連續
  • 權重如何學習？BP–鏈式法則計算反向傳遞

Hopfield

• 應用
  • 將優化目標函數轉換成能量函數(energy function)——網絡的穩定狀態是優化問題的解
• 兩個穩態：——>解
  • E最大——>w1
  • E最小——>w2
• 兩個工作方式
  • 異步：每次只改變一個狀態x_i
  • 同步：所有狀態均改變：x1~xn
• 反饋網絡（無向有權圖）
• 權值是設定的，而不是學習出來的
• TSP:
  • Hopfield網絡：l鄰接矩陣
  • 行：城市；列：時間，每行只有一個亮，每列也只有一個on

總結

以上是生活随笔為你收集整理的国科大高级人工智能2-人工神经网络（MLP、Hopfield）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。