文章目錄

• 簡介
• Ref：

關于代碼實現請參考：【UWB】ELM，Extreme Learning Machine 極限學習機

簡介

極限學習機(Extreme Learning Machine) ELM，是由南洋理工大學黃廣斌教授提出來的求解單隱層神經網絡的算法。

ELM最大的特點是對于傳統的神經網絡，尤其是單隱層前饋神經網絡(SLFNs)，在保證學習精度的前提下比傳統的學習算法速度更快。

對于上圖所示的一個單隱含層神經網絡，假設有 $N$ 個任意樣本（$x_1,x_2,?,x_N$），$L$ 個隱藏層神經元，$M$ 個輸出神經元。其中樣本的維度可以為任意，即 $x_i=[x_{i1},x_{i2},?,x_{in}{]}^{\text{T}}\in {\mathbb{R}}^n$，期望輸出假設為 ${\hat{y}}_i=[{\hat{y}}_{j1},{\hat{y}}_{j2},?,{\hat{y}}_{jm}{]}^{\text{T}}\in {\mathbb{R}}^m$，網絡的實際輸出為 $y_i=[y_{j1},y_{j2},?,y_{jm}{]}^{\text{T}}\in {\mathbb{R}}^m$。

對于上述含有 $L$ 個隱含節點的單隱含層神經網絡可以表示為

$$\sum _{k=1}^L{\beta }_k?G(W_i?X_i+b_k)=y_j$$

這里，${\beta }_k$ 為輸出權重，$G(?)$ 為隱含層的激活函數，$W_i$ 為輸入權重，$X_i$ 為輸入樣本，$b_k$ 為第 $k$ 個神經元的偏置，$W_i?X_i$ 表示 $W_i$ 和 $X_i$ 的內積，$y_j$ 表示第 $j$ 個樣本的輸出。

當隱藏層節點足夠多時，ELM 可以逼近任何連續函數，為使得 ELM 具有更好的泛化能力，通常隱藏層神經元 $L$ 個數應該大于輸入神經元 $N$，單隱含層神經網絡的學習目標是使得輸出的誤差最小，即
$$\min (\sum _{j=1}^N\Vert {\hat{y}}_j?y_j\Vert )$$

即存在 ${\beta }_k,W_i$ 和 $b_k$ 使得
$$\sum _{k=1}^L{\beta }_k?G(W_i?X_i+b_k)={\hat{y}}_j$$

改寫成矩陣的形式為：
$$H\beta =Y$$

這里 $H$ 為隱含層神經元的輸出，$\beta$ 為輸出權重，$T$ 為期望輸出。

$$H={?\begin{array}{cccc}G(w_1{x}_1+b_1)& G(w_2{x}_1+b_2)& ?& G(w_L{x}_1+b_L)\\ G(w_1{x}_2+b_1)& G(w_2{x}_2+b_2)& ?& G(w_L{x}_2+b_L)\\ ?& ?& ?& ?\\ G(w_1{x}_N+b_1)& G(w_2{x}_N+b_2)& ?& G(w_L{x}_N+b_L)\end{array}?}_{N\times L}$$

$$\beta ={?\begin{array}{c}{\beta }_1^{\text{T}}\\ {\beta }_2^{\text{T}}\\ ?\\ {\beta }_L^{\text{T}}\end{array}?}_{L\times M},Y={?\begin{array}{c}{y}_1^{\text{T}}\\ y_2^{\text{T}}\\ ?\\ y_M^{\text{T}}\end{array}?}_{N\times M}$$

為了能訓練單隱含層神經網絡，希望得到 ${\hat{W}}_i,{\hat{b}}_i$ 和 ${\hat{\beta }}_i$，使得
$$\Vert H({\hat{W}}_i,{\hat{b}}_i){\hat{\beta }}_i?Y\Vert =\underset{W,b,\beta }{\min }\Vert H(W_i,b_i){\beta }_i?Y\Vert$$

這等價于最小化損失函數
$$E=(\sum _{j=1}^N\Vert {\hat{y}}_j?y_j\Vert )$$

在 ELM 神經網絡中，一旦輸入權重 $W_i$ 和隱含層偏置 $b_i$ 被隨機確定，則隱含層的輸出矩陣 $H$ 就被唯一確定，訓練過程則可以轉化為求解一個線性系統 $H\beta =Y$，因此輸出權重 $\beta$ 的最小二乘解則可以通過下式求得：
$$\hat{\beta }=H^{+}Y$$

這里 $H^{+}$ 是矩陣 $H$ 的 Moore-Penrose 廣義逆，且 $\beta$ 的最小二乘解是唯一的。相較于傳統前饋神經網絡，ELM 保證了學習精度，具有良好的泛化性能，速度更快。

Ref：

簡單易學的機器學習算法——極限學習機(ELM)

極限學習機(Extreme Learning Machine, ELM)原理詳解和MATLAB實現

總結

以上是生活随笔為你收集整理的【UWB】ELM 极限学习机原理及公式推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。