寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)

作者：凱魯嘎吉 - 博客園http://www.cnblogs.com/kailugaji/

寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)由Chen等[1]提出，其基于“平展型”神經(jīng)網(wǎng)絡(luò)，因其高效性、結(jié)構(gòu)靈活、且可以實(shí)現(xiàn)結(jié)構(gòu)增量式學(xué)習(xí)等優(yōu)勢，引起了廣泛的研究興趣。該博客主要講解BLS的大致原理與推導(dǎo)過程。

主要包括：

基礎(chǔ)知識(shí)：奇異值分解（SVD），激活函數(shù)，普通方陣求逆(H可逆)，求偽逆，嶺回歸與偽逆的近似，稀疏自編碼器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用于增量學(xué)習(xí)，分塊矩陣求偽逆，詳細(xì)推導(dǎo)請參考[3][4]與博客第四部分。
寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)：寬度學(xué)習(xí)系統(tǒng)的增量學(xué)習(xí)總體框架、增加額外的增強(qiáng)節(jié)點(diǎn)、增加額外的特征映射節(jié)點(diǎn)、增加額外的輸入數(shù)據(jù)。
寬度學(xué)習(xí)系統(tǒng)(BLS)與極限學(xué)習(xí)機(jī)(ELM)的區(qū)別與聯(lián)系。

1. 基礎(chǔ)知識(shí)

2.寬度學(xué)習(xí)系統(tǒng)(Broad Learning System, BLS)

3.寬度學(xué)習(xí)系統(tǒng)(BLS)與極限學(xué)習(xí)機(jī)(ELM)的區(qū)別與聯(lián)系

4. 關(guān)于Greville方法的參考

計(jì)算A的偽逆的Greville方法是一種有限迭代法，它在已知矩陣的前k列所構(gòu)成子矩陣的廣義逆矩陣基礎(chǔ)上，來構(gòu)造前k+1列所構(gòu)成子矩陣的廣義逆矩陣。因此，若矩陣A有n列，則經(jīng)過n步就可得到A的偽逆。本節(jié)參考[3]。

5. 參考文獻(xiàn)

[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.

[2] Broad Learning System https://broadlearning.ai/

[3] 程云鵬, 張凱院, 徐仲. 高等學(xué)校教材 矩陣論[M]. 西北工業(yè)大學(xué)出版社, 1989.

[4] 王松桂. 廣義逆矩陣及其應(yīng)用[M]. 北京工業(yè)大學(xué)出版社, 1996.

[5]Extreme Learning Machine - 凱魯嘎吉 - 博客園

[6]字典更新與K-SVD之矩陣的奇異值分解(SVD) - 凱魯嘎吉 - 博客園

[7]澳門大學(xué)陳俊龍 | 寬度學(xué)習(xí)系統(tǒng)：一種不需要深度結(jié)構(gòu)的高效增量學(xué)習(xí)系統(tǒng) - 云基智能機(jī)器人實(shí)驗(yàn)室

[8]圖Lasso求逆協(xié)方差矩陣(Graphical Lasso for inverse covariance matrix) 之近端梯度下降(Proximal Gradient Descent, PGD)- 凱魯嘎吉 - 博客園

總結(jié)

以上是生活随笔為你收集整理的宽度学习系统(Broad Learning System, BLS)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。