寬度學習系統(Broad Learning System, BLS)

寬度學習系統(Broad Learning System, BLS)

做者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

寬度學習系統(Broad Learning System, BLS)由Chen等[1]提出，其基於「平展型」神經網絡，因其高效性、結構靈活、且能夠實現結構增量式學習等優點，引發了普遍的研究興趣。該博客主要講解BLS的大體原理與推導過程。

主要包括：

1. 基礎知識：奇異值分解（SVD），激活函數，普通方陣求逆(H可逆)，求僞逆，嶺迴歸與僞逆的近似，稀疏自編碼器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用於增量學習，分塊矩陣求僞逆，詳細推導請參考[3][4]與博客第四部分。
2. 寬度學習系統(Broad Learning System, BLS)：寬度學習系統的增量學習整體框架、增長額外的加強節點、增長額外的特徵映射節點、增長額外的輸入數據。
3. 寬度學習系統(BLS)與極限學習機(ELM)的區別與聯繫。

1. 基礎知識

2. 寬度學習系統(Broad Learning System, BLS)

3. 寬度學習系統(BLS)與極限學習機(ELM)、隨機向量函數鏈網絡(Random Vector Functional-Link Network, RVFLNN)的區別與聯繫

4. 關於Greville方法的參考

計算A的僞逆的Greville方法是一種有限迭代法，它在已知矩陣的前k列所構成子矩陣的廣義逆矩陣基礎上，來構造前k+1列所構成子矩陣的廣義逆矩陣。所以，若矩陣A有n列，則通過n步就可獲得A的僞逆。本節參考[3]。

5. 參考文獻

[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.

[2] Broad Learning System https://broadlearning.ai/

[3] 程雲鵬, 張凱院, 徐仲. 高等學校教材 矩陣論[M]. 西北工業大學出版社, 1989.

[4] 王鬆桂. 廣義逆矩陣及其應用[M]. 北京工業大學出版社, 1996.

[5] Extreme Learning Machine - 凱魯嘎吉 - 博客園 

[6] 字典更新與K-SVD 之矩陣的奇異值分解(SVD) - 凱魯嘎吉 - 博客園

[7] 澳門大學陳俊龍 | 寬度學習系統：一種不須要深度結構的高效增量學習系統 - 雲基智能機器人實驗室 

[8] 圖Lasso求逆協方差矩陣(Graphical Lasso for inverse covariance matrix) 之近端梯度降低(Proximal Gradient Descent, PGD) - 凱魯嘎吉 - 博客園