Extreme Learning Machine

Extreme Learning Machine

做者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

    2004年南洋理工大學黃廣斌提出了ELM算法。極限學習機（ELM Extreme Learning Machine)是一種快速的的單隱層前饋神經網絡（SLFN）訓練算法。

    該算法的特色是在網絡參數的肯定過程當中,隱層節點參數(a,b)隨機選取,在訓練過程當中無需調節，只須要設置隱含層神經元的個數，即可以得到惟一的最優解;而網絡的外權（即輸出權值）是經過最小化平方損失函數獲得的最小二乘解（最終化歸成求解一個矩陣的 Moore-Penrose 廣義逆問題）.這樣網絡參數的肯定過程當中無需任何迭代步驟,從而大大下降了網絡參數的調節時間。與傳統的訓練方法相比，該方法具備學習速度快、泛化性能好等優勢。

參考：

[1] Extreme Learning Machines

[2] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1-3): 489-501.

[3] MATLAB程序：ELM極速學習機

[4] 論戰Yann LeCun：誰能解釋極限學習機（ELM）牛X在哪裏？