PRML 第三章 - 線性迴歸

  這段時間組裏在有計劃地學習書籍PRML （Pattern Recognition and Machine Learning），前兩天本身作了一個裏面第三章linear regression的分享，這裏把當時作的這個ppt分享給你們。

  對於線性迴歸這一章，首先列一下我認爲比較重要的幾個問題（ppt slide 4有），建議你們在讀的過程總帶着這幾個問題：

1.    linear basis function model中過擬合問題處理方式；
2.    如何分別從頻率角度（Frequentist Viewpoint）和貝葉斯角度理解模型複雜度（model complexity）問題？
3.    貝葉斯線性迴歸的sequential nature怎麼直觀地理解（裏面有一副圖很是直觀）？
4.    在貝葉斯方法中，如何評估model evidence，以及迴歸參數w的有效性（是否有效、有效個數）？特別地，對於擬合參數的不一樣維度，何時靠近訓練數據集的最大似然估計，何時更加傾向於最初的先驗假設（也就訓練數據集對該參數的做用有限）？

   PRML這本書的示例圖作得特別好，信息量很豐富，很是有利於直觀地理解複雜的數學公式，建議在讀的過程當中詳細地扣一下每幅圖。例以下面這幾幅：

   ppt的備註裏有一些簡單的說明和我的的一些理解，最後原本還想補充講一下目前求解邏輯迴歸（固然跟這一章線性迴歸關係不大）最有效的online算法FTRL（google的論文）的一些細節問題，惋惜時間不夠暫時沒作出來。下一篇博文再整理一下sequential learning和FTRL方面的資料。

   博客園不能搞附件，ppt放到網盤了：http://yun.baidu.com/share/link?shareid=1288754569&uk=789232109