斯坦福大學機器學習公開課

寒假玩了大半了，把各類遊戲給卸載了，正兒八經的學習啦。。。

一直想把這個公開課看完，上學的時候吧不想看，放假了也不想看，胡亂寫寫，做爲一個渣渣，把不明白給記下來。

這個公開課的第一課，主要是介紹了機器學習概念應用什麼的，好像主要是概念吧，以前看的記不太清了。

第二課 監督學習應用 梯度降低

能夠看這個連接有詳細的筆記http://blog.sina.com.cn/s/blog_8e6f1b330101eu3b.html

表示這一課的不少高數的知識，我就有點不懂了，高數忘了不少。

這個公式的最後一項，徹底不懂這是幹嗎，難道就是個定義嗎？視頻後面也沒用到，就這樣吧。

關於那個下山的問題，我一下就聯想到模擬退火了，貌似沒啥關係。

偏導什麼的，我都忘了，視頻里老師在黑板上寫得很棒。

老師是經過先用一組數據的時候更新式子，寫出m組數據裏的狀況，具體怎麼算的，我有點迷糊。θ實際上是一個向量，n個特徵就應該算n次，j應該1-n，這個式子的最後一項是表示第i個數據的第j個特徵的值，意義應該是這樣。表示反覆看了好幾遍，好像有點明白。

批梯度降低算法和隨機梯度降低算法感受就像是變換了一下姿式，把循環順序改變了，就相似dfs中搜索順序吧，有的搜索方式更容易搜到最優解。

 最後二十分鐘的用線代的推導，矩陣求導，矩陣的跡，沒記得學過呢，這個推導就是對最小二乘法的證實，最小二乘法直接能夠算出迴歸直線方程，看到一我的筆記說：此方法要求 X 是列滿秩的，並且求矩陣的逆比較慢。

第三課 欠擬合與過擬合的概念

局部加權迴歸算法是構造出一個w函數，判斷是否和想計算的x是否相近。

視頻中的用到w函數，是相似高斯函數的一個函數，高斯分佈就是正態分佈啊，利用趨近0和1判斷。

我以爲這個算法結果應該更符合實際。

而後是一系列的假設和證實，沒怎麼看懂。

後邊提到擬然性，這是和機率有點相似的東西，我維基了一下。爲了使得函數預測的更準，用最大擬然值。

第四課 牛頓方法

牛頓方法，挺好理解的，之前在acm的模板上見過，原本想找個題切切的，結果都是數學性很強的，作不了。

 擱淺了，準備筆試+面試去了 2014.3.20