最簡潔推導求解最小二乘法(線性迴歸,監督學習)

我們知道當X 爲m*n的矩陣 輸入,Y爲m*1的輸出。那麼爲了求出w Xw = Y,我們可以用線性迴歸並讓 預測值和真實值的差的平方最小,那麼 w 證明過程: 矩陣結構爲: 我們發現yTy是一個常數,也就是說在最小化loss的時候,我們可以不管yTy。 我們對loss函數進行偏微分,這裏用到了一個矩陣微分公式,在matrix cookbook裏有. 第10頁。 aTw 就微分爲a了 。 第11頁
相關文章
相關標籤/搜索