線性迴歸、嶺迴歸、邏輯迴歸、信息量與熵、多類的分類問題softmax、鏈式法則與BP神經網絡

線性迴歸        線性迴歸是我們比較熟悉的一類迴歸模型。已知自變量x和因變量y，利用這些值我們可以建立兩者之間的線性關係。通常採用最小二乘法來求解。推導過程如下圖： 嶺迴歸        當線性迴歸模型中存在多個相關變量時，它們的係數確定性變差並呈現高方差。比如說，在一個變量上的一個很大的正係數可能被在其相關變量上的類似大小的負係數抵消，嶺迴歸就是通過在係數上施加約束來避免這種現象的發生。嶺

>>阅读原文<<