線性模型和非線性模型的區別

在機器學習的迴歸問題中，線性模型和非線性模型均可以去對曲線進行建模，那麼線性模型和非線性模型有什麼區別呢？

其實，線性模型和非線性模型的區別並不在於能不能去擬合曲線。下面咱們來詳細介紹一下它們兩個的區別。

線性迴歸的等式

線性迴歸須要一個線性的模型。這到底意味着什麼呢？

一個模型若是是線性的，就意味着它的參數項要麼是常數，要麼是原參數和要預測的特徵之間的乘積加和就是咱們要預測的值。

Response = constant + parameter * predictior1 + ... + parameter * predictior2

下是個典型的線性模型：

$$Y = b + w_1x_1 + w_2x_2 + ... + w_kx_k$$

在統計意義上，若是一個迴歸等式是線性的，那麼它的相對於參數就必須也是線性的。若是相對於參數是線性，那麼即便性對於樣本變量的特徵是二次方或者屢次方，這個迴歸模型也是線性的 (例以下面的公式)。

$$Y = b + w_1x_1 + w_2x_2^2$$

你甚至可使用 log 或者指數去形式化特徵

$$Y = b + w_1e^{-x_1} + w_2e^{-x_2}$$

非線性迴歸的等式

最簡單的判斷一個模型是否是非線性，就是關注非線性自己，判斷它的參數是否是非線性的。非線性有不少種形象，這也是爲何非線性模型可以那麼好的擬合那些曲折的函數曲線的緣由。好比下面這個：

$$Y = \theta_1 \ast x^{\theta_2}$$

$$Y = \theta_1 + (\theta_3 - \theta_2) \ast e^{- \theta_4 X}$$

與線性模型不同的是，這些非線性模型的特徵因子對應的參數不止一個。