《動手學深度學習》(TF2.0版)（二）3.深度學習基礎

3.1 線性迴歸

迴歸：輸出是連續值。迴歸問題在實際中很常見，如預測房屋價格、氣溫、銷售額等連續值的問題。

　　線性迴歸適用於迴歸問題。

分類：輸出是離散值。咱們所說的圖像分類、垃圾郵件識別、疾病檢測等輸出爲離散值的問題都屬於分類問題的範疇。

　　softmax迴歸則適用於分類問題。

線性迴歸和softmax迴歸都是單層神經網絡，它們涉及的概念和技術一樣適用於大多數的深度學習模型。

咱們首先以線性迴歸爲例，介紹大多數深度學習模型的基本要素和表示方法。

3.1.1 線性迴歸的基本要素

3.1.1.1模型定義

 模型輸出 y^​ 是線性迴歸對真實價格 y 的預測或估計。

3.1.1.2 模型訓練

模型訓練（model training）接下來咱們須要經過數據來尋找特定的模型參數值，使模型在數據上的偏差儘量小。

下面咱們介紹模型訓練所涉及的3個要素。

(1) 訓練數據

訓練數據集（training data set）或訓練集（training set）

(2) 損失函數

給定訓練數據集，損失函數表示的偏差只與模型參數相關，所以咱們將它記爲以模型參數爲參數的函數。在機器學習裏，將衡量偏差的函數稱爲損失函數（loss function）。

經常使用損失函數

(3) 優化算法

當模型和損失函數形式較爲簡單時，上面的偏差最小化問題的解能夠直接用公式表達出來。這類解叫做解析解（analytical solution）。線性迴歸和平方偏差恰好屬於這個範疇。

然而，大多數深度學習模型並無解析解，只能經過優化算法有限次迭代模型參數來儘量下降損失函數的值。這類解叫做數值解（numerical solution）。

經常使用優化算法

3.1.1.3 模型預測

把學出的參數代入線性迴歸模型，估算訓練數據集之外任意一棟面積（平方米）爲x1​、房齡（年）爲x2​的房屋的價格。

這裏的估算也叫做模型預測、模型推斷或模型測試。

3.1.2 線性迴歸的表示方法

下面解釋線性迴歸與神經網絡的聯繫，以及線性迴歸的矢量計算表達式。

3.1.2.1 神經網絡圖

3.1.2.2 矢量計算表達式

 

 

 

參考：

https://trickygo.github.io/Dive-into-DL-TensorFlow2.0/#/chapter03_DL-basics/3.1_linear-regression?id=_3121-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%9B%BE