機器學習/深度學習最基礎的數學知識

<a name="4d08a644"></a>

線性代數

<a name="e2d6d0e3"></a>

基本概念

標量、向量、矩陣、矩陣運算、範數、特徵向量、特徵值。

標量就是一個實數，好比 1,2,3,2.5 都是一個標量，咱們通常用小寫的  來表示。<br />向量就是一組標量的集合，以下：<br />

向量擁有n個元素，表明的是其第i個元素，用有n個元素的向量咱們記做：<br /> 或者 

矩陣就是一組相同長度的向量集合，一個m*n的矩陣是擁有m行n列的元素，以下：<br />

其中表明矩陣的第i行第j列的元素，一個的矩陣，咱們也記做：

這麼看向量其實也是一種特殊的矩陣。

<a name="54d8e0ef"></a>

基本運算

<a name="593da9c7"></a>

向量點積

<a name="fa680553"></a>

矩陣轉置

定義矩陣以下：<br />

其轉置以下：<br />

即將的矩陣大小變成了大小的矩陣了<br /><br /> <a name="a04b1331"></a>

矩陣加減法

矩陣加減法要求矩陣形狀相同的矩陣纔可以進行加減法。<br />定義兩個矩陣以下：<br />

那麼矩陣加法效果以下：<br />

即將每一個矩陣內的元素加起來便可。減法和按元素乘法同理，即每一個元素按位置相減和相乘。

這裏要強調一下矩陣按元素乘法跟普通的乘法定義略有不一樣，按元素乘法記做：<br />

下面一節要介紹的矩陣乘法直接就記做：<br />

<a name="12127f40"></a>

矩陣乘法

矩陣乘法要求第一個矩陣的列跟第二個矩陣的寬是同樣的。<br />假設兩個矩陣：<br />

其中 ， <br /><br />變成了一個 m*k 的矩陣，該矩陣的第 i 行，第 j 列的元素內容爲A的第i行的向量和B的第j列的向量的點積，以下：<br />

<a name="987c41bd"></a>

範數

向量和矩陣都會有範數，範數會有級別，一個向量的p級別範數爲：<br /><br />通常比較經常使用的範數是L1範數和L2範數，其中

L1範數就是向量各元素的絕對值之和：<br /><br />L2範數是將求個元素的平方和再開根，以下：<br />

咱們一般用來代替，也就是說L2範數是最常使用的範數。<br /><br /><br />矩陣也會有範數，定義跟向量是相似的，以L2範數定義爲例子：<br /><br />即將矩陣中全部元素求平方和再開根。

<a name="598a513e"></a>

特徵值和特徵向量

特徵值和特徵向量只針對矩陣行和列都相同的矩陣纔有意義，假設有一個n*n的矩陣A，若是存在一個標量和n維向量 v ，使得以下的等式成立：<br /><br />那麼我就稱這個就是矩陣A的特徵值，這個 v 就是矩陣A的特徵向量。

<a name="8b2d89e1"></a>

微積分

<a name="a1a27d15"></a>

導數

導數的定義是針對函數的，假設有一個函數

對一個函數求導的數學記號記做以下：<br />

函數求導以後又是另一個函數，常見的導數函數以下：<br />

<a name="1a779156"></a>

導數運算

假如咱們如今有兩個函數，咱們針對兩個函數經過加減乘除組合而成的新的函數來求導，求導公式以下：

經過如上的基本運算符，咱們就能夠對相對比較複雜的函數來進行求導了，好比以下函數：<br /><br />該函數的導數就是：<br />

嵌套函數求導運算：<br /><br />或者換一個更清晰一點的表述方式，假設有兩個函數，那麼<br />

用一個實際的例子來闡述如上的嵌套函數求導，好比：<br />

如上例子用了兩種方式來計算，最終獲得的結果都同樣的。

<a name="4b9c89c6"></a>

泰勒展開

泰勒展開是將一個函數展開爲用其n階導數的函數公式求和的一個展開式，具體公式以下：

其中a能夠是任意實數。

<a name="f21f98a7"></a>

偏導數

偏導數是指當一個函數擁有多個自變量，針對其中某一個自變量求導的函數就叫偏導數。

求導的過程也很簡單，就是將其餘自變量都當成常數，只針對這一個變量進行求導就好，例子以下：

<a name="214942d8"></a>

梯度

梯度是一個函數的全部自變量的偏導數的向量集合。假設一個函數爲：

那麼該函數的梯度以下：

梯度的計算在機器學習的求解過程當中很是重要，目前機器學習絕大部分求解過程都是將全部參數的損失函數沿着梯度逐步降低到一個近似的最優解。

梯度有以下的一些計算規則，假設是一個自變量的向量集合，是一個矩陣，那麼以下一些特殊函數的梯度計算公式以下：<br />

相似的，假設是一個矩陣，那麼該矩陣的梯度計算有以下公式：<br /> <a name="d41d8cd9"></a>

<a name="b3c6f67a"></a>

海森矩陣

海森矩陣是一個函數的二階偏導數集合的矩陣，首先，假設一個函數定義以下：<br />

那麼該函數的海森矩陣定義以下：<br />

該矩陣是一個 n*n 的正方形矩陣。 <a name="e491d911"></a>

機率

<a name="1393becd"></a>

條件機率

假設 A 和 B 是兩個機率事件， P(A) 和 P(B) 分別表示兩件事件發生的機率， P(A,B) 表明A和B同時發生的機率， P(A|B) 表明給定 B 成立的狀況下，發生事件 A 的機率，那麼條件機率有以下的公式：

從這個公式能夠推導出來：

當 A 和 B 是兩個獨立事件的時候，意味着：<br />

<a name="eeb0d28b"></a>

指望

假設有一組離散的事件 ，其中每一個事件對應發生的機率爲，那麼該組離散事件的指望爲：<br /><br /><br /> <a name="28968f37"></a>

均勻分佈

若是咱們說一個隨機變量 x 在區間 [a, b] 上服從均勻分佈的話，也就是說 x 取出 [a,b] 任意一個數的機率是相等的。

原文出處：https://www.cnblogs.com/xuanku/p/math.html