數據分析與數據挖掘 - 06線性代數

一 導數的意義

導數是高等數學中很是重要的知識點，也是人工智能的算法應用中比較經常使用的一個知識，本節課咱們的重點就是學習一下導數和其求導法則。首先咱們來看一下導數的基本概念:函數的變化率，即函數的變化速度，叫作函數的導數。


設函數y = f(x) 在函數x0的某鄰域內有定義，當x在點x0有增量∆x（x0+∆x仍在該鄰域內）。這時y=f(x)有增量∆y=f(x0+∆x)-f(x0)，當∆x無限趨近於零時，∆y/∆x存在，則這個極限值就叫作函數y=f(x)在點x0處的導數，公式以下：

導數的公式除了以上的寫法，還能夠寫做下邊的這種方式：
此時，咱們稱函數f(x)在x0處可導，固然咱們也可使用導數的幾何意義-斜率來理解，以下圖所示：

咱們能夠把導數理解爲函數在幾何曲線中某一點處切線的斜率，在這基礎上加一個拓展，也很好理解。函數可導必定連續，但連續不必定可導。若是你感興趣，能夠證實一下這個過程，但咱們如今記住這個定理就能夠。

二 導數的求導法則

1 加減運算的求導法則

若函數u = u(x) 和 v = v(x) 在點x處可導，則函數 y = u+v 在點x處也必可導，而且 (u + v)' = u' + v'，其證實過程以下：

2 函數積的求導法則

若函數u = u(x) 和 v = v(x) 在點x處可導，則函數 y = uv 在點x處也必可導，而且 (uv)' = u'v + v'u，其證實過程也是相似的，這裏咱們再也不花費篇幅論證了，有興趣的同窗能夠本身驗證一下。

3 函數商的求導法則

若函數u = u(x) 和 v = v(x) 在點x處可導，而且v(x)在點x處不爲0，則函數 y = u/v 在點x處也必可導，而且 (u/v)' = （u'v - v'u)/v^2，其證實過程也是相似的，這裏咱們再也不花費篇幅論證了，有興趣的同窗能夠本身驗證一下。

4 導數常見的公式

學習導數時，有一些基本公式須要咱們記住的，雖然咱們能夠推導出其過程，可是這一些公式就至關於定理同樣，記住就好，這樣就不用每一次都本身去推導了。


下面是一些常見的公式：

5 複合函數的求導法則

若函數u = k(x) 在點x處可導，y=f(u) 在點u處可導，則複合函數 f = [k(x)] 在點x處也必可導，而且 f(x)' = y_u'*u_x'，其證實過程稍微你有點麻煩，具體過程以下：

多說一句，雖然咱們能夠經過Numpy及SciPy這樣的科學計算庫輕鬆實現導數計算，而且也能夠輕鬆的實現矩陣、微分、積分等運算，但只有咱們掌握其推導過程，纔可以真正明白將來要學習的那些算法真正的意義。

三 矩陣乘法運算

像下圖中，將數列排成m行n列後，而後用括號將它們圍起來，咱們將這種形式的組合叫作矩陣。

咱們將其中的m和n分別叫作行標和列標，由m行和n列數排成的矩陣又稱做mn矩陣或m行n列矩陣，就像下邊這樣。

咱們把其中的數字叫作元素，好比有一個矩陣是[1,2]，那麼元素就是1和2，當行數和列數相等時，咱們把這樣的矩陣稱之爲"n階方陣"。

這個時候咱們把對角線上的元素叫作對角元素。矩陣的出現，簡化了方程組的書寫方式，好比像下圖中的簡寫方式：

下面讓咱們來看一下如何進行矩陣運算吧，首先咱們來看一下矩陣的"和"運算，矩陣的"和"運算就是其對應位置相加的運算，以下圖所示：

矩陣的減法也很簡單，就是把上邊的加號變成減號，咱們下邊看一下矩陣的倍數運算吧。

倍數運算也是一種特殊的矩陣的"積"運算，如今咱們來學習一下矩陣的"積"運算吧。





另外有一點須要注意，兩個矩陣相乘，若是交換位置，那麼結果是不同，咱們舉一個例子來展現一下：





顯然，矩陣的積運算交換位置以後的結果是不一樣的。


如今咱們考慮一個問題，這個問題就是兩個符合什麼形狀的矩陣纔可以進行相乘的運算？這個問題的答案是隻有左邊矩陣的列數等於右邊矩陣的行數時，兩個矩陣纔可以進行乘法運算，也就是必需要是mn的矩陣與n*p的矩陣來作運算，由於運算的時候是第一個矩陣的列數與第二個矩陣的行數來作運算的。


接下來咱們再來一塊兒認識一下一些特殊的矩陣。


零矩陣：全部的元素都爲0的矩陣。

轉置矩陣：把行和列對應的位置交換

對稱矩陣：以對角元素爲對稱軸對稱的n階方陣。對稱矩陣的轉置矩陣和本身徹底相同。

上三角矩陣：在矩陣左下角都是0的n階方陣。

下三角矩陣：在矩陣右上角都是0的n階方陣。

對角矩陣：對角元素之外的元素都是0的n階方陣。對角矩陣的n次方結果是對角元素的n次方的對角矩陣。

單位矩陣：對角元素都是1，其餘元素都是0的n階方陣。任何矩陣乘以單位矩陣結果都是原來的矩陣。

四 逆矩陣

逆矩陣運算比以前的運算要複雜一點，咱們先來經過一個例子看一下什麼是逆矩陣。

下面來看一下逆矩陣的求解方法及確認是否存在逆矩陣的方法，求逆矩陣的方法有代數餘子式法和消元法，利用代數餘子式的方法來計算逆矩陣很是麻煩，用的也比較少。而與之相比，消元法就簡單的多啦，因此咱們主要來學習一下消元法。


消元法和解方程是很是相似的，若是矩陣是爲了書寫方便，那麼方程則是爲了計算方便。

上面的式子是一個二元一次方程組，但同時它也是一個矩陣。





下面咱們來作一個小練習，求一下下面這個2階方陣的逆矩陣。

咱們先把問題整理成矩陣的形式：





再把它轉化成方程組：





顯然這個方程組，咱們能夠很容易的求出x1 = 0.4，y1 = -0.2，x2 = -0.2，y2 = -0.6。


逆矩陣其實還能夠有下邊這種表達方式：

其實關於二階方陣的逆矩陣，還存在着這樣一個公式：

注意：這個公式只適用於2階方陣，當3階以上的方陣時，最好咱們仍是使用消元法。最後補充一句，咱們把存在逆矩陣的n階方陣叫作可逆矩陣。關於矩陣的知識點還有行列式以及多階方陣的逆矩陣求法，當咱們講到算法模型時，有須要的時候咱們再進行更多的講解。