我的人工智能之旅——微積分基礎

時間 2021-01-11 標籤機器學習人工智能微積分數學基礎

1.導數

從一元函數圖像上看，某一點的導數，即曲線在該點的切線。

一個函數在某一點的導數，描述了這個函數在這一點附近的變化率。

當函數f(x)的自變量，在一點x上產生了一個增量h，若因變量的增量與自變量h的比值，在h趨於0時的極限如果存在，那該比值即爲f(x)在點x處的導數。

這裏要注意一下幾點

（1）不是所有的函數都是可導的。

（2）可導的函數一定是連續的。

（3）不連續的函數一定不可導。

函數f(x)在某一區間上是連續的。若在該區間內的任意兩點，，其中，使得

$f(px_1+qx_2)\geq f(px_1)+f(qx_2)$ 成立，

其中，那麼，我們稱函數f(x)是該區域上的凸函數。

相反，若使得

$f(\lambda x_1+(1-\lambda ))x_2)\leq f(\lambda x_1)+f((1-\lambda )x_2)$ 成立，

那麼，我們稱函數f(x)是該區域上的凹函數。

例如， $\lambda =\frac{1}{2}$ 時，

連續函數f(x)稱爲凸函數的條件爲：

$f(\frac{x_1+x_2}{2})\geq\frac{f(x_1)+f(x_2)}{2}$

即，由點與點連成的線段的中心點，位於點 $f(\frac{x_1+x_2}{2})$ 的下方。

連續函數f(x)稱爲凹函數的條件爲：

$f(\frac{x_1+x_2}{2})\leq \frac{f(x_1)+f(x_2)}{2}$

即，由點與點連成的線段的中心點，位於點 $f(\frac{x_1+x_2}{2})$ 的上方。

若連續函數f(X)在某一區間內，即非凸函數，又非凹函數，那麼連續函數f(x)在該區域會存在多個局部最小值（波谷），或多個局部最大值（波峯）。