人工智能必備數學基礎：高等數學基礎（1）

若是須要小編其餘數學基礎博客，請移步小編的GitHub地址

　　傳送門：請點擊我

　　若是點擊有誤：https://github.com/LeBron-Jian/DeepLearningNote

　　咱們知道機器學習的特色就是：以計算機爲工具和平臺，以數據爲研究對象，以學習爲中心；是機率論，線性代數，數值計算，信息論，最優化理論和計算機科學等多個領域的交叉學科。因此這裏我打算補充一下機器學習涉及到的一些經常使用的知識點。

　　（注意：目前本身補充到的全部知識點，均按照本身網課視頻中老師課程知識點走的，同時一些公式是網友辛辛苦苦敲的，文中用到那個博客均在文末補充連接地址，這裏首先表示感謝！！）

1，函數

1.1  函數的定義

　　函數（function）的定義一般分爲傳統定義和近代定義，函數的兩個定義本質是相同的，只是敘述概念的出發點不一樣，傳統定義是從運動變換的觀點出發。函數的近代定義是給定一個數據集A，假設其中的元素爲x，對A中的元素施加對應法則 f ，記作 f(x)，獲得另外一數據集B，假設B中的元素爲y，則 x 和 y 之間的等量關係能夠用 y = f(x) 表示。函數概念含有三個要素：定義域A，值域B和對應法則 f 。其中核心爲對應法則 f，它是函數關係的本質特徵。

　　在一個變換過程當中，發生變化的量叫變量（數學中，變量爲 x ，而 y 則隨 x 值的變化而變化），有些數值是不隨變量而改變的，咱們稱他們爲常量。

　　自變量（函數）：一個與它量有關係的變量，這一量中的任何一值都能在它量中找到對應的固定值。

　　因變量（函數）：隨着自變量的變化而變化，且自變量取惟一值時，因變量（函數）有且只有惟一值與其對應。

　　函數值：在 y 是 x 的函數中，x 肯定一個值，y 就隨之肯定一個值，當 x 取 a 時， y 就 隨之肯定爲 b，b 就叫作 a 的函數值。

　　注意：符號只是一種表示，任何符號都是幫助咱們理解的，它自己沒有特殊的含義。都是咱們給予賦值操做，也能夠以下：

1.2  常見的幾種函數

　　分段函數：就是對於自變量x 的不一樣取值範圍，有着不一樣的解析式的函數。它是一個函數，而不是幾個函數；分段函數的定義域是各段函數定義域的並集，值域也是各段函數值域的並集。

　　反函數：通常來講，設函數 y = f(x) 的值域爲C，如果找獲得一個函數 g(y) 在每一處 g(y) 都等於 x，這樣的函數 x = g(y) 叫作函數 y = f(x) 的反函數，記作 x = f^-1(y)。反函數 x = f^-1(y) 的定義域，值域分別爲函數 y = f(x) 的值域，定義域。最具表明性的反函數就是對數函數與指數函數。

　　顯函數與隱函數：顯函數是函數的類型之一，解析式中明顯的用一個變量的代數式表示另外一個變量時，稱爲顯函數；若是方程F(x, y) =0 能肯定 y 是 x 的函數，那麼稱這種方式表示的函數是隱函數。

　　狄利克雷函數：是一個定義在實數範圍內，值域不連續的函數。狄利克雷函數的圖像以Y軸爲對稱軸，是一個偶函數，它到處不連續，到處極限不存在，不可黎曼積分。這是一個到處不連續的可測函數。

　　實數域上的狄利克雷（Dirichlet）函數表示爲：

　　其中：k,j 爲整數。

　　也能夠簡單的表示爲分段函數的形式，以下：

　　狄利克雷函數的性質：

• 1，定義域爲整個實數域R，值域爲{0, 1}，函數爲偶函數
• 2，沒法畫出函數週期，可是它的函數圖像客觀存在
• 3，以任意正有理數爲其週期，無最小正週期（由實數的連續統理論可知其無最小正週期）
• 4，到處不連續，到處不可導，在任何區間內黎曼不可積
• 5，函數是可測函數
• 6，函數是周期函數，可是卻沒有最小正週期，它的週期是任意負有理數和正有理數。由於不存在最小負有理數和正有理數，因此狄利克雷函數不存在最小正週期

　　黎曼函數：是一個特殊函數，由德國數學家黎曼發現提出，黎曼函數定義在 [0, 1]上。黎曼函數在高數中被普遍應用，在不少狀況下能夠做爲反例來驗證某些函數方面的待證命題。

　　其基本定義以下：

　　正態分佈：

　　（μ  是指望， σ² 是方差）

　　標準正態分佈：

　　（μ  是指望=0， σ² 是方差=1）

1.3 函數的特性

有界性

　　設函數 f(x) 在區間 X 上有定義，若是存在 M>0，對於一切屬於區間 X 上的 x，恆有 | f(x) | <= M，則稱 f(x) 在區間 X上有界，不然稱 f(x) 在區間上無界。

奇偶性

　　設 f(x) 爲一個實變量實值函數，若此函數關於 y 軸對稱，則稱 f(x) 爲偶函數。

　　　　　　 f(-x) = f(x)  

　　偶函數例子：

　　設 f(x) 爲一個實變量實值函數，若此函數關於原點對稱，則稱 f(x) 爲奇函數。

　　　　　　f(-x) = -f(x)

　　奇函數例子：

週期性

　　設函數 f(x) 的定義域爲D。若是存在一個正數 T，使得對於任一 x 屬於 D 有 （x+-T）屬於D，且 f(x + T) = f(x)恆成立，則稱 f(x) 爲周期函數， T稱爲 f(x) 的週期，一般咱們說周期函數是指最小正週期。公式以下：

 　　周期函數的定義域 D爲至少一邊的無界區間，若 D 爲有界的，則該函數不具週期性。並不是每一個周期函數都有最小正週期，例如狄利克雷函數。

單調性

　　設函數 f(x) 的定義域爲 D，區間 I 包含於 D。若是對於區間上任意兩點 x1 及 x2，當 x1 < x2 時，恆有 f(x1) < f(x2)，則稱函數 f(x) 在區間 I 上是單調遞增的；若是對於區間 I 上任意兩點 x1 及 x2，當 x1 < x2時，恆有 f(x1) > f(x2)，則稱函數 f(x) 在區間 I 上是單調遞減的。單調遞增和單調遞減函數統稱爲 單調函數。

1.4   函數的極限

　　學習極限以前，先看一下數列：

數列

　　數列（sequence of number）是以正整數集爲定義域的函數，是一列有序的數；即按照必定次數排列的一列數：u1, u2, ... u_n, ...，其中 排在第一位的數列爲這個數列的第一項（也叫首項）， u_n 叫作通項。

　　著名的數列有：斐波那契數列，三角函數，楊輝三角等。

　　對於數列 {u_n} ，若是當 n 無限增大時，其通項無限接近於一個常數 A，則稱該數列以 A 爲極限或稱數列收斂於 A，不然稱數列爲發散：

 　　舉個例子：

函數極限

　　極限定義：設函數 f(x) 在點 x0 的某一去心鄰域內有定義，若是存在常數A，對於任意給定的正數 ε （不管它多麼小），總存在正數 δ ，使得當 x 知足不等式 0 < |x - x0| < δ 時，對應的函數值 f(x) 都知足不等式：

　　那麼常數 A 就叫作函數 f(x) 當 x——> x0 時的極限，記作：

　　函數極限能夠分爲下面六種：

1.5 極限存在準則

　　有些函數的極限很難或難以直接運用極限運算求得，須要先斷定。下面學習幾個經常使用的斷定數列極限的定理。

1.5.1  夾逼定理

　　（1） 當 x € U(x₀, r) （這是 x₀ 的去心鄰域，有個符號打不出）時，有下面公式成立：

　　（2） f(x) 極限存在，且等於A 的條件是：

　　簡單說：就是找出一個比原式小的式子和一個比原式大的式子證實他們倆的極限相同且爲a，則原式極限也爲 a。

　　由夾逼定理能夠推出一個重要極限：

　　下面證實一下：

　　關於 弧長公式：弧長 = θ*r，θ 是弧度，r 是半徑。

1.5.2  單調有界準則

　　單調增長（減小）有上（下）界的數列一定收斂。

　　在運用上面兩條去求函數的極限的時候尤爲須要注意如下關鍵點。一是要用單調有界定理證實收斂，而後再求極限值。二是應用夾逼定理的關鍵是找出極限相同的函數，而且要知足極限是趨於同一方向，從而證實或求得函數的極限值。

　　單調有界定理：單調有界數列必收斂（有極限）。具體的說：

　　（1）若數列 {Xn} 遞增且有上界，則：

　　（2）若數列 {Xn} 遞減且有下界，則：

1.5.3  柯西收斂準則

　　數列 {Xn} 收斂的充分必要條件是：對於任意給定的正數 ε ，總存在正整數  N，使得當 m>N，n>N時，且 m≠n，有 |Xm - Xn| < ε。咱們把知足該條件的 {Xn} 稱爲柯西序列，那麼上述定理能夠表述爲：數列{Xn}收斂，當且僅當它是一個柯西序列。

1.6 課程中的PPT

1.7  常見函數極限公式

　　首先說一下常見函數求極限的方法：

• 1，分母極限爲零時，分解因式，湊公式
• 2，當 x 趨於無窮時，除以最高指數的 Xⁿ
• 3，等價無窮小量代換：

　　下面看一下常見函數極限公式：

1.8  經常使用數學記號

2，函數連續性與間斷點

2.1  函數連續性定義

　　設函數 f 在某鄰域 U(x₀) 內有定義，若當自變量的改變量 Δx 趨於零時，相應函數的改變量 Δy 也趨近於零，則稱 y=f(x) 在點 x 處連續：

　　則稱 f 在點 x₀ 處連續。

　　函數連續必須同時知足三個條件：

• 1，函數在 x0 處有定義
• 2，x->x0時候，函數在該點處極限 lim f(x) 存在
• 3，x->x0時候，函數在該點處極限值 lim f(x) 等於函數值 f(x0)

　　定理1：函數 f 在點 x₀ 處連續性的充要條件是：f 在點 x₀ 既是左連續，又是右連續。

　　初等函數在其定義域內是連續的；函數 f(x) 在其定義域內每一點都連續，則稱函數 f(x) 爲連續函數。下圖左爲連續函數，右圖爲間斷函數。

2.2  函數間斷點

　　設函數 f 在某 U⁰(x₀) 內有定義，若 f 在點 x0 無定義，或在點 x0 有定義而不連續，則稱點 x0 爲函數 f 的間斷點或不連續點。

　　函數間斷點分爲兩種狀況：

　　1，可去間斷點：若：

　　而 f 在點 x₀ 處無定義，或有定義但 f(x₀) != A ，則稱 x₀ 爲 f 的可去間斷點。

　　2，跳躍間斷點：若函數 f 在點 x0 的左，右極限都存在，但：

 　　則稱點 x0 爲函數 f 的跳躍間斷點。

　　可去間斷點和跳躍間斷點統稱爲第一類間斷點。第一類間斷點的特色是函數在該點處的左右極限都存在。

　　函數的全部其餘形式的間斷點，即便得函數至少有異側極限不存在的那些點，稱爲第二類間斷點。

2.3  課程中的PPT

　　下面爲連續性和間斷點的兩個例子：

3，導數

3.1  導數定義

　　設函數 y = f(x) 在點 x₀ 的某鄰域內有定義，若極限：

　　存在，則稱函數 f 在點 x₀ 處可導，並稱該極限爲函數 f 在點 x₀ 處的導數，記爲 f '(x₀)

　　f'(x) 也能夠定義以下：

3.2  左右導數的幾何意義和物理意義

　　函數 f(x) 在 x₀ 處的左，右導數分別定義爲：

　　左導數：

　　右導數：

3.3 經常使用導數公式

　　基本初等函數求導公式：

3.4  導數的四則運算法則

　　設 u = u(x)， v = v(x) 均爲 x 的可導函數，則有：

3.5  函數的可導性與連續性之間的關係

　　即連續是可導的必要條件，即函數可導必然連續；不連續必然不可導；連續不必定可導。

　　主要爲如下幾個定理：

　　定理1：若函數 f 在點 x₀ 處可導，則 f 在點 x₀ 處連續。

　　注意：可導僅僅是函數在該點連續的充分條件，而不是必要條件，如函數 f(x) = |x| 在點 x=0 處連續，但不可導。

　　定理2：若函數 y = f(x) 在點 x0 的某鄰域內有定義，則 f'(x₀) 存在的充要條件是 f '₊(x₀) 與 f '_-(x₀) 都存在，且：

　　定理3（費馬定理）：設函數 f 在點 x₀ 的某鄰域內有定義，且在點 x₀ 處可導，若點 x₀ 爲 f 的極值點，則必有：

　　咱們稱知足方程 f ' = 0 的點 o 爲穩定點。

　　定理4：函數 f 在點 x₀ 可微的充要條件是函數 f 在點 x₀ 可導，並且常量 A等於 f '(x₀)

4，梯度

　　在學習梯度以前，先學習兩個基本概念

4.1 偏導數

　　在數學中，一個多變量的函數的偏導數，就是它關於其中一個變量的導數而保持其餘變量恆定（相對於全導數，在其中全部變量都容許變換）。偏導數在向量分析和微分幾何中是頗有用的。

　　在一元函數中，導數就是函數的變化率。以下圖所示，對於一元函數 y = f(x) 只存在 y 隨 x 的變化：

　　二元函數 z = f(x, y) 存在 z 隨 x 變化的變化率，隨 y 變化的變化率，隨 x,  y 同時變化的變化率：

　　在 XOY 平面內，當動點由 P(x0, y0) 沿不一樣方向變化時，函數 f(x, y) 的變化快慢通常來講是不一樣的，所以就須要研究 f(x, y) 在 (x0, y0) 點處沿不一樣方向的變化率。在這裏咱們只學習函數 f(x, y) 沿着平行於 x 軸和平行於 y 軸兩個特殊方位變更時，f(x, y) 的變化率。

　　偏導數的表示符號爲：∂

　　偏導數反映的是函數沿着座標軸正方向的變化率。

　　方向x的偏導定義：設存在函數  z = f(x, y) 在點 (x0, y0) 的某個鄰域內有定義，固定 y=y0，而讓x 在 x0 出有增量，則相應的函數 z=f(x, y) 有增量，那麼增量表示爲：Δz = f(x0+Δx, y0) - f(x0, y0)。

　　若是 Δz 與 Δx 之比，當 Δx->0 時的極限存在，那麼此極限值稱爲函數 z=f(x, y)在 (x0, y0) 處對 x 的偏導數，記作 f '_x(x0, y0) 或者函數 z = f(x, y) 在 (x0, y0) 處對 x 的偏導數，實際上就是把 y 固定在 y0 當作常數後，一元函數 f(x, y0) 在點 x = x0 處可導，即極限：

　　則稱A爲函數 Z=f(x, y) 在點 (x0, y0) 處關於自變量 x 的偏導數，記作：f_x(x0, y0)，或者：

　　y方向的偏導：同理，把 x 固定在 x0，讓 y 有增量 Δy，若是極限存在那麼此極限稱爲函數 z = f(x, y) 在 (x0, y0) 處對 y 的偏導數，記作 f'_y(x0, y0)。

　　幾何意義：表示固定面上一點的切線斜率。

　　偏導數 f '_x(x0, y0) 表示固定面上一點對 x 軸的切線斜率

　　偏導數 f'_y(x0, y0) 表示固定面上一點對 y 軸的切線斜率

 　　下面給個例子，求偏導數：

4.2  方向導數

　　在函數定義域的內點，對某一方向獲得的導數。通常爲二元函數和三元函數的方向導數，方向導數可分爲沿直線方向和沿曲線方向的方向導數。

　　定義：設函數 z = f(x, y) 在點 p(x, y) 的某一鄰域 U(p) 內有定義，自點 p 引射線 l，自 x 軸的的正向到射線 l 的轉角爲 Ψ。P '(x + Δx, y + Δy) 爲 l 上的另外一點，若存在：

　　則稱此極限值爲 f(x, y) 在點 P 沿方向 l 的方向導數，記作 ∂f / ∂l，其計算公式爲：

　　沿直線方向：設 M0 = (x0, y0, z0) 爲數量場  u=u(M) 中的一點，從點 M0 出發引一條射線 l（其方向用 l 表示），在 l 上點 M0 的鄰近取一動點 M(x0 + Δx, y0 + Δy， z0 + Δz)，記：

　　如圖所示，若當 M -> M0 時，下分式的極限存在，則稱它爲函數 u(M) 在點 M0 處沿 l 方向的方向導數，記作 ∂f / ∂l|M0,即：

4.3  梯度

　　梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（爲該梯度的模）。

　　函數 z = f(x, y) 在平面域內具備連續的一階偏導數，對於其中每個點 P(x, y) 均可以定出一個向量：

　　該函數就稱爲函數 z = f(x, y) 在點 P(x, y) 的梯度，記爲 gradf(x, y)。

 

數學分析筆記：https://blog.csdn.net/weixin_37411514/article/details/97903625