學習筆記DL005:線性相關、生成子空間，範數，特殊類型矩陣、向量

線性相關、生成子空間。

逆矩陣A⁽-1⁾存在，Ax=b 每一個向量b剛好存在一個解。方程組，向量b某些值，可能不存在解，或者存在無限多個解。x、y是方程組的解，z=αx+(1-α)，α取任意實數。

A列向量看做從原點(origin，元素都是零的向量)出發的不一樣方向，肯定有多少種方法到達向量b。向量x每一個元素表示沿着方向走多遠。xi表示沿第i個向量方向走多遠。Ax=sumixiA:,i。線性組合(linear combination)。一組向量線性組合，每一個向量乘以對應標量係數的和。sumiciv⁽i⁾。一組向量的生成子空間(span)是原始向量線性組合後能抵達的點的集合。肯定Ax=b是否有解，至關於肯定向量b是否在A列向量的生成子空間中。A的列空間(column space)或A的值域(range)。方程Ax=b對任意向量b∈ℝ⁽m⁾都存在解，要求A列空間構成整個ℝ⁽m⁾。ℝ⁽m⁾點不在A列空間，對應b使方程沒有解。矩陣A列空間是整個ℝ⁽m⁾的要求，A至少有m列，n>=m。不然，A列空間維數小於m。

列向量冗餘爲線性相關(linear dependence)。一組向量任意一個向量都不能表示成其餘向量的線性組合，線性無關(linearly independent)。某個向量是一組向量中某些向量的線性組合，這個向量加入這組向量不會增長這組向量的生成子空間。一個矩陣列空間涵蓋整個ℝ⁽m⁾，矩陣必須包含一組m個線性無關的向量。是Ax=b 對每一個向量b取值都有解充分必要條件。向量集只有m個線性無關列向量，不是至少m個。不存在一個m維向量集合有多於m個彼此線性不相關列向量，一個有多於m個列向量矩陣有可能有不止一個大小爲m的線性無關向量集。

矩陣可逆，要保證Ax=b 對每一個b值至多有一個解。要確保矩陣至多有m個列向量。矩陣必須是一個方陣(square)，m=n，且全部列向量線性無關。一個列向量線性相關方陣爲奇異的(singular)。矩陣不是方陣或是奇異方陣，方程可能有解，但不能用矩陣逆求解。逆矩陣右乘AA⁽-1⁾=I。左逆、右逆相等。

範數(norm)。

衡量向量大小。L⁽p⁾：||x||p=(sumi|xi|⁽p⁾)⁽1/p⁾。p∈ℝ，p>=1。範數(L⁽p⁾範數)，向量映射到非負值函數。向量x範數衡量從原點到點x距離。範數知足性質，f(x)=0=>x=0，f(x+y)<=f(x)+f(y)三解不等式(triangel inequality)，∀α∈ℝ f(αx)=|α|f(x)。

p=2，L⁽2⁾範數稱歐幾里得範數(Euclidean norm)。表示從原點出發到向量x肯定點的歐幾里得距離。簡化||x||，略去下標2。平方L⁽2⁾ 範數衡量向量大小，經過點積x⫟x計算。平方L⁽2⁾範數在數學、計算上比L⁽2⁾範數更方便。平方L⁽2⁾範數對x中每一個元素的導數只取決對應元素。L⁽2⁾範數對每一個元素的導數和整個向量相關。平方L⁽2⁾範數，在原點附近增加緩慢。

L⁽1⁾範數，在各個位置餘率相同，保持簡單數學形式。||x||1=sumi|xi|。機器學習問題中零和非零差別重要，用L⁽1⁾範數。當x中某個元素從0增長∊，對應L⁽1⁾範數也增長∊。向量縮放α倍不會改變該向量非零元素數目。L⁽1⁾範數常做爲表示非零元素數目替代函數。

L⁽∞⁾範數，最大範數(max norm)。表示向量具備最大幅值元素絕對值，||x||₍∞₎=maxi|xi|。

Frobenius範數(Frobenius norm)，衡量矩陣大小。||A||F=sqrt(sumi,jA⁽2⁾₍i,j₎)。

兩個向量點積用範數表示，x⫟y=||x||2||y||2cosθ，θ表示x、y間夾角。

特殊類型矩陣、向量。

對角矩陣(diagonal matrix)，只在主對角線上有非零元素，其餘位置都是零。對角矩陣，當且僅當對於全部i != j，Di,j=0。單位矩陣，對角元素所有是1。

diag(v)表示對角元素由向量v中元素給定一個對角方陣。對角矩陣乘法計算高效。計算乘法diag(v)x，x中每一個元素xi放大vi倍。diag(v)x=v⊙x。計算對角方陣的逆矩陣很高效。對角方陣的逆矩陣存在，當且僅當對角元素都是非零值，diag(v)⁽-1⁾=diag([1/v1,…,1/vn]⫟)。根據任意矩陣導出通用機器學習算法。經過將矩陣限制爲對象矩陣，獲得計算代價較低(簡單扼要)算法。

並不是全部對角矩陣都是方陣。長方形矩陣也有多是對角矩陣。非方陣的對象矩陣沒有逆矩陣，但有高效計算乘法。長方形對角矩陣D，乘法Dx涉及x每一個元素縮放。D是瘦長型矩陣，縮放後末尾添加零。D是胖寬型矩陣，縮放後去掉最後元素。

對稱(symmetric)矩陣，轉置和本身相等矩陣。A=A⫟。不依賴參數順序雙參數函數生成元素，對稱矩陣常出現。A是矩離度量矩陣，Ai,j表示點i到點j距離，Ai,j=Aj,i。距離函數對稱。

單位向量(unit vector)，具備單位範數(unit norm)向量。||x||2=1。

x⫟y=0，向量x和向量y互相正交(orthogonal)。兩個向量都有非零範數，兩個向量間夾角90°。ℝⁿ至多有n個範數非零向量互相正交。向量不但互相正交，且範數爲1,標準正交(orthonorma)。

正交矩陣(orthogonal matrix)，行向量和列向量是分別標準正交方陣。 A⫟A=AA⫟=I，A⁽-1⁾=A⫟。正交矩陣求逆計算代價小。正交矩陣行向量不只正交，還標準正交。行向量或列向量互相正交但不標準正交矩陣，沒有對應專有術語。

參考資料： 《深度學習》

歡迎推薦上海機器學習工做機會，個人微信：qingxingfengzi

我有一個微信羣，歡迎一塊兒學深度學習。