學習筆記DL004:標量、向量、矩陣、張量，矩陣、向量相乘，單位矩陣、逆矩陣

線性代數，面向連續數學，非離散數學。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。

標量、向量、矩陣、張量。

標量(scalar)。一個標量，一個單獨的數。其餘大部分對象是多個數的數組。斜體表示標量。小寫變量名稱。明確標量數類型。實數標量，令s∊ℝ表示一條線斜率。天然數標量，令n∊ℕ表示元素數目。

向量(vector)。一個向量，一列數。有序排列。次序索引，肯定每一個單獨的數。粗體小寫變量名稱。向量元素帶腳標斜體表示。註明存儲在向量中元素類型。若是每一個元素都屬於R，向量有n個元素，向量屬於實數集R的n次笛卡兒乘積構成集合，記ℝⁿ。明確表示向量元素，元素排列成一個方括號包圍縱列。向量看做空間中點。每一個元素是不一樣座標軸上的座標。索引向量元素，定義包含元素索引集合，集合寫在腳標處。用符號-表示集合補集索引。

矩陣(matrix)。一個二維數組。每一個元素由兩個索引肯定。粗體大寫變量名稱。若是實數矩陣高度爲m，寬度爲n，A∊ℝ⁽m*n⁾。表示矩陣元素，不加粗斜體形式名稱，索引逗號間隔。A1,1表示A左上元素，Am,n表示A右下元素。「:」表示水平座標，表示垂直座標i中全部元素。Ai,:表示A中垂直座標i上一橫排元素，A的第i行(row)。右下元素。A:,i表示A的第i列(column)。明確表示矩陣元素，方括號括起數組。矩陣值表達式索引，表達式後接下標，f(A)i,j表示函數f做用在A上輸出矩陣第i行第j列元素。

張量(tensor)。超過兩維的數組。一個數組中元素分佈在若干維座標規則網絡中。A表示張量「A」。張量A中座標(i,j,k)元素記Ai,j,k。

轉置(transpose)。矩陣轉置，以對角線爲軸鏡像。左上角到右下角對角線爲主對角線(main diagonal)。A的轉置表爲A⫟。(A⫟)i,j=Aj,i。向量可做一列矩陣。向量轉置，一行矩陣。向量元素做行矩陣寫在文本行，用轉置操做變標準列向量來定義一個向量，x=[x1,x2,x3]⫟。標量可看做一元矩陣。標量轉置等於自己，a=a⫟。
矩陣形狀同樣，可相加。對應位置元素相加。C=A+B，Ci,j=Ai,j+Bi,j。標量和矩陣相乘或相加，與矩陣每一個元素相乘或相加，D=aB+C，Di,j=aBi,j+c。

深度學習，矩陣和向量相加，產生另外一矩陣，C=A+b，Ci,j=Ai,j+bj。向量b和矩陣A每一行相加。無須在加法操做前定義一個將向量b複製到第一行而生成的矩陣。隱式複製向量b到不少位置方式，稱廣播(broadcasting)。

矩陣、向量相乘。

兩個矩陣A、B矩陣乘積(matrix product)是第三個矩陣C。矩陣A列數必須和矩陣B行數相等。若是矩陣A的形狀mn，矩陣B的形狀是np，矩陣C的形狀是mp。兩個或多個矩陣並列放置書寫矩陣乘法。C=AB。Ci,j=Sumk(Ai,kBk,j)。列乘行。兩個矩陣對應元素乘積，元素對應乘積(element-wise product)，Hadamard 乘積(Hadamard product)，記A⊙B。兩個相同維數向量x、y點積(dot product)，矩陣乘積x⫟y。矩陣乘積C=AB計算Ci,j步驟看做A第i行和B的第j列間點積。矩陣乘積服務分配律(A(B+C)=AB+AC)、結合律(A(BC)=(AB)C)。不知足交換律(AB=BA)。兩個向量點積知足交換律x⫟y=y⫟x。矩陣乘積轉置 (AB)⫟=B⫟A⫟。兩個向量點積結果是標量，標量轉置是自身，x⫟y=(x⫟y)⫟=y⫟x。Ax=b，A∊ℝ⁽mn⁾是已知矩陣，b∊ℝ⁽m⁾是已知向量，x∊ℝⁿ是求解未知向量。向量x每一個元素xi都未知。矩陣A第一行和b中對應元素構成一個約束。

單位矩陣、逆矩陣。

矩陣逆(matrix inversion)。單位矩陣(identity matrix)，任意向量和單位矩陣相乘，都不會改變，保持n維向量不變的單位矩陣記In。In∊ℝ⁽n*n⁾。∀x∊ℝⁿ,Inx=x。單位矩陣結構簡單，全部沿對角線元素都是1，其餘位置全部元素都是0。矩陣A的矩陣逆記A⁽-1⁾，A⁽-1⁾A=In。求解式Ax=b,A⁽-1⁾Ax=A⁽-1⁾b,Inx=A⁽-1⁾b,x=A⁽-1⁾b。當逆矩陣A⁽-1⁾存在，能找到閉解形式。相同逆矩陣可用於屢次求解不一樣向量b方程。逆矩陣A⁽-1⁾在數字計算機上只能表現出有限精度，有效用向量bt算法獲得更精確x，逆矩陣A⁽-1⁾主要做理論工具。

參考資料：
《深度學習》

歡迎推薦上海機器學習工做機會，個人微信：qingxingfengzi我有一個微信羣，歡迎一塊兒學深度學習。