爲何點積等價於投影后的乘積？

摘自《Essence of linear algebra》系列視頻，很是精彩。B站上有全集～

Dot Product

咱們都知道，向量的點積是這麼作的：

其幾何解釋爲投影相乘：

經過投影，咱們能夠理解爲何點積爲0（正交），爲何點積能夠爲負。

點積還具備symmetry。
假設u和v點積，對稱性即：不管是v在u上做投影再乘，仍是u在v上做投影再乘，結果都是同樣的。
這一點不太好理解，但又相當重要。咱們下面來解釋一下：

假設u比v的範數大。咱們在u的方向上取w，使得w的範數等於v的範數：

做一條對稱軸，顯然w和v必定知足對稱性。這很是直觀！
既然如此，那麼結果和u、v點積，不過是相差常數倍，即（u的範數除以v的範數）。

反過來，咱們也能夠先把v拉長至w，使得w和u的範數相同。最後結果再補上常數倍（v的範數除以u的範數）。
對稱性得證。

Linear Transformations from Multiple Dimensions to One Dimension

首先咱們來看線性變換的苛刻條件。以二維到一維爲例。

咱們都知道，線性性包含齊次性和疊加性。但這不直觀，不利於咱們接下來的討論。
對線性變換直觀的認識是：若是在二維空間中有一系列等距分佈於同一直線上的點：

那麼線性變換以後，這些點在數軸上還是等距分佈的：

這相似於咱們知道的：直線通過線性變換之後還是直線。

和前幾節課的理解同樣，線性變換能夠由一個矩陣表示。
矩陣的列向量，表徵基向量變換後的位置。

不一樣的是，咱們如今介紹的是降維變換（2D→1D）：
本來二維空間的基向量是[1,0],[0,1]:

如今變成了數軸上的兩個點，也就是兩個數（動畫更直觀，推薦看視頻）：

所以咱們徹底能夠認爲：向量[2,1]表徵一個從二維到一維的線性變換。

如今咱們來看[1,-2]與[4,3]點積的效果分析：

• 基向量[1,0],[0,1]分別與[1,-2]點積，獲得結果[1,-2]；
• 1和-2分別乘以4和3，即獲得圖中黃色箭頭！-2就是最終結果。

從數值上看，這就是點積！

Why Projection

如今，咱們解釋爲何點積能夠用投影后的乘積來解釋。

假設咱們要求向量u1和v1的點積。

咱們直接把u1向量方向上的單位向量u做爲變換矩陣。
上一節已經說明，一個二維向量u實際上就表明了一個二維到一維數軸的映射：

如圖，全部二維空間上的點都會落在數軸上，而且一個輸入對應一個輸出，確實是函數。
最重要的是，這種映射是線性的：等距點投影在數軸上還是等距的。

所以，u向量的兩個元素，就表明兩條基向量落在該數軸上的兩個位置（數）:

實際上，這條數軸就位於該向量所在的直線上（有點投影的意思了）。
如今咱們想求，基向量在這條數軸上的投影。

由對稱性，咱們會發現，ux正好就是基向量[1,0]在該向量上的投影。uy同理！

捋一捋思路（u1和v做點積）：

1. 先獲得單位向量u=[ux,uy]，做出共線數軸；
2. 由對稱性，ux就是[1,0]在數軸上的投影，uy就是[0,1]在數軸上的投影；
3. 能夠證實，二維平面上的點投影到該數軸上，是一個線性變換；
4. 既然基向量變換後的數值已經求出來了，那麼[ux,uy]就表明了一個降維線性變換矩陣；
5. 由線性變換的性質，最終結果爲ux和uy向量加權vx和vy後的向量合成結果；
6. u1和u相差u1的範數倍，乘上就是最終結果。

以上：

• u1到u，u與v相乘，再乘以u1的範數，就是點積的數值過程。
• 整個變換就是一個投影過程，最後乘以u1的範數，綜合起來就是投影+乘法的幾何解釋。

這樣，咱們就成功解釋了：爲何兩個向量做點積，本質上就是求投影再相乘。