自注意力學習筆記

一個多月以前看了看，現在有些記不清了，大體回憶一下，先寫一部分。   http://jalammar.github.io/illustrated-transformer/   要想搞明白，最快速的方法，不是看網上亂七八糟的介紹，直接看上面的鏈接。用心點，很快讀完，基本就掌握自注意力了。 先說我看的時候一個疑惑， 就說這張圖吧，Wq和Wk，這兩個是完全對稱的，差異在哪裏？爲什麼取的名字不一樣？ 再看

>>阅读原文<<