動手推導Self-Attention

  AI做者：陳揚    css AI編輯：陳人和nginx 前言git 譯者: 在 medium 看到一篇文章從代碼的角度,做者直接用 pytorch 可視化了 Attention 的 QKV 矩陣,以前我對 self-Attention 的理解仍是比較表面的,大部分時候也是直接就調用 API 來用, 看看原理也挺有意思的,做者同時製做了可在線運行的 colab做爲演示,遂翻譯給你們一塊兒看看:

>>阅读原文<<