源碼剖析transformer、self-attention（自注意力機制）、bert原理！

首先給你們引入一個github博客，這份代碼是我在看了4份transformer的源碼後選出來的，這位做者的寫法很是易懂，代碼質量比較高。https://github.com/Separius/BERT-kerashtml 這篇文章主要跟你們分享四個點：多頭機制(multi-head)、LN和GELU、位置編碼。python 在這再給你們安利幾篇博客，便於你們更具體的理解自注意力的內在原理。git

>>阅读原文<<