Bert學習資料

https://zhuanlan.zhihu.com/p/49271699

Bert是近年來NLP重大進展的集大成者. 目前絕大部分NLP任務均可以採用相似的兩階段模式直接去提高效果

Transformer是谷歌在17年作機器翻譯任務的「Attention is all you need」的論文中提出的，引發了至關大的反響，不少研究已經證實了Transformer提取特徵的能力是要遠強於LSTM的.

Transformer在將來會逐漸替代掉RNN成爲主流的NLP工具，RNN一直受困於其並行計算能力，這是由於它自己結構的序列性依賴致使的.

CNN在NLP裏一直沒有造成主流，CNN的最大優勢是易於作並行計算，因此速度快，可是在捕獲NLP的序列關係尤爲是長距離特徵方面自然有缺陷

https://zhuanlan.zhihu.com/p/37601161  深度學習中的注意力模型

https://jalammar.github.io/illustrated-transformer/  transformer資料