NLP基礎筆記——BERT

一、Transformer 谷歌推出的BERT模型在11項NLP任務中奪得STOA結果，引爆了整個NLP界。而BERT取得成功的一個關鍵因素是Transformer的強大作用。谷歌的Transformer模型最早是用於機器翻譯任務，當時達到了STOA效果。Transformer改進了RNN最被人詬病的訓練慢的缺點，利用self-attention機制實現快速並行。並且Transformer可以增加

>>阅读原文<<