深度學習建模訓練總結（七）：梳理NLP發展里程碑——BERT

bert是近兩年非常火的模型，最近簡單看了一下，確實有幾個很驚豔的地方，這次就來看看bert到底是一個什麼運作原理。 在正式討論bert之前，首先需要討論transformer到底還有什麼缺點，之前也提到，transformer完全可以看成是完美版本的RNN，它一方面能夠實現動態輸入輸出，同時也避免了長期依賴的問題，但是，在實際應用的時候，人們還是發現了幾點不足，作爲特徵提取器，直接使用trans

>>阅读原文<<