Bert理論淺析

Bert理論淺析 大名鼎鼎的Bert其實就是在Transform的基礎上利用Transform的encode部分實現的。 Bert的具體實現這裏就不講了，可以去看bert的論文和李宏毅老師的課程，講的挺清楚的。 下面主要來解釋幾個我閱讀過程中的問題： 1、bert是怎麼訓練的？ bert的pre-train其實有兩個部分組成。 第一種： bert是一個無監督的模型，利用的是一個類似完形填空的直覺實

>>阅读原文<<