BERT粗讀

記錄對於Bert的瞭解從無到有的過程，完善ing Day1 [2.5h] 看博客簡介，大概瞭解BERT做什麼的、在哪裏創新、模型的大概架構 博客入門 背景知識 預訓練模型目標是輸出單詞的表示。包括兩大類，context-free或者是contextual，前者無論在什麼語境下都會輸出相同的表達，典型爲word2vec；後者會與語境有關。 Vaswani et al. (2017) 中描述的原始實現

>>阅读原文<<