Bert說明

Bert說明 1 模型結構 1.1 說明 1.2 Embedding層 1.3 transformer encoder層 1.3.1 self-attention層 1.3.2 feedforward層 1.3.3 add&norm層 2 預訓練 2.1 說明 2.2 mask詞預測 2.3 下句預測 3 fine-tuning 1 模型結構 1.1 說明 Bert的結構 = Embedding層

>>阅读原文<<