BERT的通俗理解

1、預訓練模型       BERT是一個預訓練的模型，那麼什麼是預訓練呢？舉例子進行簡單的介紹       假設已有A訓練集，先用A對網絡進行預訓練，在A任務上學會網絡參數，然後保存以備後用，當來一個新的任務B，採取相同的網絡結構，網絡參數初始化的時候可以加載A學習好的參數，其他的高層參數隨機初始化，之後用B任務的訓練數據來訓練網絡，當加載的參數保持不變時，稱爲"frozen"，當加載的參數隨着

>>阅读原文<<