BERT的get_sequence_output與get_pooled_output方法

BERT的get_sequence_output方法獲取token向量是如何得到的？ 通過如下方法得到，實際上獲取的是encoder端最後一層編碼層的特徵向量。 BERT的get_pooled_output方法獲取的句子向量是如何得到的？ 通過如下方法得到，實際上獲取的是[CLS]這個token對應的向量，把它作爲整個句子的特徵向量。 BERT代碼中如何區分是預訓練還是微調的，預訓練代碼是否開源了

>>阅读原文<<