【論文源碼閱讀】BERT pytorch源碼結構關係圖

如圖，模型基本結構是BERT，是model，而BERTLM集成了Bert,NSP,MLM，是模型結構的核心。 在數據的處理中，核心是BERTDataset 訓練或者評估的時候，調用了BERTTrainer，他使用了BertDataset的數據來對BERTLM進行訓練與迭代，

>>阅读原文<<