動手學bert課程筆記

1.pytorch下面有一個pre_trained裏面的東西是官方給定的，在tokenizion中可以更改各個與訓練模型的下載的地址，過多的就不要改了。 2.我們在使用bert的時候，寫forward當我們不知道數據的形式什麼樣的時候，我們就點進去源碼，看看對於該模型的輸入輸出的要求 這裏的x是什麼？傳進bert都需要什麼？x就是什麼 上圖就是模型的輸入輸出的要求。 此處需要寫bert的前向傳播，

>>阅读原文<<