原生Bert的訓練和使用總結

bert誕生至今已經有2年了，其產生的影響和一直延伸至今的衍生模型固然是不用我來贅述，爲了積累下以往的學習內容防止忘記，就把筆記整理下。 本文的主要從模型運行過程的視角來介紹下google的原生bert是怎麼運作和調用的。 首先還是上圖： 這是一張transformer的模型框架，這個框架左邊一半你就可以理解是一個bert的主幹網絡，真正的bert是由左邊這一小塊一小塊堆疊而成的，所謂的bert（

>>阅读原文<<