bert代碼解讀2之完整模型解讀

bert代碼模型部分的解讀 bert_config.josn 模型中參數的配置html { "attention_probs_dropout_prob": 0.1, #乘法attention時，softmax後dropout機率 "hidden_act": "gelu", #激活函數 "hidden_dropout_prob": 0.1, #隱藏層dropout機率 "hidden_size

>>阅读原文<<