BERT 可解釋性-從「頭」說起

文章目錄 一、背景介紹 二、Bert 模型 Attention-Head 實驗 2.1 Attention-Head 比較冗餘 2.2 某些 head 負責判斷詞的邊界 (使得字模型帶有分詞信息) 2.3 某些 head 負責編碼輸入的順序 2.4 某些 head 負責 query 和 title 中相同部分的 term 匹配 2.4.1 finetune 對於負責 term 匹配 attenti

>>阅读原文<<