BioBERT: a pre-trained biomedical language representation model for biomedical text mining

Abstract 動機：隨着生物醫學文獻數量的快速增長，生物醫學文本挖掘變得越來越重要。隨着自然語言處理（NLP）的進步，從生物醫學文獻中提取有價值的信息已在研究人員中廣受歡迎，而深度學習促進了有效的生物醫學文本挖掘模型的發展。但是，由於單詞分佈從普通領域的語料庫轉移到生物醫學的語料庫，直接將NLP的進步應用到生物醫學的文本挖掘常常會產生不令人滿意的結果。在本文中，我們研究了最近引入的預訓練語言模

>>阅读原文<<