【SCIR筆記】ACL2020表格預訓練工作速覽

作者：哈工大SCIR 潘名揚、竇隆緒 來自：工大SCIR 1. 簡介 近年來預訓練語言模型(BERT、ERNIE、GPT-3)迅速發展，促進了NLP領域各種任務上的進步，例如閱讀理解、命名實體識別等任務。但是目前的這些預訓練模型基本上都是在通用文本上進行訓練的，在需要一些需要對結構化數據進行編碼的任務上（如Text-to-SQL、Table-to-Text），需要同時對結構化的表格數據進行編碼，如

>>阅读原文<<