谷歌最新模型pQRNN:效果接近BERT,參數量縮小300倍

文本分類是NLP最常見的應用之一,有了BERT之後更是可以通過小批量數據精調達到不錯的效果。但在對速度要求高、沒有錢買GPU、移動設備部署的場景下,還是得用淺層網絡。 今天就跟大家介紹Google最近新出的一個模型——pQRNN,只利用監督數據(無蒸餾),以約1/300的參數量達到了接近BERT的效果。pQRNN是Google去年更小模型PRADO的一個改進版本,下面從PRADO講起,來看看它們是
相關文章
相關標籤/搜索