NLP轉折之戰!再不學Transformer就晚了

都2020年了,你還在用RNN、CNN?Transformer瞭解一下! 在Transformer之前,我們一般使用RNN 和CNN來作爲編解碼器,但RNN無法並行計算,模型效率十分低。雖然你也可以用CNN替換RNN,達到並行的效果,但是CNN需要堆疊多層的卷積層,導致模型過於冗雜。 這時候,Transformer模型就「橫空出世」了,它不僅能夠並行,並且可以考慮到輸入序列不同token的權重。
相關文章
相關標籤/搜索