【深度之眼tensorflow2.0框架項目班】39.Transformer、CNN,RNN對比

三種模型的對比 從encoder,decoder,attention三個部位來對比 encoder端: 1)RNN RNN的encoder端和常見的用於分類的RNN模型沒有什麼區別,輸入x,得到最後一層的隱層狀態,用於之後計算attention。 2)conv 在這裏採用stacking conv來對輸入x編碼,作者認爲這種stacking conv是可以捕獲到長距離的信息的,假設卷積的kerne
相關文章
相關標籤/搜索