Transformer|深度學習（李宏毅）（八）

一、RNN與CNN處理Seq2seq問題的侷限性 RNN的侷限性 處理Seq2seq問題時一般會首先想到RNN，但是RNN的問題在於無論使用單向還是雙向RNN都無法並行運算，輸出一個值必須等待其依賴的其他部分計算完成。 CNN的侷限性 爲了解決並行計算的問題，可以嘗試使用CNN來處理。如下圖，使用CNN時其同一個卷積層的卷積核的運算是可以並行執行的，但是淺層的卷積核只能獲取部分數據作爲輸入，只有深

>>阅读原文<<