圖解transformer

一、什麼是transformer transformer是目前最流行的特徵抽取器 transformer是採用encoder-decoder架構。論文Attention Is All You Need中給出encoder層是6層encoder堆疊在一起的,deco樣是6層decoder堆疊在一起。 分解成一個encoder和一個decoder的話如下: RNN缺點: 1. RNN不能並行:RNN是
相關文章
相關標籤/搜索