谷歌開源進化版 Transformer!基於神經網絡架構搜索,效果更好

谷歌大腦的新論文《The Evolved Transformer》提出了首個用於改進 Transformer 的神經網絡架構搜索算法(NAS)。Transformer 是許多自然語言處理任務的最流行的網絡架構之一。該論文使用基於錦標賽選擇的進化算法,通過網絡搜索算法得到進化版 Transformer。新的網絡結構比原來的 Transformer 取得了更好的表現,並且減少了所需要的訓練時間。本文是
相關文章
相關標籤/搜索