Attention本質剖析

1. 爲什麼需要attention？  Why 語音識別或機器翻譯領域傳統Encoder-Decoder方案遇到性能瓶頸。 傳統Encoder直接將所有輸入(x1, ..,x4)編碼至固定向量c，再通過decoder進行解碼，該思路缺陷顯而易見，每個輸入沒有顯示的權值表示，導致每個輸入的貢獻相當。                                                  

>>阅读原文<<