計算機視覺 self attention機制

機器翻譯中的 self attention機制 直觀例子 先來看一個翻譯的例子「I arrived at the bank after crossing the river」 這裏面的bank指的是銀行還是河岸呢，這就需要我們聯繫上下文，當我們看到river之後就應該知道這裏bank很大概率指的是河岸。在RNN中我們就需要一步步的順序處理從bank到river的所有詞語，而當它們相距較遠時RNN的

>>阅读原文<<