attention機制 深入理解

首先也是最重要的,上圖左右,只是畫法不同,左邊是RNN encoder-decoder畫法,右邊是machine reading相關論文 以及 transformer和fairseq論文裏的圖的畫法 對於最上圖的左圖,有下圖,a是加的權值,h是encoder的states (個人理解soft attention和hard attention,是權值a的計算方式不同) 同理可理解最上圖的右圖
相關文章
相關標籤/搜索