Datawhale《深度學習-NLP》Task9- Attention原理

Attention-based Model其實就是一個相似性的度量，當前的輸入與目標狀態越相似，那麼在當前的輸入的權重就會越大，說明當前的輸出越依賴於當前的輸入。嚴格來說，Attention並算不上是一種新的model，而僅僅是在以往的模型中加入attention的思想，所以Attention-based Model或者Attention Mechanism是比較合理的叫法，而非Attention

>>阅读原文<<