[深度學習]動手學深度學習筆記-8

Task4——注意力機制與Seq2seq模型 8.1 注意力機制 所謂的注意力機制，其實就是讓系統學會注意力-即關注重點信息忽略無關信息。帶有注意力機制的系統，不僅可以自主學習注意力，還可以幫助我們更好的理解神經網絡。現在，在計算機視覺當中大多數都是通過掩碼來生成注意力，掩碼本質上是一組新的權重，可以幫助我們找到需要關注的信息。 目前主要演化出了兩種注意力，一種是軟注意力，其重點關注的是區域或通道

>>阅读原文<<