DNN結構：CNN、LSTM/RNN中的Attention結構

前言       attention作爲一種機制，有其認知神經或者生物學原理: 注意力的認知神經機制是什麼？       如何從生物學的角度來定義注意力？       大多數attention (gating) 技巧都可以直接加入現有的網絡架構，通過合理設計初始化和訓練步驟也可以利用現有網絡的預訓練參數。這大大擴展了這些技巧的適用範圍。 參考此文：Recurrent Visual Attentio

>>阅读原文<<