深度學習的注意力機制

注意力機制的提出主要是在處理NLP問題的過程中提出來的，當前在圖像領域也漸漸得到廣泛應用。 使用pre-trained CNN網絡生成狀態h，將h進行解碼，利用注意機制，圖像首先被分成n個部分，並且我們使用每個部分h_1，...，h_n的卷積神經網絡（CNN）表示來計算。當RNN生成新單詞時，注意機制關注於圖像的相關部分，因此解碼器僅使用圖像的特定部分。 上圖是對圖像進行標註時我們可以看到標題的每

>>阅读原文<<