注意力機制

注意力機制：編碼器 和 解碼器 編碼器 編碼器如下所示，輸入 先經過 嵌入層 轉化爲輸入向量，然後在每個時間步產生一個隱藏狀態，最後將每個時間步生成的向量，組合成一個矩陣 H H H，傳入解碼器 解碼器 對於每個時間步，需要計算出 注意力語境向量（Context Vector），步驟如下： 第一步，計算 Score，輸入 編碼器中得到的 隱藏狀態矩陣 H H H（假設維度爲 m * 3），輸出 對

>>阅读原文<<