NLP學習17_Attention

注意力機制用在圖像處理、NLP領域 看圖說話 我們要從CNN識別結果中選擇一個向量作爲meaning vector 一般選擇倒數第二層的向量,因爲倒數第一層的向量更適合分類,而倒數第二層的向量更具泛化能力 使用attention:如果要看圖說話, 比如我要生成girl這個單詞,那麼我的關注點肯定是圖片中的小女孩,而不是整張圖片 Seq2Seq 編碼部分,首先要對每個單詞進行pretrain emb
相關文章
相關標籤/搜索