深度學習之Seq_seq網絡

知識點網絡

"""
機器翻譯:
    歷史:
        一、逐字翻譯
        二、基於統計學的機器翻譯
        三、循環網絡和編碼
翻譯過程: 輸入 -- > encoder -->向量  --> decoder -->output
                    (RNN)               (RNN)
seq_seq應用:文本摘要、聊天機器人、機器翻譯
seq_seq存在的問題:
    一、壓縮損失的信息
    二、長度限制(通常10-20最好)
解決方法:
    Attention機制:高分辨率聚焦再圖片的某個特定區域,並以低分辨率感知圖像的周圍區域的模式
    具體表現爲:對encoder層進行加權

    Bucket機制:正常狀況要對全部句子進行補全

基礎Seq_seq主要包含三個部分:
    一、encoder
    二、隱層狀態向量(鏈接encoder和decoder)
    三、decoder
"""

哎!,仍是多看別人博客理解吧編碼

相關文章
相關標籤/搜索