機器翻譯以及注意力機制

注意力機制就是讓計算機模擬人類大腦，在看東西的時候，將注意力集中在比較感興趣的物體上。 1. 引入注意力機制的目的： 1、計算能力的限制：越複雜的模型才能記住更多的信息，但是當前計算能力依然是限制人工神經網絡發展的瓶頸 2、優化算法的限制：雖然局部連接、權重共享以及pooling等優化操作可以讓神經網絡變得簡單一些， 有效緩解模型複雜度和表達能力之間的矛盾；但是，信息「記憶」能力並不高 2. 按照

>>阅读原文<<