Attention模型綜述

1.引言 Attention模型在14年的機器翻譯中就被提出。 優勢有： 1、提高MT，QA等的能力； 2、提高神經網絡的可解釋性； 3、克服RNN因過長而導致的丟失信息，記憶不夠精準。 2. Attention 其中 x 1 、 x 2 、 x 3 x_1、x_2、x_3 x1​、x2​、x3​是輸入， y 1 、 y 2 y_1、y_2 y1​、y2​是輸出， h 1 、 h 2 、 h 3

>>阅读原文<<