自然語言處理之Attention機制

自然語言處理之Attention機制與公式推導   一說Attention，一些人就說seq2seq，self-attention，transformer，把attention比作nlp方向的核武器。但是實際上attention更早出現於CV領域，之後2016年在Relation Extraction（至少有這個）方向上有着較早的應用。直到2017年才被大規模應用於Seq2Seq model。因此

>>阅读原文<<