[nlp] BertSum

LSTM : 序列模型。 BertSum : self attention 自注意力向量表徵句子（q,k,v），實現並行 。(RNN ,LSTM 灰常慢) 雙向transformer 基於encoder單元雙向預訓練模型 基於維基，語言模型訓練。 transformer : 以自注意力單元做了很多encoder decoder結構 。 bert分類器： 1. 經典神經網絡 2. transform

>>阅读原文<<