語言模型和序列生成

語言模型 就是根據某幾個單詞預測下一個單詞，選擇概率高的爲最終結果。 構造RNN模型，開始輸入爲a0 x1 2個 0向量， 然後根據softmax得到第一個單詞，然後將第一個RNN中單元的輸出的y1 作爲第二個RNN單元塊中的輸入x2，狀態a1也進傳到下一層，再次進行softmax 得到第二層的輸出y 2，以此循環，得到整句。其中概率爲每個單詞的概率，形成該句話的概率是所有單詞概率的成績。 下面有

>>阅读原文<<