22 language model學習筆記

在語言建模問題中，我們想讀取一些語句，從而讓神經網絡在一定程度上學會生成自然語言 在下圖中，我們有一個字符集[h,e,l,o]和一個訓練序列樣例hello 在這裏語言模型的訓練階段，我們將這個字符序列作爲輸入項xt，考慮到是一個字母所以這裏我們採用的方法是將其中一個字母所在元素對應index在爲位置表爲1其他標位0。 隨着數字前向傳播，神經網絡會接收到輸入h，該輸入會進入RNN單元中，之後輸出yt

>>阅读原文<<