神經網絡自然語言模型的一般化結構形式

一個神經網絡自然語言模型當然需要神經網絡的結構層次，但是在進入神經網絡之前，怎麼把單詞表示成要輸入的詞向量，這也是一個非常重要的問題。其實，神經網絡語言模型主要分兩大部分，第一，輸入詞向量的表示問題，第二，神經網絡結構的選擇問題。只要處理好這兩方面的問題，剩下的就交給訓練了，當然其中還有一些細節。本文所描述的是一個一般化的多層神經網絡結構，首先要說明一些標記記號： 假設一個神經網絡函數爲 fθ(⋅

>>阅读原文<<