動手學深度學習(二):循環神經網絡

語言模型 語言模型(language model)是自然語言處理的重要技術。自然語言處理中最常見的數據是文本數據。 我們可以把一段自然語言文本看作一段離散的時間序列。假設一段長度爲T的文本中的詞依次爲w1,w2,…,wT,那麼在離散的時間序列中,wt(1≤t≤T)可看作在時間步(time step)t的輸出或標籤。 1、語言模型的計算 例如,在一段含有4個詞的文本序列的概率: 我們需要計算詞的概率
相關文章
相關標籤/搜索