NLP語言模型(LMs)在實際數據中的應用

語言模型(LM)的作用是估計不同語句在對話中出現的概率，並且LM適用於許多不同的自然語言處理應用程序(NLP)。 例如，聊天機器人的對話系統。 在此文中，我們將首先正式定義LM，然後演示如何使用實際數據計算它們。 所有顯示的方法在Kaggle notebook中有完整的代碼展示。 一、語言模型(LM)的定義 概率語言建模的目標是計算單詞序列的語句出現的概率：                    

>>阅读原文<<