自然語言處理面試總結.01

對自己覆盤的NLP做個總結： 1. 什麼perplexity？它在NLP中的地位是什麼？ perplexity是一種表達模型在預測中出現的混亂程度的方法。熵越大=越混亂。使用perplexity來評估NLP中的語言模型。一個好的語言模型會給正確的預測賦予更高的概率。 2. ReLu的問題是什麼？ 梯度爆炸（通過梯度裁剪來解決） 死亡ReLu----激活爲0時不進行學習（通過加參數的ReLu解決）

>>阅读原文<<