文本挖掘與分析課程筆記_Week2

第二週筆記 熵函數 X的熵與其不確定性有關，不確定性越大，熵越大 熵應用於詞的預測 熵越高的詞，越難預測 條件熵 某個詞在另一個詞出現（或不出現）的前提下的熵 通過調整熵函數中相應條件的概率，即可得到條件熵 用條件熵尋找組合關係 對某個詞在不同前提詞下的條件熵進行比較 用「互信息」來尋找組合關係 互信息具有非負性 對稱性 當X和Y是相互獨立時，它們互信息爲0（兩個詞關聯性越強，互信息越大） 用KL

>>阅读原文<<