第二週學習筆記

一、熵以及熵函數 0.前言 爲了發現組合關係，在這裏引進熵以及熵函數的概念。 1.問題引入 （1）引題1 在上次課我們知道，具有組合關係的詞彙往往是共同出現，那麼問題來了：當「eat」出現的時候，什麼詞也會同時出現呢（包括左邊和右邊）？ （2）引題2 上面的這個來自上節課的問題其實可以一般化，即預測詞W是否出現在這篇文本里，如下圖所示： 下面哪個詞更有可能出現呢？ 2.進入正題 要解決這個問題，首

>>阅读原文<<