最大熵模型和Logistic迴歸

以前博客寫過邏輯迴歸時直接拋出sigmoid函數，然後說它的好處和特性。其實長久以來想知道這玩意是怎麼想出來的。最大熵模型是一個比較普遍的機器學習模型，Logistic迴歸是它在二分類情形下的特例，也就是說sigmoid激活函數就是由最大熵模型推出來的。。 條件熵表示已知隨機變量X的情況下，隨機變量Y的條件概率分佈的熵對X的數學期望：                                

>>阅读原文<<