最大熵與邏輯迴歸的等價性

一：前言 update:2015/11/9 獲得了一些新的理解，指數簇分佈的最大熵等價於其指數形式的最大似然界。二項式的最大熵解等價於二項式指數形式(sigmoid)的最大似然，多項式分佈的最大熵等價於多項式分佈指數形式(softmax)的最大似然，因此爲什麼用sigmoid函數，那是因爲指數簇分佈最大熵的特性的必然性。假設分佈求解最大熵，引入拉格朗日函數，求偏導數等於0，直接求出就是sigmoi

>>阅读原文<<