機器學習中的數學(六)--信息論與激活函數

寫在前面       《機器學習中的數學》系列主要列舉了在機器學習中用到的較多的數學知識，包括微積分，線性代數，概率統計，信息論以及凸優化等等。本系列重在描述基本概念，並不在應用的方面的做深入的探討，如果想更深的瞭解某一方面的知識，請自行查找研究。 1. 信息論 1.1 信息熵 定義：用來衡量信息量的大小，信息的不確定性越大，信息熵就越大，信息的不確定性越小，信息熵就越小 表達式： 舉例： 1.2

>>阅读原文<<