深度學習基礎知識——信息論（自信息、信息熵與馬爾科夫鏈）

信息論是在信息或不確定性可度量的前提下，研究有效、可靠、安全地傳輸信息的科學。 （【注】：符號約定：大寫字母表示集合，小寫字母表示集合中的事件） 1.前言 從常識來看，小概率事件的不確定性大，一旦出現必然使人感到意外，因此產生的信息量就大，特別是幾乎不可能出現的事件一旦出現，必然產生極大的信息量；大概率事件是預料之中的事件，不確定性小，即使發生也沒什麼信息量，特別是概率爲1的確定事件發生以後，不會

>>阅读原文<<