在深度學習中必須瞭解的信息論概念

在深度學習中必須瞭解的信息論概念 信息論是一個重要的領域，它對深度學習和人工智能做出了重大貢獻，但不少人對此並不瞭解。信息論能夠被看做是深度學習的基本組成部分：微積分、機率論和統計學的複雜融合。一些來自信息論或相關領域的人工智能概念的例子：web 經常使用的交叉熵損失函數 根據最大信息增益構建決策樹 維特比算法普遍應用於NLP和語音 編碼器-解碼器的概念普遍用於機器翻譯RNN和各類其餘類型的模型

>>阅读原文<<