熵、交叉熵和KL散度的基本概念和交叉熵損失函數的通俗介紹

交叉熵（也稱爲對數損失）是分類問題中最常用的損失函數之一。但是，由於當今龐大的庫和框架的存在以及它們的易用性，我們中的大多數人常常在不瞭解熵的核心概念的情況下着手解決問題。所以，在這篇文章中，讓我們看看熵背後的基本概念，把它與交叉熵和KL散度聯繫起來。我們還將查看一個使用損失函數作爲交叉熵的分類問題的示例。 什麼是熵？ 爲了開始瞭解熵到底指的是什麼，讓我們深入瞭解信息理論的一些基礎知識。在這個數字

>>阅读原文<<