神經網絡與深度學習筆記（三）：邏輯迴歸的損失函數

以上是以前咱們所學習的sigmoid函數以及logistic函數，下面是咱們代價函數的廣泛定義形式：

雖然廣泛形式是有了，固然這個函數也僅僅是對第i個x才成立，若是想要獲得連續的x的值則須要不斷累加第i個的代價的值。若是想要上面的那種形式來做爲代價函數，那麼咱們獲得的代價函數不是凸函數所以不可能進行優化，因而引入了下面的這種形式來進行的，其具體形式是怎樣的呢？咱們來看看：

代價函數是使用實際的值和擬合的值進行作差。另外一個須要提到的點是咱們在作邏輯迴歸的時候，所使用的值都是已經標定好了的值，咱們知道每個點所對應的y的值，也知道沒有一個點的x的特徵值，所以咱們僅須要作的是擬合出一個適合這個x/y的模型便可。下面咱們把這個邏輯迴歸的損失函數寫成一個連續的等式：

固然這是爲何？咱們能夠看看統計學當中的極大似然估計就知道了，但就目前而言咱們並不須要詳細瞭解這個過程。