深度學習(十三)——loss及其梯度

MSE：均方差 需要求偏導的參數，要特別寫出來 因爲是動態圖，所以要再次求mse 兩種求梯度的寫法 softmax 由來 輸出的值想要最大的，認爲轉化爲概率0-1 如果用sigmoid，概率相加可能不等於1 softmax：把值大的變的更大，值小的壓縮到密集的空間，差距拉大，所以叫soft version of max，最大的極度舒適版本呀==！ i=j時 i!=j 總結： 只有i=j時，偏導爲正

>>阅读原文<<