馬里蘭大學論文：可視化神經網絡的損失函數

在這篇論文中，研究人員提出了「過濾器歸一化」方法，用於可視化損失函數的曲率，並對損失函數進行了實驗性的並行對比。他們進一步探索了多種因素（網絡架構、超參數、優化器等）對損失函數形態的影響，以及損失函數形態對泛化能力的影響。 神經網絡的訓練需要最小化高維度非凸損失函數——這是一項理論上很難、有時卻易於實踐的任務。儘管訓練一般性神經損失函數（Blum & Rivest, 1989）是 NP-hard，

>>阅读原文<<