The Multilinear Structure of ReLU Networks

  兩種非常常見的非線性單元：rectified linear units (ReLUs) 和 leaky ReLUs 我們選取binary hinge loss進行二分類 對於多分類，我們可以定義multiclass hinge loss 定義Ω爲網絡的參數空間， L(ω)爲loss。   由於我們選了ReLU非線性單元作爲loss, 那麼L(ω)是分片線性的。對於參數空間，我們可以將其進行一個

>>阅读原文<<