一個普通菜雞花了3天時間才明白softmax求導計算結果

本文是在softmax求導過程中，表達個人對j!=y[i]的理解。 理解這個東西花了3天，有可能理解還有錯，請指出。 靈魂拷問：對誰求導啊，誰對誰求導啊？ 一般是損失函數對權重求導。數學表達：result = d(loss)/d(W)。 求導得到的結果是用來更新權重W用的，數學表達：W = W-result。 怎麼理解j==y[i]和j!=y[i]? softmax中的loss是這樣子的。（ 下面

>>阅读原文<<