簡單神經網絡在Numpy和Pytorch上的實現

  我們將實現一個只有輸入層、單隱藏層、輸出層的一個神經網絡。假設樣本數爲64個，輸入維度爲1000，隱藏層爲100，輸出層爲10。   神經網絡的求導，本質上是求導的鏈式法則。但由於涉及矩陣的乘法，有時候就會使用到轉置，從而保證矩陣相乘的正確。那什麼時候需要添加轉置操作呢？能想到的辦法就是根據結果去反推（如果有更好的辦法，請評論或者私信我，謝謝），具體可見如下代碼： Numpy代碼 num_sa

>>阅读原文<<