AlexNet 學習

四個創新點： 一）ReLU     在梯度下降中，不飽和非線性比飽和非線性快很多。 二）在雙GPU上訓練     雙顯卡並行計算，只和各自相關顯卡的上一層有關聯，加快速度。 三）LRN      ReLU不需要歸一化防止過飽和，不過仍然發現以下公式幫助歸一化。          (x,y)位置，i kernal，k, n, a,b 是超參數（無特定含義的字的參數）。 四）重疊池化     錯誤率下

>>阅读原文<<