TensorFlow神經網絡優化：複雜學習率、激活函數、損失函數、過擬合、梯度爆炸、優化器

1. 神經網絡的複雜度 1.1時間複雜度   時間複雜度即模型的運算次數，可用浮點運算次數（FPLOPs, FLoating-point OPerations）或者乘加運算次數衡量。上圖中神經網絡乘加運算次數： 3 × 4 + 4 × 2 = 20 3\times4+4\times2=20 3×4+4×2=20html 1.2空間複雜度   空間複雜度（訪存量），嚴格來說包括兩部分：總參數量 +

>>阅读原文<<