課程回顧-Neural Network & Deep Learning
爲何深度學習發展了
數據
計算
算法發展
Logistics Regression
Numpy
reshape的計算代價很小，因此你不肯定數據維度的時候均可以放上
一些解決潛在bug的trick
作了歸一化以後梯度降低更易收斂
激活函數
對於權值要作隨機初始化
爲何要深層網絡
Reference
數據
計算
算法發展
Logistics Regression
Numpy
reshape的計算代價很小，因此你不肯定數據維度的時候均可以放上
一些解決潛在bug的trick
作了歸一化以後梯度降低更易收斂
激活函數
對於權值要作隨機初始化
爲何要深層網絡
Reference
爲何深度學習發展了
數據
- 對於小量數據來講，神經網絡表現比線性迴歸、SVM
- 對於大量數據來講神經網絡比SVM好
- 對於大量數據來講，大的網絡比小的網絡好
- 因爲電腦的大量使用數據愈來愈多
計算
- GPUs.
- Powerful CPUS.
- Distributed computing.
- ASICs
算法發展
Relu等新的技巧提出html
Logistics Regression
git
Numpy
reshape的計算代價很小，因此你不肯定數據維度的時候均可以放上
一些解決潛在bug的trick
- 若是不設置向量的維度，那麼默認值會是(m,)，而且轉置操做不會使用，你必須將其reshape成(m,1)。儘可能不要使用rank=1的矩陣
- 計算前嘗試檢驗維度，如
assert(a.shape == (5,1)) - 若是發現了rank=1的矩陣，作reshape
作了歸一化以後梯度降低更易收斂
激活函數
- tanh在隱層使用會比較好（mean=0）
- sigmoid和tanh會存在問題，由於當值極小或極大會形成梯度接近零
- relu更加經常使用
- 選擇激活函數的準則：若是你的分類結果是0和1，用sigmoid，不然用relu
對於權值要作隨機初始化
爲何要深層網絡
- 一層層分析，相似人腦
- 幾層的深度網絡完成的功能，須要指數個數的隱藏單元來完成。
http://blog.csdn.net/column/details/17767.html
Reference
https://github.com/mbadry1/DeepLearning.ai-Summarygithub
相關文章
- 1. 課程回顧-Convolutional Neural Networks
- 2. Course 1-Neural Network & Deep Learning
- 3. Chapter 2 - Neural Network and Deep Learning
- 4. Neural Networks and Deep Learning -- Class 2: Neural Network Basics
- 5. 課程回顧-Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
- 6. 課程一(Neural Networks and Deep Learning)，第二週（Basics of Neural Network programming）—— 四、Logistic Regres
- 7. Neural Networks and Deep Learning（week4）Deep Neural Network - Application（圖像分類）
- 8. Neural Networks and Deep Learning（week4）Building your Deep Neural Network: Step by Step
- 9. Coursera-Deep Learning Specialization 課程之（一）：Neural Networks and Deep Learning-weak4編程做業
- 10. Deep Neural Network
- 更多相關文章...
- • SVN 版本回退 - SVN 教程
- • Lua 垃圾回收 - Lua 教程
- • 算法總結-回溯法
- • Java 8 Stream 教程
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. python的安裝和Hello，World編寫
- 2. 重磅解讀：K8s Cluster Autoscaler模塊及對應華爲雲插件Deep Dive
- 3. 鴻蒙學習筆記2（永不斷更）
- 4. static關鍵字 和構造代碼塊
- 5. JVM筆記
- 6. 無法啓動 C/C++ 語言服務器。IntelliSense 功能將被禁用。錯誤: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
- 7. 【Hive】Hive返回碼狀態含義
- 8. Java樹形結構遞歸（以時間換空間）和非遞歸（以空間換時間）
- 9. 數據預處理---缺失值
- 10. 都要2021年了，現代C++有什麼值得我們學習的？
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 課程回顧-Convolutional Neural Networks
- 2. Course 1-Neural Network & Deep Learning
- 3. Chapter 2 - Neural Network and Deep Learning
- 4. Neural Networks and Deep Learning -- Class 2: Neural Network Basics
- 5. 課程回顧-Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
- 6. 課程一(Neural Networks and Deep Learning)，第二週（Basics of Neural Network programming）—— 四、Logistic Regres
- 7. Neural Networks and Deep Learning（week4）Deep Neural Network - Application（圖像分類）
- 8. Neural Networks and Deep Learning（week4）Building your Deep Neural Network: Step by Step
- 9. Coursera-Deep Learning Specialization 課程之（一）：Neural Networks and Deep Learning-weak4編程做業
- 10. Deep Neural Network