向AI轉型的程序員都關注了這個號👇👇👇python
大數據挖掘DT機器學習 公衆號： datayx程序員
課程地址、筆記、代碼獲取方式:web
一、轉發本文至朋友圈
算法
二、關注微信公衆號 datayx 而後回覆 深度學習 便可獲取。
windows
目錄微信
神經網絡與深度學習
1. 神經網絡的基礎網絡
Logistic 迴歸app
Logistic 迴歸的損失函數框架
梯度降低法機器學習
邏輯迴歸的梯度降低法
m個樣本的梯度降低法
向量化
Python 廣播
2. 淺層神經網絡
神經網絡表示
神經網絡輸出
激活函數
激活函數的導數
神經網絡的梯度降低法
隨機初始化
3.深層神經網絡
深層神經網絡的前向傳播和反向傳播
覈對矩陣的維數
使用深層表示的緣由
參數和超參數
改進深度神經網絡：超參數調整，正則化和優化
1. 深度學習的實用層面
訓練、驗證、測試集
誤差、方差
正則化
爲何正則化有利於防止過擬合
dropout正則化
理解dropout
其餘正則化方法
標準化(歸一化)輸入
梯度消失和梯度爆炸
神經網絡的權重初始化
梯度的數值逼近
梯度檢驗
梯度驗證應用的注意事項
2.優化算法
Mini-batch梯度降低
指數加權平均
理解指數加權平均
指數加權平均的誤差修正
momentum梯度降低
RMSprop
Adam優化算法
學習率衰減
局部最優問題
3.超參數調試、Batch 正則化和程序框架
超參數調試處理
爲超參數選擇合適的範圍
超參數調試實踐:Pandas vs. Caviar
網絡中的正則化激活函數
在神經網絡中融入Batch Norm
Batch Norm 起做用的緣由
在測試數據上使用 Batch Norm
Softmax 迴歸
訓練 Sotfmax 分類器
結構化機器學習項目
機器學習策略(1)
爲何是ML策略
正交化
單一數字評估指標
知足和優化指標
訓練集、開發集、測試集的劃分
開發集和測試集的大小
何時改變開發/測試集和評估指標
爲何是人的表現
可避免誤差
理解人類的表現
超越人類的表現
改善你的模型表現
偏差分析
清除標註錯誤的數據
快速搭建第一個系統並開始迭代
在不一樣分佈上的訓練集和測試集
數據分佈不匹配的誤差和方差分析
處理數據不匹配的問題
遷移學習
多任務學習
何爲端到端的深度學習
是否使用端到端的深度學習方法
機器學習策略(2)
卷積神經網絡
1. 卷積神經網絡基礎
計算機視覺
邊緣檢測示例
更多邊緣檢測的內容
padding
卷積步長
三維卷積
單層卷積網絡
簡單神經網絡示例
池化層
卷積神經網絡示例
爲何使用卷積？
2. 深度卷積網絡：實例探究
爲何要進行實例探究
經典網絡
LeNet-5
AlexNet
VGG
殘差網絡
爲何殘差有用？
網絡中的網絡以及1×1卷積
谷歌Inception網絡簡介
Inception網絡
使用開源的實現方案
遷移學習
數據擴充
計算機視覺現狀
3. 目標檢測
目標定位(Object localization)
特徵點檢測(Landmark detection)
目標檢測(Object detection)
卷積的滑動窗口實現(Convolutional implementation of sliding windows)
Bounding Box預測(Bounding box predictions)
交併比(Intersection over union)
非極大值抑制(Non-max suppression)
Anchor Boxes
YOLO 算法(Putting it together: YOLO algorithm)
候選區域(選修)(Region proposals (Optional))
3.特殊應用：人臉識別和神經風格轉換
什麼是人臉識別？(What is face recognition?)
One-Shot學習(One-shot learning)
Siamese 網絡(Siamese network)
Triplet 損失(Triplet Loss)
面部驗證與二分類(Face verification and binary classification)
什麼是神經風格轉換？(What is neural style transfer?)
什麼是深度卷積網絡？(What are deep ConvNets learning?)
代價函數(Cost function)
內容代價函數(Content cost function)
風格代價函數(Style cost function)
一維到三維推廣(1D and 3D generalizations of models)
序列模型
1. 循環神經網絡(RNN)
爲何選擇序列模型？
數學符號
循環神經網絡模型
對時間序列參數共享的理解
經過時間的反向傳播
不一樣類型的循環神經網絡
語言模型和序列生成
對新序列採樣
循環神經網絡的梯度消失
GRU單元
長短時間記憶(LSTM)
雙向循環神經網絡
深層循環神經網絡
閱讀過本文的人還看了如下：
《21個項目玩轉深度學習：基於TensorFlow的實踐詳解》完整版PDF+附書代碼
Machine Learning Yearning 中文翻譯稿
不斷更新資源
深度學習、機器學習、數據分析、python
搜索公衆號添加： datayx
長按圖片，識別二維碼，點關注
深度學習 500問
使用 ReLu 激活函數的優勢
1、在區間變更很大的狀況下，ReLu 激活函數的導數或者激活函數的斜率都會遠大於 0， 在程序實現就是一個 if-else 語句，而 sigmoid 函數須要進行浮點四則運算，在實踐中，使用ReLu 激活函數神經網絡一般會比使用 sigmoid 或者 tanh 激活函數學習的更快。
2、sigmoid 和 tanh 函數的導數在正負飽和區的梯度都會接近於 0，這會形成梯度彌散，而Relu 和 Leaky ReLu 函數大於 0 部分都爲常數，不會產生梯度彌散現象。
3、需注意，Relu 進入負半區的時候，梯度爲 0，神經元此時不會訓練，產生所謂的稀疏 性，而 Leaky ReLu 不會產生這個問題。
本文分享自微信公衆號 - 機器學習AI算法工程（datayx）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。