課程回顧-Structuring Machine Learning Projects

正交化 Orthogonalization
單一評價指標
保證訓練、驗證、測試的數據分佈一致
不一樣的錯誤
錯誤分析
數據分佈不一致
遷移學習 transfer learning
多任務學習 Multi-task learning
端到端的深度學習系統
好處
壞處
Reference

這門課不是具體的技術，而是幫助你決定如今最有價值作的應該是什麼

正交化 Orthogonalization

簡單的說就是有些調整是不相互影響的，因此能夠分開作

單一評價指標

通常來講有一個單一數值做爲評價指標會更好
若是存在多個指標，通常能夠優化一個，其餘幾個知足必定條件就好
除了通用的一些指標，咱們能夠經過給樣本加權的方式，使得得到更加適合咱們應用的評價指標

保證訓練、驗證、測試的數據分佈一致

不一樣的錯誤

• 任務的理論上限： bayes optimal error
• 人類的水平： human error

假設一個圖像識別的任務

Humans	1%	7.5%
Training error	8%	8%
Dev Error	10%	10%

• 左邊的例子，若是人類的錯誤率是1%，那麼咱們應該關注的是bias
• 右邊的例子，若是說人類錯誤率是7.5%，那麼咱們應該關注的是variance
• 在這個例子中咱們可以用人類錯誤率來代替理論上限是由於人類在圖像識別的任務上作的很是好

錯誤分析

能夠經過手動隨機抽樣分析一些數據，看哪類的數據它出錯最多，從而作針對性改進。

也能夠分析一些他分對的業務和沒對的業務，從而獲得他的不足

數據分佈不一致

數據分佈不一致會致使上面的分析存在問題，因此這時候須要引入相似train-dev機制來實現

遷移學習 transfer learning

典型的就是fine-tunning

多任務學習 Multi-task learning

同時作多個任務，而且這多個任務能夠互相幫助

端到端的深度學習系統

好處

• 充分利用數據
• 設計簡單

壞處

• 須要更多數據
• 沒法利用手工設計的有效特徵（在小數據的狀況下他們多是頗有效的）

Reference

https://github.com/mbadry1/DeepLearning.ai-Summary

來自爲知筆記(Wiz)