學習觀（二）——人工智能入門理解

前提/背景知識：

 

本圖是全部ML和DL的切入口

黑盒應該指代T，而經過對E和F的處理（構造新的評價函數、特徵工程等），來優化這個預測P

 

 人類天生的四種能力

但在學校考試卻僅僅強化了記憶與分析兩方面的能力，大大弱化了聯想和創新的能力。

而聯想能力的高低會對記憶和分析能力訓練的成本有強反饋做用，有的人觸類旁通，有的人死記硬背就在於此；有的人說兩句就能上手，但有的人卻要考題海戰術、趕鴨子上架。

創新能力則是在前三者基礎作出價值取向，即朝着更適應環境的方向發展，好比社會xxx，又好比瓦特改良蒸汽機。

 

本文思路：

 

什麼是學習：

 智能的核心內容——關聯能力

 

其中L是損失函數即對原有評價函數（好比，人腦現有認知）的調整。

霍金：Intelligence is the ability to adapt to change.

總結：學習就是對環境的適應和自我提高的過程！

 

 第二步：尋找F

方向一：加入更多數據-數據驅動

方向二：加入先驗知識，調整假設空間-參數驅動

 方向三：再也不被動獲取數據而是主動適應環境-任務驅動（本文暫不涉及）

參數驅動和任務驅動的區別，參數驅動主要任務學習是學習關聯f，而任務驅動是在學習f的同時也要學習E（主動適應環境）！並且現有的參數驅動都很難處理高級突變論的問題~

 

 

深度神將網絡爲何比數據驅動的方法高效

一、因素（參數）共享：

表述1：新狀態由若干舊狀態並行組合造成。

表述2：會對變體（複雜組合）進行拆分，其低層權重（參數/因素，準確說應該是子系統）會被共用。可間接加強-關聯性/先驗性/並行性

 

二、迭代變換 ：在淺層網絡中只負責學習本身的關聯，  而在深層網絡中，那些共用相同因素的樣本也會被間接的訓練到。

 

天然界的先驗知識：

並行：新狀態由若干舊狀態並行組合造成。

迭代：新狀態由已造成的狀態再次迭代造成。

 

小結：

（1）神經網絡的高效：「學習的過程是因素間關係拆分，關係的拆分是信息的回捲，信息的回捲是變體的消除，變體的消除是不肯定性的縮減」

（2）ANN的變體-RNN、CNN就是提供了更多的十分具備針對性的先驗知識，能夠縮小搜索的可能性空間，排除掉那些噪音的規律所帶來的額外干擾。

 

 設計深度神經網絡理念與原則

 設計DL的關鍵在於如何拆分與合併——演化出一個能更好關聯T的F的。

通俗的說就是，如何共享這些參數的，這個網絡框架又是由什麼子系統組成。

 

 

今後角度出發：

注意：  所謂「層」（layer）不是圖片中的幾個圈，而應該是一個狀態（時空）到另外一個狀態|（時空）的變化！

（1）卷積並不針對畫面識別，循環也不只針對時序信號，實質-RNN是時間共享，CNN是空間共享！

時間共享：不一樣時刻的狀態都具備相同規則，這也是物理世界的規律。具體的說，循環層有兩個共享，一個是從輸入流獲得Wh，另外一個是信息流是從上一個時刻的狀態獲得的Wxh。

空間共享：不一樣區域的狀態都具備相似的規則。好比一幅畫，雖然畫面顏色斑斕，可是每一個部分之間都是有必定關聯的。

 

（2）殘差網絡實現不一樣層之間的組合而不是本層與下一層的簡簡單單I/O關係-跨層組合

（3）Distribution（蒸餾模型，相似於RL裏面的IRL-模擬學習）是標籤共享 ！屬於遷移學習但又有區別。

（4）遷移學習就是f1（部分層的權重）的共享：

 

多任務還會有數據上共享：

做用：約束f更快收斂，擴充數據集。

 

 

過擬合處理策略

 

 參考資料：

https://github.com/YJango/tensorflow_basic_tutorial