深度學習——0 神經網絡初探

1.歷史淵源

深度學習(deep learning)和神經網絡(netural networks)這幾年隨着「阿爾法狗」以及ImageNet挑戰賽的興起而被炒得火熱,然鵝這倆大兄弟已經不是生面孔了,而能夠算是「老傢伙了」。早在1943年,McCulloch and Pitts就設計了一個簡單的神經元模型。之因此叫作神經元模型,是由於它的工做原理是模仿人類的大腦神經元。人類大腦中約有1000億個神經元,互相之間的鏈接突觸可達100萬億個。神經元有兩種形態——興奮或者抑制,興奮就會把電信號傳遞給下一個神經元。經過數以億計的神經元互相做用,最終使咱們人類擁有了高級智慧。而神經元模型工做原理很簡單,它也有兩種狀態——興奮(標1)跟抑制(標0)。而之因此近幾年深度學習跟神經網絡開始普遍進入人們的視野是由於深度學習須要強大的計算能力跟足夠的數據的支撐,之前因爲技術跟數據的限制,因此沒能發揚光大,因此科技是第一輩子產力算法

                                                                   

2.工做原理

如上圖中所示,只有一層一個神經元,多個輸入,咱們能夠經過y=wx+b求和獲得一個數值,而後經過激活函數(圖上是sigmoid函數;激活函數做用是把數值壓縮在必定範圍內,同時權重或者偏移的細小改變可以輕微影響到網絡輸出,這樣能夠更好的訓練權重跟偏移)把該數值轉爲0-1以前的一個數,咱們能夠定義大於0.5爲興奮,小於0.5爲抑制,這樣就模擬了一個神經單元的工做過程。網絡

固然,神經網絡是由多個神經單元、多層神經結構構成的(下圖是一個簡單的前饋 神經網絡),根據神經網絡定義的不一樣能夠分爲卷積神經網絡、循環神經網絡以及各類變體等等,可是思想是不變的。函數

3.算法核心

深度學習一個強大之處是不用人工調整大量的參數,由於不少參數是模型本身根據大量的數據主動學習的!學習

主動學習的法寶就是偏差逆傳播(BackPropagation,簡稱BP),經過損失函數(Loss Function,用於描述模型輸出值與真實值的差別)數值最小的原則,對各層輸入向量求偏導,不斷更新權重跟偏移的數值,最終求得參數的最優解——即模型輸出很接近與真實輸出。固然,如何更有效的學習,如何防止過擬合與欠擬合以及局部最優狀況的出現也是一個很重要的問題,下次再詳細討論。設計

相關文章
相關標籤/搜索