[學習筆記][深度學習]神經網絡究竟是什麼？

我認爲大腦本質上就是一臺計算機，而知覺和意識則像是計算機程序，也會隨着計算機的關閉（人的死亡）而中止。理論上，這些知覺和意識是能夠從新創造於一個神經網絡中的，可是這太難了，由於這將須要一我的全部的記憶。 ——史蒂芬·霍金

起源

出於對更高生產力的追求，人類從未中止發明新的工具以幫助其更快／更好的完成工做；從而能夠天天什麼都不用作，躺在家裏的沙發上。這些工具備的能夠提升人類的工做效率，有的則能夠替代人類的工做。當下的人們彷佛對於後者更感興趣，才萌生了試圖讓計算機像人類同樣擁有學習能力的想法，使計算機變得更像一個生命體。（生命體具有的特徵：自我複製，不斷學習，自我管理，必定程度自我修復）和其餘不少的發明同樣，神經網絡的發明也一樣來自於大天然帶給人類的靈感。人類的學習／認知／或者決策行爲，其實是羣體行爲，大腦其實爲此亂作一團，而其中個體，則是神經元。神經元與神經元直接或者間接鏈接並保持溝通，神經元如果認爲是時候的話，則會向相應的其餘神經元發送電流進行信號傳輸，隨後可能如同鏈式反應同樣，最終反應到人類最表層的意識。

簡介

隨着計算機運算能力的逐步突破，人類不由試圖將大腦這「天工之做」仿造在計算機之上，也就創造了當今的神經網絡架構。受益於Google Alpha Go和Tesla自動駕駛傷亡事故的媒體傳播，神經網絡這兩年逐漸進入大衆視野，可是其思想實則起源於上世紀40年代，神經元計算模型初次面世。可是因爲最初的神經元模型只能進行正向的傳播運算，並不具有從結果學習的能力，因此不能算做真正的智能。上世紀80年代末，反向傳播算法面世，使得神經網絡可以根據樣本結果反向修正各神經元的計算行爲，從而使得神經網絡真正有了學習的能力。反向傳播也成了神經網絡的核心思想，可是苦於當時並無足夠強大的計算機，該思想和模型並沒可以普遍應用於實際的場景中。而現在，在有了足夠強大的計算能力的狀況下，神經網絡的實現已經能夠走入尋常百姓家，不只驗證了三十年前神經網絡思想的正確性，近年來也有不少新的網絡架構被髮明出來。其在諸多人工智能課題中的表現甚是搶眼，甚至端了不少傳統機器學習算法的飯碗，穩得一X。

稍微技術一點來講，神經網絡能夠被理解爲一個函數，與其餘全部函數同樣，給定輸入參數，便可返回輸出結果。一個複雜神經網絡中可能包含成數以萬計的神經元，而每一個神經元則被模擬爲儲存單個數值的變量。神經元既能夠用做輸入 x，也能夠用做結果 y，神經元之間的信息傳播被模擬成了輸入 x 與神經元之間相連的傳播權重 w 的運算過程。與生物神經元同樣，一般神經元不會直接把上一層傳遞來的信息不加思索地傳給它的下一層神經元，而是通過一番判斷來決定是否進行信號發送以及發送什麼樣的信號，神經網絡將此行爲定義爲神經元的激活。以上圖右側爲例，神經網絡的輸入爲（x1, x2, x3, x4）,則神經元 y 的輸入爲：

y(in) = x1·w1 + x2·w2 + x3·w3 + x4·w4 + b= Σ(xi·wi) + b

其中 b 爲偏重值，神經元 y 的輸入則爲：

y(out) = f(y(in))

其中 f 爲激活函數。

以上描述的就是一個擁有5個神經元的神經網絡（感知器）的一次正向傳播。然而這個神經網絡所計算出來的輸出結果可能並不是所願，由於咱們並不知道權重 w 和偏重 b 的值，目前的這些權重都只是猜想而已。爲了使這個神經網絡正常工做，咱們則須要用大量的輸入以及相對應的已知輸出結果來不斷修正這些值，直到神經網絡可以有比較好的表現。這個過程即爲反向傳播，修正事後的權重和偏重則是神經網絡模型中重要的一部分。

實際應用中，神經網絡一般除了輸入層和輸出層以後，還會有1個或多個隱藏層，用於記錄計算中途的隱性特徵信息，能夠理解爲潛意識，或者腦路。咱們不必定須要知道潛意識裏到底發生了什麼，可是須要它。

成功用例

神經網絡的應用可謂五花八門，凡是模棱兩可，乍看使人抓耳撓腮，卻實際有不少歷史數據的問題，均可以用神經網絡嘗試一下。常見的成功用例有：

• 模式識別
• 商務分析
• 風格遷移
• 自動駕駛
• 吟詩做對
• 機器翻譯
• 內容總結
• 人機AI
• 內容推薦
• 編碼壓縮
• 圖片降噪

盜圖一張（調皮）：

怎麼樣，是否是火燒眉毛想要本身摸一摸

本文及以後

本文的意圖在於開一個坑，省得本身偷懶。將在隨後記錄分享深度學習知識，內容既會包含模型結構和算法原理解析，也會包含具體的神經網絡實現。大體會提到如下網絡類型：

• 深度正向傳播：簡單的分類
• 自動編碼：教會計算機手寫數字
• CNN：圖像識別
• RNN：趨勢預測
• LSTM：語義分析
• GAN：內容生成

下一篇

[深度學習][學習筆記]個人第一個神經網絡：Hello World！