人工神經網絡學習筆記

ps:沒有開始寫具體內容如今只是把所涉及到的內容大概的框架整理出來了segmentfault

等晚上回家整理bash


人工神經網絡(Artificial Neural Network,ANN)

簡稱神經網絡(Neural Network,NN)或類神經網絡,在機器學習和認知科學領域,是一種模仿生物神經網絡(動物的中樞神經系統,特別是大腦)的結構和功能的數學模型或計算模型,用於對函數進行估計或近似。是一種自適應系統,具有學習能力。網絡

------------------------------------------------------------------------------------------------
框架

下面就對神經網絡進行復習機器學習


神經網絡的組成神經元


人腦中神經細胞約有860億個,無數的神經元構成了神經網絡。函數

神經元模型是一個包含,輸出與計算功能的模型。神經元的主要的做用是接受輸入信號,當輸入知足條件,輸出信號。學習

對於神經元咱們能夠分步理解google

上面這張圖說的是最初步的神經元的構造
spa

簡單的說咱們有三個條件x1 x2 x3 .net

x1 --> 體溫

x2 -->身體在運動

x3 --> 空氣溫度


若是三個條件的合計大於50,就會輸出(output)身體出汗的信號,不然不輸出信號。

公式爲:y = x1 + x2 + x3 - 50(若是y>0輸出信號,不然相反) 複製代碼


在這裏要介紹一下權重w:

權重是一個相對的概念,是針對某一指標而言。某一指標的權重是指該指標在總體評價中的相對重要程度。

 打個比方說, 一件事情, 你給它打100分, 你的老闆給它打60分, 若是平均, 則是(100+60)/2=80分。但由於老闆說的話份量比你重, 假如老闆的權重是2, 你是1, 這時求平均值就是加權平均了, 結果是(100*1 + 60*2)/(1+2)=73.3分, 顯然向你的老闆那裏傾斜了。假如老闆權重是3,你的權重是1,結果是(100*1+60*3)/(1+3)=70。這就是根據權重的不一樣進行的平均數的計算,因此又叫加權平均數。


對於咱們上面的問題咱們能夠添加權值,簡單的說身體在運動的話容易出汗的比率大於另在兩個條件咱們就能夠添加相應的權值。

公式爲:y = x1*w1 + x2*w2 + x3*w3 - 50(若是y>0輸出信號,不然相反) 複製代碼


神經元的概念大概以下:

神經元= 感知器 (  )+ 觸發器( 經過閾值b 判斷是否輸出 )複製代碼




  • a1~an爲輸入向量的各個份量
  • w1~wn爲神經元各個突觸的權值
  • b爲偏置
  • f爲傳遞函數,一般爲非線性函數。通常有traingd(),tansig(),hardlim()。如下默認爲hardlim()
  • t爲神經元輸出


到這裏大概就能夠說神經元就能夠說完,可是單個神經元構成的決策模型不能知足真實世界中的問題,實際的決策模型要複雜不少是由多個神經元組成多層網絡。

你們能夠考慮一下,w(權重) b(閾值)這兩個值要怎麼決定纔是最優值?



典型的人工神經網絡具備如下三個部分:

------------------------------------------------------------------------------------------------

結構

結構指定了網絡中的變量和它們的拓撲關係。例如,神經網絡中的變量能夠是神經元鏈接的權重(weights)和神經元的激勵值(activities of the neurons)。



------------------------------------------------------------------------------------------------

激勵函數 (Activation Rule)


zh.wikipedia.org/wiki/%E5%A4…





------------------------------------------------------------------------------------------------

損失函數(loss function)

錯誤反饋的量化

www.zhihu.com/question/52…


------------------------------------------------------------------------------------------------

梯度降低法又名傾斜降低法(Gradient descent)

找到最小偏差

ko.wikipedia.org/wiki/%EA%B2…

www.jianshu.com/p/c7e642877…

導數

baike.baidu.com/item/%E5%AF…

微分

zh.wikipedia.org/wiki/%E5%BE…



------------------------------------------------------------------------------------------------


逃離鞍點


blog.csdn.net/BVL10101111…

www.offconvex.org/2016/03/22/…

www.offconvex.org/2016/03/24/…

鞍點



zh.wikipedia.org/wiki/%E9%9E…


------------------------------------------------------------------------------------------------

實現-->keras




框架 :TensorFlow 2.0 


www.tensorflow.org/install/

-----------------------------------------------------     ----------------------------------------

神經網絡的優缺點

以及本身的想法

segmentfault.com/a/119000001…



------------------------------------------------------------------------------------------------

樸素貝葉斯分類器

zh.wikipedia.org/wiki/%E6%9C…


blog.csdn.net/google19890…

相關文章
相關標籤/搜索