強人工智能：抑制神經元的意義

版本：0.1 

 

在計算機中，二進制是最基本的計數單元，這也是可以表達信息所使用的最小進制。而實際上當今大部分計算機的CPU計算的帶寬已經到了32或者64位，而內存、顯卡的芯片位數已經提升到了256，甚至更高。這些數字都是二進制的倍數，因此能和二進制很容易的轉換。二進制是由1和0組成的，咱們能夠給不一樣的1和0不一樣的含義。一般狀況下1和0就是「有」和「無」。不多會用來表達，「正」和「負」。「正負」一般是在「1」和「0」的基礎之上構建的概念，而不是直接用「1」和「0」來表達。好比通常計算機內用數個字節表示一個數字，只用最高字節的最高位做爲符號位，即正負。其它位都用來表達數值自己。

 

人腦中的處理數據的進制是多少呢？人腦是一個模擬的計算系統，不是爲了精確的數值計算優化的。從細胞層面來看，每一個神經元細胞有成千上萬的鏈接，能夠認爲是沒法衡量的。假設神經元整合的結果只有「有」和「無」，則能夠看做是二進制的。但神經元內部也許不是簡單的1和0，內部可能會對輸入的信號進行累計。而不像普通計算機同樣，每次計算完後就重置狀態。

 

人腦中的神經元在整合信號後，若達到了閾值則會發出信號。而發出的信號有些可能會讓下一級繼續發出信號，有些則會減少下一級發出信號的可能性。這些能發出減弱下一級信號的神經元就是抑制神經元。在生物中，抑制信號是依靠不一樣的介質實現的，在計算機中若是要實現抑制，能夠依靠正負值來實現。

那麼抑制神經元的意義是什麼呢？假設神經網絡中有足夠的能量，且網絡已經充分發展了，不會產生振盪。當輸入信號不斷進入時，神經網絡也在不停地進行計算。假設系統中沒有抑制神經元，大部分神經元在不停地響應外界的輸入，在達到閾值時產生輸出。咱們先從單個神經元的思考層次上提升，思考一下大規模神經元的行爲。在信號不停的輸入下，網絡的能量在不停的轉換，信號在不停的往正確的目的神經元傳送。一旦信號到達了正確的目的神經元，則系統可以正確的響應輸入了，要麼整個系統的知識更新完成了，要麼開始產生輸出了。至此爲止，尚未什麼問題。但下一個輸入多是和當前的內容風馬牛不相及的，整個系統須要對新的信息進行新的處理。這時候因爲沒有抑制神經元，整個神經系統的狀態轉換可能就會滯後，從而沒法對外界輸入及時響應。

 

咱們也能夠從邏輯和現實世界上推導出抑制神經元的意義。假設有一個軌道，上面有個小車。這個小車可在軌道上前、後移動，且移動中會有必定的摩擦力。假設只能給軌道上的小車向前的力。那麼小車能夠按照須要向前運動，從而到達遠處的目的地。假設須要讓小車停在離目的地必定偏差範圍內的位置，要麼在給小車向前的推力時精確計算從而使小車可以正好在目的地附近使得推力和阻力相抵消而停下來，要麼經過施加阻力來精確控制小車的前進速度，甚至讓其倒退來到達目的地。由此看到，若是隻能對小車施加推力，即便經過用很小力度的不斷嘗試，也有可能一會兒超過了目的地，一旦超過則沒法回退。而在能對小車施加阻力的狀況下，不須要太精確的控制力度，在推力、阻力的不斷迭代下，最終是可以將小車停在目的地上的。在真實狀況中，摩擦力可能不是恆定的，每次預計施加的推力和實際的推力可能也不一致，若是僅經過調整推力來控制小車停下來的位置是很是難的。由此，抑制機制的好處顯而易見，它能夠大大下降計算複雜度，從而經過較粗糙的控制和簡單的計算迭代出較精確的結果。

 

除了可以減小計算複雜度外，再來看看抑制神經元在神經網絡中其它可能的做用。神經網絡有一個很重要的功能，就是聯想。小範圍的聯想也可稱其爲預測。聯想是智能很重要的一個功能和表現。若是一個系統沒有聯想和預測功能，基本就只能滯後地處理輸入，無法稱其爲智能系統，或者可認爲外界沒法知道其是一個智能系統。而抑制神經元在聯想的過程當中可用做整合和比較聯想、預測結果，及時「剎車」。從而讓系統可以在預測失敗後可以儘快調整，以便基於新的輸入進行新的預測，從而有機會提早產生響應。聯想也是如此，經過抑制神經元屏蔽掉無用的聯想，使得選擇出的神經元可以更快的和上下文聯繫起來。

 

問題是，抑制神經元是如何產生的？有兩種可能性：1）也許在大腦生長過程當中，抑制神經元就以必定的比例出現了，它們和普通神經元的自組織形式相似，惟一區別是它們的輸出的是抑制信號。2）另外一種可能性是抑制神經元是一些普通神經元轉化而來。可能有某種刺激的存在，從而形成其發生質的變化。這種假設的挑戰是，若是一個神經元轉化成了抑制神經元，那麼它的全部突觸的意義就翻轉了。這個翻轉是否有現實意義呢？

在神經網絡中，抑制神經元也許表明着某一類特殊的模式。當發現某些模式在很大規模下仍然沒法有效的完成任務，就能夠經過添加抑制神經元的方法來優化。但這種方法的前提是依靠全局的優化，而不是神經元的自組織的方法。神經元自組織時也許很難發現長程上的問題，但不少規模上的效率也許是能在單個神經元的做用範圍內判斷出來的。