機器學習是如何區分貓和狗的？

最近人工智能方面最重要的發展之一就是機器學習了。它主要着眼於智能，而不是傳統計算機程序意義上指定機器作什麼東西，也就是說機器本身能夠學習，這樣它就能夠直接從經驗（或者數據）中學會如何處理複雜的任務。

即便是很簡單的機器學習算法也能區分照片上的貓和狗

伴隨着計算機速度的提升和算法的進步，機器學習的發展也很是迅速。從中衍生的算法已經對咱們的生活形成了深入的影響，並且有時候比人類作得更好。那麼問題來了，機器學習究竟是如何工做的？

從經驗中學習

在一個機器學習系統中，計算機經過本身給本身編代碼來完成一個任務，它通常是由基於這個任務的大量的數據來訓練的。其中很大一部分涉及識別這些任務中的模式，而後根據這些模式作出決策。舉一個（有點嚇人）的例子，假設你的公司想要招聘一個新員工。你作了廣告，而後有1000我的想來應聘，他們每一個人都發了一份簡歷。你須要篩選這些簡歷，可是1000份簡歷也太多了吧，因此你就想訓練一個機器來作這件事。

爲了保證這件事有必定的可行性，假設你有之前招聘時收到的簡歷。每一份簡歷都有被錄用或沒有被錄用的記錄。你把這些簡歷的一半用來訓練機器，讓它發現這些簡歷是否被成功錄用的模式。所以，若是你給機器一份簡歷，它就能知道這份簡歷是否能夠被錄用。訓練完機器，你用另外一半的簡從來作測試。假設成功率很高，你就會相信機器能夠勝任篩選簡歷的工做了。在上述的每個階段，都沒有人的干預。這樣的一個過程，以如今的計算機的能力是徹底能夠作到的。

基本要點

爲了讓機器學習的過程更加透明化，咱們用開發可識別手寫數字的機器的很是具體的例子來考慮模式識別的問題。這樣的機器應該可以作到：無論一個手寫的數字寫得怎麼樣，它都能識別出來。

即便對人類來講，手寫的數字都能可貴像密文同樣

數字識別有兩個階段。首先，咱們把圖像掃描進機器，而後從數字圖像中提取重要的數據信息。這一般使用主成分分析（PCA）的統計方法，它能夠自動提取一個圖像的主要特徵，好比高度和寬度，再好比圖像中的交叉的點的個數，等等。這個過程與找一個矩陣的特徵值和特徵向量緊密相關，和谷歌用於在網絡上搜索信息的過程也很像。

第二，咱們要訓練機器利用這些提取的信息來學習辨別數字。完成這個過程的一個很廣泛的方法就是神經網絡。這個技術基於咱們對大腦如何工做的認識。第一步是，創造大量的「神經元」並把它們互相鏈接。這些神經元能夠互相發送信息。第二步，讓神經網絡去求解大量的結果已知的問題。經過這個過程，它就「學會」了神經元之間應該如何鏈接，因此它就能成功地識別數據中哪些模式能夠產生正確的結果。

這種神經網絡的早期例子是稱爲感知器的單層系統，它能夠模擬單個神經元。 感知器的概念是Frank Rosenblatt在1962年提出的。感知器的典型結構以下所示。

感知器有n個輸入，從X1，X2到Xn,每一個輸入都乘以一個權重因子Wi再相加，和爲

若是這個結果比某個臨界值C大，就返回1，不然，就返回0。

就是說，當

就返回1，而

就返回0。

在咱們的例子中，Xi就是提取的圖像的特徵，決策就是 這個數字是3仍是4。訓練感知器的過程包括找到合適的權重因子wi和臨界值C使得感知器識別到正確的數字。要作到這一點，須要謹慎使用基於統計的數學優化算法。

一個例子

舉個例子，設想咱們只從圖像中提取兩個特徵X1，X2，X1能夠是圖像中直線的數目，X2是圖像中交叉點的數目。每一個手寫的數字3和4都有這兩個值，這樣就能夠在座標中表示出來。因爲數字「3」中沒有直線也沒有交叉的點，因此就可能對應接近座標（0，0）的點。而數字「4」中有三條直線和一個交叉的點，因此它在座標中對應（3，1）附近的點。

這樣一來，感知器中計算的和就是

對一個給定的w1,w2和C，令方程等於0就決定了一條直線l。若是，使用圖像來訓練機器，感知器設法找到w1,w2和C的值使得l能夠把3和4對應的點所有分開，以下圖所示，這樣它就能夠有很大機率能夠正確識別一個新的圖像中的數字是3仍是4。若是存在這樣的一條直線l，這樣的數據就叫作線性可區分。

設想紅色的點來自圖像中的數字「3」，藍色的點來自數字「4」。若是算法使用C=2,X1=X2=1,這樣加權和等於0對應的直線如圖所示。對於藍色的點來講，它對應的加權和大於0，對於紅色的點來講，其對應的加權和小於0，因此算法總能給出正確的結果。

若是數據點不能被一條直線分開——若是數據不是線性可區分的——你能夠在更高的維度上作這件事並但願在更高的維度上它們是線性可區分的。一個很是簡單的例子，你能夠把點畫到屏幕之外的地方，畫在三維的空間中。固然了，實際上一般都會使用更復雜的辦法。另外，若是你從圖像中提取的特徵不僅是兩個，也能夠在更高的維度上使用相同的辦法。

感知器的方法在區分貓和狗方面也適用。

這些圖演示了隨着可得到的數據的增長，算法如何更新直線的選擇（也就是，常數C和W1，W2）

神經網絡和深度學習

簡單的感知器能夠被訓練作不少簡單的任務，但很快就達到它的極限了。很明顯，經過將許多感知器耦合在一塊兒能夠實現更多，但這種發展必須等待更強大的計算機的出現。 當感知層鏈接在一塊兒產生神經網絡時，取得了重大突破。 這種神經網絡的典型結構以下所示。 在這種狀況下，輸入組合以觸發第一層感知器。 這些輸出組合起來觸發下一層，最後這些組合起來給出輸出。

層數越多，就能夠擁有「更深層次」的網絡。 而後經過爲上面的每一個鏈接分配權重來訓練這樣的網絡。 這個過程有點相似於大腦增強或減弱神經通路的方式。 深度學習描述了訓練這種神經網絡的過程。

因爲新的數學優化算法的發展，結合普遍的（谷歌的DeepMind更普遍）計算機能力，如今已經能夠作到。 在爲網絡找到合適的權重Wi的過程結束時，你會有一個黑盒子，它能夠很是快速地運行而且能夠作決策。

不一樣的方法

如今咱們再來關注學習過程的更多細節。對於一個神經網絡來講有不少不一樣類型。

在有監管學習中，由網絡的使用者預先提供一組示例輸入和輸出對。而後，學習方法要找到一個神經網絡，該網絡提供與示例匹配的輸出。將神經網絡的輸出與示例的輸出進行比較的經常使用方法是找出正確輸出和實際輸出之間的均方偏差。而後訓練網絡以使該偏差最小化。它的一個很是標準的應用是在統計學中的曲線擬合，但它也一樣適用於手寫識別和其餘模式識別問題。

在強化學習中，數據不是由用戶預先給出的，而是由神經網絡控制的機器與環境的相互做用及時產生的。在每一個時間點，機器對環境執行動做，該動做產生觀察以及該動做的成本。訓練網絡使它能夠選擇最小化總成本的動做。在許多方面，這個過程相似於人類（尤爲是幼兒）的學習方式。

爲了學習下象棋，alpha zero 和本身下了700000局

近年來，機器學習的數學算法取得了很大進展。 卷積神經網絡（CNN）是這些方法的一個使人興奮的新的擴展，同時它也很是重要。它將圖像處理技術與深度神經網絡相結合。 它們可用於人臉識別，甚至可用於檢測情緒。 它們如今被用於許多其餘應用，包括醫學診斷。

爲了學習如何順利下棋，AlphaZero使用了深度卷積神經網絡。 這是使用強化方法訓練的，機器與本身進行了700,000場比賽，時間超過24小時。 通用蒙特卡羅樹搜索（MCTS）算法用於分配權重。 在學習如何玩將棋和圍棋時，也使用了相似的方法，而且在每種狀況下都達到了相同的水平。使人印象深入！

隨着更快的訓練算法和愈來愈多的數據的推進，誕生了更復雜、更深層次的網絡，這讓機器學習進展迅猛。 但讓機器去作可能改變生命的決定（例如醫療診斷）是否安全並且符合倫理道德？

文章的最後部分，咱們放送乾貨。其實機器學習的優質資源很是多。小編也是翻遍瀏覽器收藏夾，也問同事取了取經把公司之前一塊兒研究的論文筆記整合了一部分資源羅列