深度學習與神經網絡：最值得關注的6大趨勢

摘要： 深度學習與神經網絡中最值得關注的6大趨勢，您都清楚麼？

神經網絡的基本思想是模擬計算機「大腦」中多個相互鏈接的細胞，這樣它就能從環境中學習，識別不一樣的模式，進而作出與人類類似的決定。

典型的神經網絡是由數千互連的人工神經元組成，神經元是構成神經網絡的基本單位。這些神經元按順序堆疊在一塊兒，以稱爲層的形式造成數百萬個鏈接。單位劃分以下:

1. 輸入單元：用於接收外部環境的信息；
2. 隱藏單元：隱藏層將所需的計算及輸出結果傳遞給輸出層；
3. 輸出單元：輸出信號代表網絡是如何響應最近得到的信息。

多數神經網絡都是「全鏈接的」，也就是說，每個隱藏單元和輸出單元都與另外一邊的全部單元相鏈接。每一個單元之間的鏈接稱爲「權重」，權重可正可負，這取決於它對另外一個單元的影響程度。權重越大，對相關單元的影響也就越大。

前饋神經網絡是一種最簡單的神經網絡，各神經元分層排列。每一個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層，各層間沒有反饋。是目前應用最普遍、發展最迅速的人工神經網絡之一。

下面將就神經網絡與深度學習發展的幾大重要趨勢進行討論：

膠囊網絡（Capsule Networks）

膠囊網絡是一種新興的深層神經網絡，其處理信息的方式相似於人腦。

膠囊網絡與卷積神經網絡相反，雖然卷積神經網絡是迄今爲止應用最普遍的神經網絡之一，但其未能考慮簡單對象和複雜對象之間存在的關鍵空間層次結構。這致使了誤分類並帶來了更高的錯誤率。

在處理簡單的識別任務時，膠囊網絡擁有更高的精度，更少的錯誤數量，而且不須要大量的訓練模型數據。

深度強化學習（Deep Reinforcement Learning, DRL）

深度強化學習是神經網絡的一種形式，它的學習方式是經過觀察、行動和獎勵，與周圍環境進行交互。深度強化學習已經被成功地用於遊戲策略的制定，如Atari和Go。AlphaGo擊敗了人類冠軍棋手，是深度強化學習最爲著名的應用。

數據加強（Lean and augmented data learning）

到目前爲止，機器學習與深度學習遇到的最大挑戰是：須要大量使用帶標籤的數據來訓練系統。目前有兩種應用普遍的技巧能夠幫助解決這個問題：

（1）合成新的數據

（2）遷移學習

「遷移學習」，即把從一個任務或領域學到的經驗遷移到另外一個任務或領域，「一次學習」指遷移學習應用到極端狀況下，在只有一個相關例子，甚至沒有例子的狀況下學習。由此它們成爲了「精簡數據」的學習技巧。與之相仿，當使用模擬或內插合成新的數據時，它有助於獲取更多的訓練數據，於是可以加強現有數據以改進學習。

經過運用上述技巧，咱們可以解決更多的問題，尤爲是在歷史數據較少的狀況下。

監督模型（Supervised Model）

監督模型時一種學習形式，它根據預先標記的訓練數據學到或創建一個模式，並依此模式推斷新的實例。監督模型使用一種監督學習的算法，該算法包括一組輸入和標記正確的輸出。

將標記的輸入與標記的輸出進行比較。給定二者之間的變化，計算一個偏差值，而後使用一個算法來學習輸入和輸出之間的映射關係。

網絡記憶模型（Networks With Memory Model）

人類和機器的一個典型區別在於工做和嚴謹思考的能力。咱們能夠對計算機進行編程，使其以極高的準確率完成特定的任務。可是若是咱們想要它在不一樣的環境中工做，還有須要解決不少問題。

要想使機器適應現實世界的環境，神經網絡必須可以學習連續的任務且不產生「災難性忘卻（catastrophic forgetting）」，這便須要許多方法的幫助，如：

1. 長期記憶網絡（Long-Term Memory Networks）：它可以處理和預測時間序列
2. 彈性權重鞏固算法（Elastic Weight Consolidation, EWC）：該方法可以選擇性地減慢對這些任務而言比較重要的權重的學習速率
3. 漸進式神經網絡（Progressive Neural Networks）：不會產生「災難性忘卻」，它可以從已經學會的網絡中提取有用的特徵，用於新的任務

混合學習模式（Hybrid Learning Models）

不一樣類型的深度神經網絡，例如生成式對抗網絡（GANs）以及深度強化學習（DRL），在性能提高和普遍應用方面展示了了巨大的潛力。不過，深度學習模型不能像貝葉斯機率那樣爲不肯定性的數據場景建模。

混合學習模式結合了這兩種方法的優點，典型的混合學習模式包括貝葉斯生成對抗網絡（Bayesian GANs）以及貝葉斯條件生成對抗網絡（Bayesian Conditional GANs）。

混合學習模式將商業問題的範圍擴大，使其可以解決具備不肯定性的深度學習問題，從而提升模型的性能，加強模型的可解釋性，實現更加普遍的運用。

本文做者：【方向】

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。