深度學習(Deep Learning)綜述

Comments from Xinwei: 本文是從deeplearning網站上翻譯的另外一篇綜述，主要簡述了一些論文、算法已經工具箱。

 

深度學習是ML研究中的一個新的領域，它被引入到ML中使ML更接近於其原始的目標：AI。查看a brief introduction to Machine Learning for AI 和 an introduction to Deep Learning algorithms.

 

深度學習是關於學習多個表示和抽象層次，這些層次幫助解釋數據，例如圖像，聲音和文本。對於更多的關於深度學習算法的知識，查看：

• The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).
• The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.
• The LISA public wiki has a reading list and a bibliography.
• Geoff Hinton has readings from last year’s NIPS tutorial.

這篇綜述主要是介紹一些最重要的深度學習算法，並將演示如何用Theano來運行它們。Theano是一個python庫，使得寫深度學習模型更加容易，同時也給出了一些關於在GPU上訓練它們的選項。

 

這個算法的綜述有一些先決條件。你應該首先知道一個關於python的知識，並熟悉numpy。因爲這個綜述是關於如何使用Theano，你應該首先閱讀Theano basic tutorial。一旦你完成這些，閱讀咱們的Getting Started章節---它將介紹概念定義，數據集，和利用隨機梯度降低來優化模型的方法。

 

純有監督學習算法能夠按照如下順序閱讀：

1. Logistic Regression - using Theano for something simple
2. Multilayer perceptron - introduction to layers
3. Deep Convolutional Network - a simplified version of LeNet5

無監督和半監督學習算法能夠用任意順序閱讀(auto-encoders能夠被獨立於RBM/DBM地閱讀)：

• Auto Encoders, Denoising Autoencoders - description of autoencoders
• Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets
• Restricted Boltzmann Machines - single layer generative RBM model
• Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning

關於mcRBM模型，咱們有一篇新的關於從能量模型中抽樣的綜述：

• HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()

 

 

 

本文翻譯自http://deeplearning.net/tutorial/