無監督預訓練 & 有監督預訓練

本文參考了幾篇其他博客，具體鏈接在對應部分有提供 無監督預訓練（unsupervised pre-training） 無監督預訓練策略，主要應用於「複雜任務+少量標記數據集」，即沒有足夠的訓練集爲我們提供模型訓練支持。這是 Hinton 團隊在2006年提出的技術：A Fast Learning Algorithm for Deep Belief Nets。 這裏有一段對其原理的描述 In SGD

>>阅读原文<<