一場圍繞着‘Deeping Learning’的高考

Deep Learning的基本思想和方法

實際生活中，人們爲了解決一個問題，如對象的分類（對象但是是文檔、圖像等），首先必須作的事情是如何來表達一個對象，即必須抽取一些特徵來表示一個對象，如文本的處理中，經常用詞集合來表示一個文檔，或把文檔表示在向量空間中（稱爲VSM模型），而後才能提出不一樣的分類算法來進行分類；又如在圖像處理中，咱們能夠用像素集合來表示一個圖像，後來人們提出了新的特徵表示，如SIFT，這種特徵在不少圖像處理的應用中表現很是良好，特徵選取得好壞對最終結果的影響很是巨大。所以，選取什麼特徵對於解決一個實際問題很是的重要。

然而，手工地選取特徵是一件很是費力、啓發式的方法，能不能選取好很大程度上靠經驗和運氣；既然手工選取特徵不太好，那麼能不能自動地學習一些特徵呢？答案是能！Deep Learning就是用來幹這個事情的，看它的一個別名Unsupervised Feature Learning，就能夠顧名思義了，Unsupervised的意思就是不要人蔘與特徵的選取過程。所以，自動地學習特徵的方法，統稱爲Deep Learning。

Deep Learning的基本思想

假設咱們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示爲： I =>S1=>S2=>…..=>Sn => O，若是輸出O等於輸入I，即輸入I通過這個系統變化以後沒有任何的信息損失，保持了不變，這意味着輸入I通過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另一種表示。如今回到咱們的主題Deep Learning，咱們須要自動地學習特徵，假設咱們有一堆輸入I（如一堆圖像或者文本），假設咱們設計了一個系統S（有n層），咱們經過調整系統中參數，使得它的輸出仍然是輸入I，那麼咱們就能夠自動地獲取獲得輸入I的一系列層次特徵，即S1，…, Sn。

另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，咱們能夠略微地放鬆這個限制，例如咱們只要使得輸入與輸出的差異儘量地小便可，這個放鬆會致使另一類不一樣的Deep Learning方法。上述就是Deep Learning的基本思想。

一場圍繞着‘Deeping Learning’的高考

人物

刷題狂：淺層學習

學霸君：Deeping Learning

小白君：簡單分類器

---

情景

兩人要進行一次高考，固然離高考還有些時日，須要進行一些準備。

---

備考

刷題狂考前的作法：買了大量試卷（‘sample’），使勁作啊，爭取能作到全部題都要作過。

學霸君則並不須要大量的試卷，他拿到一些題後一個知識點（‘特徵’）一個知識點去分析，而後記住這中間的方法。

---

開考

刷題狂作着題，作着作着就有點懵了，不少都沒見過，這可怎麼搞那沒辦法了，只能蒙了唄。而學霸君拿到題後將每道題的知識點拎出來後再通過一系列的分析思考就把題作出來了，並且正確率還挺高。最終的結果可想而知。

---

考後

「深度模型」是手段，「特徵學習」是目的

小白君看到這樣的狀況按耐不住了，眼紅的看着學霸君說：厲害了，老哥！怎麼作到的，教教我唄。學霸君洋溢着笑容說：拿去吧，我總結的解題寶典（「特徵」）

結尾

這個段子僅僅是個人一點小總結，如有什麼不對的還望指出。