神經網絡如何學習分佈式的表示

分佈式表示的概念是深度學習的核心，特別是在它用於自然語言任務時。那些剛剛進入這個領域的人可能會很快將它簡單理解爲代表某些數據的矢量。雖然這是事實，但在更概念化的層面上去理解分佈式表示會增強我們對深度學習的有效性的理解。 爲了研究不同類型的表示方式，我們可以做一個簡單的思考練習。假設我們有一大堆「內存單元」來存儲有關形狀的信息。我們可以選擇用單個存儲單元來表示每個單獨的形狀，如圖1所示。 圖1. 稀

>>阅读原文<<