深度理解嵌入(embedding)層

embedding是一種專門用在NLP領域的單詞編碼技術，目的就是減少資源的浪費，或者調整感知野的大小。它用低維向量表示了編碼，這種編碼方式通過神經網絡優化可以表達出單詞間的關係。 首先從one_hot開始： one_hot的優點：計算方便快捷、表達能力強。 one_hot的缺點：過於稀疏，過於佔用資源，尤其是在數據量特別大時；數據之間完全獨立。

>>阅读原文<<