【讀論文】Hash Embeddings for Efficient Word Representations

abstract Hash Embedding可以看作是普通word embedding 和通過隨機hash 函數得到的詞嵌入的interposition (插補)。 在Hash Embedding中,每個token由k個d維embedding vectors和一個k維weight vector表示,token的最終d維表示是兩者的乘積。 實驗表明,Hash Embedding可以輕鬆處理包含數百
相關文章
相關標籤/搜索