NLP學習記錄

1、詞向量訓練 先把詞通過字典以One-hot方式轉爲向量，1萬容量的字典，每個詞就有1萬維，只有1個值爲1其餘爲0。 兩種模型： Skip-Gram，通過輸入詞，預測上下文； CBOW(Continuous Bag-of-Words），通過上下文，預測某下詞。 由於輸入、輸出均可以在語料中得到，故可以無監督的訓練出一個隱含層網絡，用於轉化輸入-輸出，這個轉化矩陣就是詞向量。

>>阅读原文<<