李宏毅-ELMO, BERT, GPT講解筆記

背景知識 NLP 中詞的表示 one-hot embedding(1-of-N Encoding) 缺點：詞彙之間的關聯沒有考慮，因爲不同詞之間的距離都是一樣的 word class word embedding(word2vec) 缺點：一詞多義的問題無法解決 Have you paid that money to the bank yet? They stood on the river ba

>>阅读原文<<