ELMo模型

1. 前言

ELMo模型是2018年3月份提出的，模型會根據上下文來推斷每個詞對應的詞向量，能夠根據語境來對多義詞理解。

2. ELMo模型

雙向LSTM語言模型：

如果LSTM有L個輸入節點，那麼，BiLM會有2L+1和向量。

BiLSTM向量的加權和：

---

參考：

1. Deep contextualized word representations