LSTM結構

LSTM結構 上節介紹的RNN模型，存在「長期依賴」的問題。模型在預測「大海的顏色是」下一個單詞時，很容易判斷爲「藍色」，因爲這裏相關信息與待預測詞的位置相差不大，模型不需要記憶這個短句子之前更長的上下文信息。但當模型預測「十年前，北京的天空很藍，但隨着大量工廠的開設，廢氣排放監控不力，空氣污染開始變得越來越嚴重，漸漸地，這裏的天空變成了」下一個單詞時，依靠「短期依賴」就不能很好的解決這類問題，因

>>阅读原文<<