解釋BERT爲什麼是雙向表示

之前也沒有仔細思考這個問題， 近幾天重新看了一遍BERT模型，發現之前的理解確實有問題，所以過來填坑。 在說明BERT的雙向表示前，先回顧一下常見的雙向表示 網絡結構的雙向 首先區別於biLSTM那種雙向， 那種是在網絡結構上的雙層 例如 biLSTM來進行一個單詞的雙向上下文表示 可以看到， 這種在網絡結構上， 每個單詞都從正向和反向都得到一個表示， 然後將此表示進行連接， 則此時認爲這就是單詞

>>阅读原文<<