***bpe subword（機器翻譯）

我的理解： bpe subword能夠用來解決 「機器翻譯」 中，「未登陸詞」的問題。 所謂「未登陸詞」，是指「測試集/驗證集」中出現 可是 在「訓練集」中沒有出現的 單詞。git 原始的「機器翻譯」是在word-level下進行訓練的。 先用語料庫構建dictionary，給出dictionary中每一個word的編碼。而後，把sentence投入模型進行訓練。github 有一個疑問： 好比：

>>阅读原文<<