一分鐘搞懂的算法之BPE算法

昨天總結實驗數據分析的時候發現一個機器翻譯的其中的一個腳本，其中用到的算法就是BPE算法，剛開始感覺很高大上的，因爲總是聽到帶上算法帽子的東西就覺得666。等自己好好研究研究，網上各種找資料才知道，其實還挺好理解的，所以真的應了那句老話，眼見爲實呀。   總說 BPE，（byte pair encoder）字節對編碼，也可以叫做digram coding雙字母組合編碼，主要目的是爲了數據壓縮，算法

>>阅读原文<<