一文讀懂BERT中的WordPiece

1. 前言

2018年最火的論文要屬google的BERT，不過今天咱們不介紹BERT的模型，而是要介紹BERT中的一個小模塊WordPiece。

2. WordPiece原理

如今基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在數據預處理的時候都會有WordPiece的過程。WordPiece字面理解是把word拆成piece一片一片，其實就是這個意思。

WordPiece的一種主要的實現方式叫作BPE（Byte-Pair Encoding）雙字節編碼。

BPE的過程能夠理解爲把一個單詞再拆分，使得咱們的此表會變得精簡，而且寓意更加清晰。

好比"loved","loving","loves"這三個單詞。其實自己的語義都是「愛」的意思，可是若是咱們以單詞爲單位，那它們就算不同的詞，在英語中不一樣後綴的詞很是的多，就會使得詞表變的很大，訓練速度變慢，訓練的效果也不是太好。

BPE算法經過訓練，可以把上面的3個單詞拆分紅"lov","ed","ing","es"幾部分，這樣能夠把詞的自己的意思和時態分開，有效的減小了詞表的數量。

3. BPE算法

BPE的大概訓練過程：首先將詞分紅一個一個的字符，而後在詞的範圍內統計字符對出現的次數，每次將次數最多的字符對保存起來，直到循環次數結束。

咱們模擬一下BPE算法。

咱們原始詞表以下：

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}

其中的key是詞表的單詞拆分層字母，再加表明結尾，value表明詞出現的頻率。

下面咱們每一步在整張詞表中找出頻率最高相鄰序列，並把它合併，依次循環。

原始詞表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5}
出現最頻繁的序列 ('s', 't') 9
合併最頻繁的序列後的詞表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5}
出現最頻繁的序列 ('e', 'st') 9
合併最頻繁的序列後的詞表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6}
出現最頻繁的序列 ('est', '</w>') 9
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5}
出現最頻繁的序列 ('l', 'o') 7
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5}
出現最頻繁的序列 ('lo', 'w') 7
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('n', 'e') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('w', 'est</w>') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('ne', 'west</w>') 6
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5}
出現最頻繁的序列 ('low', '</w>') 5
合併最頻繁的序列後的詞表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5}
出現最頻繁的序列 ('i', 'd') 3
合併最頻繁的序列後的詞表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}

這樣咱們經過BPE獲得了更加合適的詞表了，這個詞表可能會出現一些不是單詞的組合，可是這個自己是有意義的一種形式，加速NLP的學習，提高不一樣詞之間的語義的區分度。

4. 學習資料

介紹一些關於WordPiece和BPE的資料供同窗們參考。

• https://github.com/tensorflow/models
• https://github.com/rsennrich/subword-nmt
• tensor2tensor的subword
• seq2seq的bpe
• Neural Machine Translation of Rare Words with Subword Units
• BPEmb: Tokenization-free Pre-trained Subword Embeddings
  in 275 Languages
• BPEmb使用方法

5. 總結

WordPiece或者BPE這麼好，咱們是否是哪裏都能這麼用呢？其實在咱們的中文中不是很適用。首先咱們的中文不像英文或者其餘歐洲的語言同樣經過空格分開，咱們是連續的。其次咱們的中文一個字就是一個最小的單元，沒法在拆分的更小了。在中文中通常的處理方式是兩中，分詞和分字。理論上分詞要比分字好，由於分詞更加細緻，語義分的更加開。分字簡單，效率高，詞表也很小，經常使用字就3000左右。