工業界求解NER問題的12條黃金法則

衆所周知，命名實體識別（Named Entity Recognition，NER）是一項基礎而又重要的NLP詞法分析任務，也每每做爲信息抽取、問答系統、機器翻譯等方向的或顯式或隱式的基礎任務。在不少人眼裏，NER彷佛只是一個書本概念，跟句法分析同樣存在感不強。一方面是由於深度學習在NLP領域遍地開花，使得智能問答等曾經複雜的NLP任務，變得能夠端到端學習，因而分詞、詞性分析、NER、句法分析等曾經的顯式任務都隱式地編碼到了大型神經網絡的參數中；另外一方面，深度學習流行以後，NER問題相比以前有了比較長足的進步，LSTM+CRF的模式基本成爲業內標配，不少人認爲「這個事情應該差很少了」。

但！是！

真正在工業界解決NLP業務問題的NLPer，每每發現事情遠無法這樣輕描淡寫。在真實的工業界場景中，一般面臨標註成本昂貴、泛化遷移能力不足、可解釋性不強、計算資源受限等問題，想要將NER完美落（bian）地（xian）可不簡單，那些在經典benchmark上自稱作到SOTA的方法放在現實場景中每每「也就那樣」。以醫療領域爲例：

1. 不一樣醫院、不一樣疾病、不一樣科室的文本描述形式不一致，而標註成本又很昂貴，一個通用的NER系統每每不具有「想象中」的泛化遷移能力。當前的NER技術在醫療領域並不適合作成泛化的工具。
2. 因爲醫療領域的嚴肅性，咱們既要知其然、更要知其因此然：NER系統每每不能採用「一竿子插到底」的黑箱算法，處理過程應該隨着處理對象的層次和深度而逐步疊加模塊，下級模塊使用上級結果，方便進行迭代優化、並具有可解釋性，這樣作可解耦醫學事件、便於進行醫學實體消歧。
3. 僅僅使用統計模型的NER系統每每不是萬能的，醫療領域相關的實體詞典和特徵挖掘對NER性能也起着關鍵做用。此外，NER結果每每不能直接使用，還需進行醫學術語標準化。
4. 因爲醫院數據不可出院，須要在院內部署NER系統。而一般醫院內部的GPU計算資源又不是很充足（成本問題），咱們須要讓機器學習模型又輕又快（BERT上不動哇），同時要更充分的利用顯存。
   以上種種困難，致使了工業界場景求解NER問題時都難以作到BERT finetune一把就能把問題解決，總之

那些口口聲聲遇事不決上BERT的人們，應該像我同樣，看着大家在NER問題上翻車

幾天前，賣萌屋的天然語言處理討論羣內就命名實體識別問題進行了一番激烈的討論，因爲討論持續了接近2小時，這裏就不貼詳細過程了（省略8k字）。

通過一番激烈的辯論，最後賣萌屋的做者傑神（JayLou婁傑）就討論中出現的若干問題給出了工業界視角下的實戰建議（每一條都是實打實的實戰經驗哇）。

傑神首先分享了他在醫療業務上作NER的七條經驗教訓：

• 提高NER性能（performance）的⽅式每每不是直接堆砌⼀個BERT+CRF，這樣作不只性能不必定會好，推斷速度也很是堪憂；就算直接使用BERT+CRF進行finetune，BERT和CRF層的學習率也不要設成同樣，讓CRF層學習率要更大一些（通常是BERT的5～10倍），要讓CRF層快速學習。
• 在NER任務上，也不要試圖對BERT進⾏蒸餾壓縮，極可能吃⼒不討好。
• NER任務是⼀個重底層的任務，上層模型再深、性能提高每每也是有限的（甚至是降低的）；所以，不要盲目搭建很深的網絡，也不要癡迷於各類attention了。
• NER任務不一樣的解碼方式（CRF/指針網絡/Biaffine[1]）之間的差別其實也是有限的，不要過度拘泥於解碼⽅式。
• 經過QA閱讀理解的方式進行NER任務，效果也許會提高，但計算複雜度上來了，你須要對同⼀⽂本進行屢次編碼(對同⼀文本會構造多個question)。
• 設計NER任務時，儘可能不要引入嵌套實體，很差作，這每每是一個長尾問題。
• 不要直接拿Transformer作NER，這是不合適的，詳細可參考TENER[2]。
  以後，傑神在羣裏分享了工業界中NER問題的正確打開⽅式：

很是直接的1層lstm+crf！
注：本文所說的lstm都是雙向的。

如何快速有效地提高NER性能？ 若是這麼直接的打開方式致使NER性能達不到業務目標，這一點也不意外，這時候除了badcase分析，不要忘記一個快速提高的重要手段：規則+領域詞典。在垂直領域，一個不斷積累、不斷完善的實體詞典對NER性能的提高是穩健的，基於規則+詞典也能夠快速應急處理一些badcase；對於通⽤領域，能夠多種分詞工具和多種句法短語⼯具進行融合來提取候選實體，並結合詞典進行NER。此外，怎麼更好地將實體詞典融入到NER模型中，也是一個值得探索的問題（如嵌入到圖神經網絡中提取特徵[3]）。

2. 如何在模型層面提高NER性能？ 若是想在模型層面（仍然是1層lstm+crf）搞點事情，上文講過NER是一個重底層的任務，咱們應該集中精力在embedding層下功夫，引入豐富的特徵：好比char、bigram、詞典特徵、詞性特徵、elmo等等，還有更多業務相關的特徵；在垂直領域，若是能夠預訓練一個領域相關的字向量&語言模型，那是最好不過的了~總之，底層的特徵越豐富、差別化越大越好（構造不一樣視角下的特徵）。

3. 如何構建引入詞彙信息（詞向量）的NER？ 咱們知道中文NER一般是基於字符進行標註的，這是因爲基於詞彙標註存在分詞偏差問題。但詞彙邊界對於實體邊界是頗有用的，咱們該怎麼把蘊藏詞彙信息的詞向量「恰當」地引入到模型中呢？一種行之有效的方法就是信息無損的、引入詞彙信息的NER方法，我稱之爲詞彙加強，可參考《中文NER的正確打開方式：詞彙加強方法總結》[4]。ACL2020的Simple-Lexicon[5]和FLAT[6]兩篇論文，不只詞彙加強模型十分輕量、並且能夠比肩BERT的效果。

將詞向量引入到模型中，一種簡單粗暴的作法就是將詞向量對齊到相應的字符，而後將字詞向量進行混合，但這須要對原始文本進行分詞（存在偏差），性能提高一般是有限的。

4. 如何解決NER實體span過長的問題？ 若是NER任務中某一類實體span比較長（⽐如醫療NER中的⼿術名稱是很長的），直接採起CRF解碼可能會致使不少連續的實體span斷裂。除了加入規則進行修正外，這時候也可嘗試引入指針網絡+CRF構建多任務學習（指針網絡會更容易捕捉較長的span，不過指針網絡的收斂是較慢的，能夠試着調節學習率）。

5. 如何客觀看待BERT在NER中的做用？ 對於工業場景中的絕大部分NLP問題（特別是垂直領域），都沒有必要堆資源。但這毫不表明BERT是「一無可取」的，在不受計算資源限制、通用領域、小樣本的場景下，BERT表現會更好。咱們要更好地去利用BERT的優點：
   a. 在低耗時場景中，BERT能夠做爲一個「對標競品」，咱們能夠採起輕量化的多種策略組合去逼近甚至超越BERT的性能；
   b. 在垂直領域應用BERT時，咱們首先確認領域內的語料與BERT原始的預訓練語料之間是否存在gap，若是這個gap越大，那麼咱們就不要中止預訓練：繼續進行領域預訓練、任務預訓練。
   c. 在小樣本條件下，利用BERT能夠更好幫助咱們解決低資源問題：好比基於BERT等預訓練模型的文本加強技術[7]，又好比與主動學習、半監督學習、領域自適應結合（後續詳細介紹）。
   d. 在競賽任務中，能夠選取不一樣的預訓練語⾔模型在底層進行特徵拼接。具體地，咱們能夠將char、bigram和BERT、XLNet等一塊兒拼接喂入1層lstm+crf中。語⾔模型的差別越⼤，效果越好。若是須要對語言模型finetune，須要設置不一樣的學習率。

6. 如何冷啓動NER任務？ 若是⾯臨的是⼀個冷啓動的NER任務，業務問題定義好後，首先要作的就是維護好一個領域詞典，而不是急忙去標數據、跑模型；當基於規則+詞典的NER系統不可以知足業務需求時，才須要啓動人工標註數據、構造機器學習模型。固然，咱們能夠採起一些省成本的標註方式，如結合領域化的預訓練語言模型+主動學習，挖掘那些「不肯定性高」、而且「具有表明性」的高價值樣本（須要注意的是，因爲NER一般轉化爲一個序列標註任務，不一樣於傳統的分類任務，咱們須要設計一個專門針對序列標註的主動學習框架）。

7.如何有效解決低資源NER問題？ 若是拿到的NER標註數據仍是不夠，又不想標註人員介入，這確實是一個比較困難的問題。低資源NLP問題的解決方法一般都針對分類任務，這相對容易一些，如能夠採起文本加強、半監督學習等方式，詳情可參考 《如何解決NLP中的少樣本困境》 。而這些解決低資源NLP問題的方法，每每在NER中提高並不明顯。NER本質是基於token的分類任務，其對噪聲極其敏感的。若是盲目應用弱監督方法去解決低資源NER問題，可能會致使全局性的性能降低，甚至還不如直接基於詞典的NER。這裏給出一些能夠嘗試的解決思路（也許還會翻車）：
a. 上文已介紹BERT在低資源條件下能更好地發揮做用：咱們可使用BERT進行數據蒸餾（半監督學習+置信度選擇），同時利用實體詞典輔助標註。
b. 還能夠利用實體詞典+BERT相結合，進行半監督自訓練，具體可參考文獻[8]。
c. 工業界畢竟不是搞學術，要想更好地解決低資源NER問題，RD在必要時仍是要介入覈查的。

8. 如何緩解NER標註數據的噪聲問題？ 實際工做中，咱們經常會遇到NER數據可能存在標註質量問題，也許是標註規範就不合理（必定要提早評估風險，否則就白乾了），正常的狀況下只是存在一些小規模的噪聲。一種簡單地有效的方式就是對訓練集進行交叉驗證，而後人工去清洗這些「髒數據」。固然也能夠將noisy label learning應用於NER任務，懲罰那些噪音大的樣本loss權重，具體可參考文獻[9]。

9.如何克服NER中的類別不平衡問題？ NER任務中，經常會出現某個類別下的實體個數稀少的問題，而常規的解決方法無外乎是重採樣、loss懲罰、Dice loss[10]等等。而在醫療NER中，咱們經常會發現這類實體自己就是一個長尾實體（填充率低），若是能挖掘相關規則模板、構建詞典庫也許會比模型更加魯棒。

10.如何對NER任務進行領域遷移？ 在醫療領域，咱們但願NER模型可以在不一樣醫院、不一樣疾病間進行更好地泛化遷移（領域自適應：源域標註數據多，目標域標註數據較少），如能夠嘗試將特徵對抗遷移[11]。在具體實踐中，對抗&特徵遷移一般還不如直接採起finetune方式（對源域進行預訓練，在目標域finetune），特別是在後BERT時代。在醫療領域，泛化遷移問題並非一個容易解決的問題，試圖去將NER作成一個泛化工具每每是困難的。或許咱們更應該從業務角度出發去將NER定製化，而不是拘泥於技術致使沒法落地。

11.如何讓NER系統變得「透明」且健壯？ 一個好的NER系統並非「一竿子插到底」的黑箱算法。在醫療領域，實體類型衆多，咱們每每須要構建一套多層級、多粒度、多策略的NER系統。
a. 多層級的NER系統更加「透明」，能夠回溯實體的來源（利於醫學實體消歧），方便「可插拔」地迭代優化；同時也不須要構建數目衆多的實體類型，讓模型「吃不消」。
b. 多粒度的NER系統能夠提升準召。第⼀步抽取⽐較粗粒度的實體，經過模型+規則+詞典等多策略保證⾼召回；第⼆步進⾏細粒度的實體分類，經過模型+規則保證⾼準確。

12. 如何解決低耗時場景下的NER任務？ 從模型層面來看，1層lstm+CRF已經夠快了。從系統層面來看，重點應放在如何在多層級的NER系統中進行顯存調度、或者使當前層級的顯存佔用最大化等。

綜上，若是能在1層lstm+CRF的基礎上引入更豐富的embedding特徵、並進行多策略組合，足以解決垂直領域的NER問題；此外，咱們要更好地利用BERT、使其價值最大化；要更加穩妥地解決複雜NER問題（詞彙加強、冷啓動、低資源、噪聲、不平衡、領域遷移、可解釋、低耗時）。

除了上面的12條工業界實戰經驗，羣內的一個小夥伴@一一 還提出了一個實際場景常常遇到的問題：

lstm+crf作實體提取時，保證精度的狀況下，在提高模型速度上有沒有什麼好的辦法或者建議?
傑神一樣給予了一個飽含實戰經驗的回答：

個⼈經驗來講，1層lstm+CRF夠快了。

1. 若是以爲lstm會慢，換成cnn或transformer也許更快一些，不過效果好很差要具體分析；一般來講，lstm對於NER任務的⽅向性和局部特徵捕捉會好於別的編碼器。
2. 若是以爲crf的解碼速度慢，引入label attention機制把crf拿掉，好比LAN這篇論文[12]；固然能夠⽤指針網絡替換crf，不過指針網絡收斂慢⼀些。
3. 若是想進行模型壓縮，好比對lstm+crf作量化剪枝也是⼀個須要權衡的⼯做，有可能費力不討好~能夠看出，哪怕是命名實體識別，中文分詞甚至文本分類這些看似已經在公開數據集上被求解的任務，放在實際的工業界場景下均可能存在大量的挑戰。這也是提醒還未踏入工業界的小夥伴們，不只要刷paper追前沿，更要記得積極實踐，在實際問題中積累NLP煉丹技巧哦。