8.HanLP實現--命名實體識別

筆記轉載於GitHub項目https://github.com/NLP-LOVE/Introduction-NLPhtml

8. 命名實體識別

8.1 概述

  1. 命名實體python

    文本中有一些描述實體的詞彙。好比人名、地名、組織機構名、股票基金、醫學術語等,稱爲命名實體。具備如下共性:git

    • 數量無窮。好比宇宙中的恆星命名、新生兒的命名不斷出現新組合。
    • 構詞靈活。好比中國工商銀行,既能夠稱爲工商銀行,也能夠簡稱工行。
    • 類別模糊。有一些地名自己就是機構名,好比「國家博物館」
  2. 命名實體識別github

    識別出句子中命名實體的邊界與類別的任務稱爲命名實體識別。因爲上述難點,命名實體識別也是一個統計爲主、規則爲輔的任務。正則表達式

    對於規則性較強的命名實體,好比網址、E-mail、IBSN、商品編號等,徹底能夠經過正則表達式處理,未匹配上的片斷交給統計模型處理。算法

    命名實體識別也能夠轉化爲一個序列標註問題。具體作法是將命名實體識別附着到{B,M,E,S}標籤,好比, 構成地名的單詞標註爲「B/ME/S- 地名」,以此類推。對於那些命名實體邊界以外的單詞,則統一標註爲0 ( Outside )。具體實施時,HanLP作了一個簡化,即全部非複合詞的命名實體都標註爲S,再也不附着類別。這樣標註集更精簡,模型更小巧。ide

命名實體識別實際上能夠看做分詞與詞性標註任務的集成: 命名實體的邊界能夠經過{B,M,E,S}肯定,其類別能夠經過 B-nt 等附加類別的標籤來肯定。性能

HanLP內部提供了語料庫轉換工序,用戶無需關心,只須要傳入 PKU 格式的語料庫路徑便可。學習

8.2 基於隱馬爾可夫模型序列標註的命名實體識別

以前咱們就介紹過隱馬爾可夫模型,詳細見: 4.隱馬爾可夫模型與序列標註網站

隱馬爾可夫模型命名實體識別代碼見(自動下載 PKU 語料庫): hmm_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/hmm_ner.py

運行代碼後結果以下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v 美國紐約/ns 現代/ntc 藝術/n 博物館/n 參觀/v

其中機構名「華北電力公司」、人名「譚旭光」「胡花蕊」所有識別正確。可是地名「美國紐約現代藝術博物館」則沒法識別。有如下兩個緣由:

  • PKU 語料庫中沒有出現過這個樣本。
  • 隱馬爾可夫模型沒法利用詞性特徵。

對於第一個緣由,只能額外標註一些語料。對於第二個緣由能夠經過切換到更強大的模型來解決。

8.3 基於感知機序列標註的命名實體識別

以前咱們就介紹過感知機模型,詳細見: 5.感知機分類與序列標註

感知機模型詞性標註代碼見(自動下載 PKU 語料庫): perceptron_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/perceptron_ner.py

運行會有些慢,結果以下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v

與隱馬爾可夫模型相比,已經可以正確識別地名了。

8.4 基於條件隨機場序列標註的命名實體識別

以前咱們就介紹過條件隨機場模型,詳細見: 6.條件隨機場與序列標註

條件隨機場模型詞性標註代碼見(自動下載 PKU 語料庫): crf_ner.py

https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/crf_ner.py

運行時間會比較長,結果以下:

華北電力公司/nt 董事長/n 譚旭光/nr 和/c 祕書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v

獲得告終果是同樣的。

8.5 命名實體識別標準化評測

各個命名實體識別模塊的準確率如何,並不是只能經過幾個句子主觀感覺。任何監督學習任務都有一套標準化評測方案,對於命名實體識別,按照慣例引入P、R 和 F1 評測指標。

在1998年1月《人民日報》語料庫上的標準化評測結果以下:

模型 P R F1
隱馬爾可夫模型 79.01 30.14 43.64
感知機 87.33 78.98 82.94
條件隨機場 87.93 73.75 80.22

值得一提的是,準確率與評測策略、特徵模板、語料庫規模息息相關。一般而言,當語料庫較小時,應當使用簡單的特徵模板,以防止模型過擬合;當語料庫較大時,則建議使用更多特徵,以期更高的準確率。當特徵模板固定時,每每是語料庫越大,準確率越高。

8.6 自定義領域命名實體識別

以上咱們接觸的都是通用領域上的語料庫,所含的命名實體僅限於人名、地名、機構名等。假設咱們想要識別專門領域中的命名實體,這時,咱們就要自定義領域的語料庫了。

  1. 標註領域命名實體識別語料庫

    首先咱們須要收集一些文本, 做爲標註語料庫的原料,稱爲生語料。因爲咱們的目標是識別文本中的戰鬥機名稱或型號,因此生語料的來源應當是些軍事網站的報道。在實際工程中,求由客戶提出,則應當由該客戶提供生語料。語料的量級越大越好,通常最低很多於數千個句子。

    生語料準備就緒後,就能夠開始標註了。對於命名實體識別語料庫,若以詞語和詞性爲特徵的話,還須要標註分詞邊界和詞性。不過咱們沒必要從零開始標註,而能夠在HanLP的標註基礎上進行校訂,這樣工做量更小。

    樣本標註了數千個以後,生語料就被標註成了熟語料。下面代碼自動下載語料庫。

  2. 訓練領域模型

    選擇感知機做爲訓練算法(自動下載 戰鬥機 語料庫): plane_ner.py

    https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/plane_ner.py

    運行結果以下:

    下載 http://file.hankcs.com/corpus/plane-re.zip 到 /usr/local/lib/python3.7/site-packages/pyhanlp/static/data/test/plane-re.zip
    100.00%, 0 MB, 552 KB/s, 還有 0 分  0 秒   
    米高揚/nrf 設計/v [米格/nr -/w 17/m PF/nx]/np :/w [米格/nr -/w 17/m]/np PF/n 型/k 戰鬥機/n 比/p [米格/nr -/w 17/m P/nx]/np 性能/n 更好/l 。/w
    [米格/nr -/w 阿帕奇/nrf -/w 666/m S/q]/np 橫空出世/l 。/w

    這句話已經在語料庫中出現過,能被正常識別並不意外。咱們能夠僞造一款「米格-阿帕奇-666S」戰鬥機,試試模型的繁華能力,發現依然可以正確識別。

8.7 GitHub

HanLP何晗--《天然語言處理入門》筆記:

https://github.com/NLP-LOVE/Introduction-NLP

項目持續更新中......

目錄


章節
第 1 章:新手上路
第 2 章:詞典分詞
第 3 章:二元語法與中文分詞
第 4 章:隱馬爾可夫模型與序列標註
第 5 章:感知機分類與序列標註
第 6 章:條件隨機場與序列標註
第 7 章:詞性標註
第 8 章:命名實體識別
第 9 章:信息抽取
第 10 章:文本聚類
第 11 章:文本分類
第 12 章:依存句法分析
第 13 章:深度學習與天然語言處理

原文出處:https://www.cnblogs.com/mantch/p/12300263.html

相關文章
相關標籤/搜索