安裝和使用pyltp

 

什麼是pyltp:

pyltp 是LTP的 Python 封裝，提供了分詞，詞性標註，命名實體識別，依存句法分析，語義角色標註的功能。

安裝 pyltp

測試環境：系統win10 64位， python3.6.5

官方安裝是直接使用pip install pyltp命令安裝，可是通過屢次反覆實踐，處處是坑，最後放棄了

輪子文件安裝：1.下載pyltp-0.2.1-cp36-cp36m-win_amd64.whl文件,百度雲，提取碼：1gki 

　　　　　　　2.切換到下載文件的目錄,執行 pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl

 

使用 pyltp

使用前請先下載完整模型，百度雲,提取碼：7qk2，當前模型版本 - 3.4.0

請注意編碼：

　　pyltp 的全部輸入的分析文本和輸出的結果的編碼均爲 UTF-8。

　　若是您以非 UTF-8 編碼的文本輸入進行分析，結果可能爲空。請注意源代碼文件的默認編碼。

 　　因爲 Windows 終端採用 GBK 編碼顯示，直接輸出 pyltp 的分析結果會在終端顯示爲亂碼。您能夠將標準輸出重定向到文件，以 UTF8 方式查看文件，就能夠解決顯示亂碼的問題。

 

分句：

 使用 pyltp 進行分句示例以下：

'''
使用pyltp進行分句
'''


from pyltp import SentenceSplitter

sents = SentenceSplitter.split('元芳你怎麼看？我就趴在窗口上看唄！元芳你怎麼這樣子了？我哪樣子了？')
# print(sents)
# print('\n'.join(sents))
sents = '|'.join(sents)
print(sents)

 運行結果以下：　

元芳你怎麼看？|我就趴在窗口上看唄！|元芳你怎麼這樣子了？|我哪樣子了？

分詞：

使用 pyltp 進行分詞示例以下：

 

"""
使用pyltp進行分詞
"""

import os
from pyltp import Segmentor


LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分詞模型路徑， 模型名稱爲'cws.model'

segmentor = Segmentor()  # 初始化實例
segmentor.load(cws_model_path)  # 加載模型
words = segmentor.segment('元芳你怎麼看')  # 分詞
print(type(words))
print(type('|'.join(words)))
print('|'.join(words))
segmentor.release()   # 釋放模型

 

 運行結果以下：

 

<class 'pyltp.VectorOfString'>
<class 'str'>
元芳|你|怎麼|看

 

　

 　　words = segmentor.segment('元芳你怎麼看') 的返回值類型是native的VectorOfString類型，可使用list轉換成Python的列表類型　

使用分詞外部詞典：

　　　pyltp 分詞支持用戶使用自定義詞典。分詞外部詞典自己是一個文本文件（plain text），每行指定一個詞，編碼一樣須爲 UTF-8，樣例以下所示

　　苯並芘
　　亞硝酸鹽

 

示例以下：

'''
使用分詞外部詞典
'''

import os
from pyltp import Segmentor

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分詞模型路徑， 模型名稱爲'cws.model'

segmentor = Segmentor()
segmentor.load_with_lexicon(cws_model_path, 'plain.txt')  # 加載模型，第二個參數是外部詞典文件路徑
words = segmentor.segment('亞硝酸鹽是一種化學物質')
print('|'.join(words))
segmentor.release()

　運行結果：

[INFO] 2019-05-10 15:18:05 loaded 2 lexicon entries
亞硝酸鹽|是|一|種|化學|物質

 

詞性標註：

使用 pyltp 進行詞性標註

'''
使用 pyltp 進行詞性標註
'''

import os
from pyltp import Postagger

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 分詞模型路徑， 模型名稱爲'pos.model'

postagger = Postagger()   # 初始化實例

postagger.load(pos_model_path)  # 加載模型

words = ['元芳', '你', '怎麼', '看']   # words是分詞模塊的返回值，也支持Python原生list,此處使用list

postags = postagger.postag(words)   # 詞性標註

print('|'.join(postags))

postagger.release()  # 釋放模型

　運行結果：　　

nh|r|r|v

　LTP 使用 863 詞性標註集，詳細請參考 詞性標準集。以下圖所示

 

命名實體識別

使用 pyltp 進行命名實體識別示例以下

'''
命名實體識別
'''

import os
from pyltp import NamedEntityRecognizer

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 分詞模型路徑， 模型名稱爲'c.model'

recognizer = NamedEntityRecognizer()   # 初始化實例

recognizer.load(ner_model_path)  # 加載模型

words = ['元芳', '你', '怎麼', '看']   # 分詞模塊的返回值
postags = ['nh', 'r', 'r', 'v']   # 詞性標註的返回值

netags = recognizer.recognize(words, postags)  # 命名實體識別

print(netags)
print(list(netags))

recognizer.release()  # 釋放模型

　其中，words 和 postags 分別爲分詞和詞性標註的結果。一樣支持Python原生的list類型。　

運行結果

<pyltp.VectorOfString object at 0x000002B3A798DBD0>
['S-Nh', 'O', 'O', 'O']

　

LTP 採用 BIESO 標註體系。B 表示實體開始詞，I表示實體中間詞，E表示實體結束詞，S表示單獨成實體，O表示不構成命名實體。

LTP 提供的命名實體類型爲:人名（Nh）、地名（Ns）、機構名（Ni）。

B、I、E、S位置標籤和實體類型標籤之間用一個橫線 - 相連；O標籤後沒有類型標籤。

詳細標註請參考 命名實體識別標註集。

NE識別模塊的標註結果採用O-S-B-I-E標註形式，其含義爲

標記	含義
O	這個詞不是NE
S	這個詞單獨構成一個NE
B	這個詞爲一個NE的開始
I	這個詞爲一個NE的中間
E	這個詞位一個NE的結尾

LTP中的NE 模塊識別三種NE，分別以下：

標記	含義
Nh	人名
Ni	機構名
Ns	地名

　

依存句法分析

使用 pyltp 進行依存句法分析示例以下

 

"""
依存句法分析
"""

import os
from pyltp import Parser

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 分詞模型路徑， 模型名稱爲'parser.model'

parser = Parser()   # 初始化實例

parser.load(par_model_path)   # 加載模型

words = ['元芳', '你', '怎麼', '看']

postags = ['nh', 'r', 'r', 'v']

arcs = parser.parse(words, postags)   # 句法分析

print('\t'.join('%d: %s' %(arc.head, arc.relation) for arc in arcs))

parser.release()   # 釋放模型

 

　其中，words 和 postags 分別爲分詞和詞性標註的結果。一樣支持Python原生的list類型。　

運行結果

 

4: SBV	4: SBV	4: ADV	0: HED

 

　

arc.head 表示依存弧的父節點詞的索引。ROOT節點的索引是0，第一個詞開始的索引依次爲一、二、3…

arc.relation 表示依存弧的關係。

arc.head 表示依存弧的父節點詞的索引，arc.relation 表示依存弧的關係。

標註集請參考依存句法關係

關係類型	Tag	Description	Example
主謂關係	SBV	subject-verb	我送她一束花 (我 <– 送)
動賓關係	VOB	直接賓語，verb-object	我送她一束花 (送 –> 花)
間賓關係	IOB	間接賓語，indirect-object	我送她一束花 (送 –> 她)
前置賓語	FOB	前置賓語，fronting-object	他什麼書都讀 (書 <– 讀)
兼語	DBL	double	他請我吃飯 (請 –> 我)
定中關係	ATT	attribute	紅蘋果 (紅 <– 蘋果)
狀中結構	ADV	adverbial	很是美麗 (很是 <– 美麗)
動補結構	CMP	complement	作完了做業 (作 –> 完)
並列關係	COO	coordinate	大山和大海 (大山 –> 大海)
介賓關係	POB	preposition-object	在貿易區內 (在 –> 內)
左附加關係	LAD	left adjunct	大山和大海 (和 <– 大海)
右附加關係	RAD	right adjunct	孩子們 (孩子 –> 們)
獨立結構	IS	independent structure	兩個單句在結構上彼此獨立
核心關係	HED	head	指整個句子的核心

  

 

語義角色標註

使用 pyltp 進行語義角色標註示例以下

'''
語義角色標註
'''


import os
from pyltp import SementicRoleLabeller

from demo6 import parser

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl_win.model')  # 分詞模型路徑， 模型名稱爲'pisrl_win.model'

labeller = SementicRoleLabeller()  # 初始化實例
labeller.load(srl_model_path)   # 加載模型

words = ['元芳', '你', '怎麼', '看']
postags = ['nh', 'r', 'r', 'v']

arcs = parser()
print(arcs)

　　特別注意，windows系統此處用的模型是pirl_win.model

運行結果

[dynet] random seed: 2222491344
[dynet] allocating memory: 2000MB
[dynet] memory allocation done.
4: SBV	4: SBV	4: ADV	0: HED
<pyltp.VectorOfParseResult object at 0x0000026B5902DC30>
3 A0:(1,1)ADV:(2,2)

　　

第一個詞開始的索引依次爲0、一、2…

 

返回結果 roles 是關於多個謂詞的語義角色分析的結果。因爲一句話中可能不含有語義角色，因此結果可能爲空。

 

role.index 表明謂詞的索引， role.arguments 表明關於該謂詞的若干語義角色。

 

arg.name 表示語義角色類型，arg.range.start 表示該語義角色起始詞位置的索引，arg.range.end 表示該語義角色結束詞位置的索引。

 

例如上面的例子，因爲結果輸出一行，因此「元芳你怎麼看」有一組語義角色。 其謂詞索引爲3，即「看」。這個謂詞有三個語義角色，範圍分別是(0,0)即「元芳」，(1,1)即「你」，(2,2)即「怎麼」，類型分別是A0、A0、ADV。

 

arg.name 表示語義角色關係，arg.range.start 表示起始詞位置，arg.range.end 表示結束位置。

 

標註集請參考 語義角色關係。

 

語義角色類型	說明
ADV	adverbial, default tag ( 附加的，默認標記 )
BNE	beneficiary ( 受益人 )
CND	condition ( 條件 )
DIR	direction ( 方向 )
DGR	degree ( 程度 )
EXT	extent ( 擴展 )
FRQ	frequency ( 頻率 )
LOC	locative ( 地點 )
MNR	manner ( 方式 )
PRP	purpose or reason ( 目的或緣由 )
TMP	temporal ( 時間 )
TPC	topic ( 主題 )
CRD	coordinated arguments ( 並列參數 )
PRD	predicate ( 謂語動詞 )
PSR	possessor ( 持有者 )
PSE	possessee ( 被持有 )

 完整示例

import os,sys
from pyltp import SentenceSplitter,Segmentor,Postagger,Parser,NamedEntityRecognizer,SementicRoleLabeller

LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0'   # LTP模型目錄路徑

cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分詞模型路徑， 模型名稱爲'cws.model'

paragraph = '中國進出口銀行與中國銀行增強合做。中國進出口銀行與中國銀行增強合做！'

sentence = SentenceSplitter.split(paragraph)[0]  # 分句並取第一句

# 分詞
segmentor = Segmentor()   # 初始化
segmentor.load(os.path.join(LTP_DATA_DIR, 'cws.model'))   # 加載模型
words = segmentor.segment(sentence)  # 分詞
print(list(words))
print('|'.join(words))

# 詞性標註
postagger = Postagger()  # 初始化
postagger.load(os.path.join(LTP_DATA_DIR, 'pos.model'))  # 加載模型
postags = postagger.postag(words)
#postags = postagger.postag(['中國', '進出口', '銀行', '與', '中國銀行', '增強', '合做', '。'])
print(list(postags))

# 依存句法分析
parser = Parser()
parser.load(os.path.join(LTP_DATA_DIR, 'parser.model'))
arcs = parser.parse(words, postags)
print('\t'.join('%d:%s' %(arc.head, arc.relation) for arc in arcs))


# 命名實體識別
recognizer = NamedEntityRecognizer()  # 實例化
recognizer.load(os.path.join(LTP_DATA_DIR, 'ner.model'))
netags = recognizer.recognize(words, postags)
print(list(netags))


# 語義角色標註
labeller = SementicRoleLabeller()
labeller.load(os.path.join(LTP_DATA_DIR, 'pisrl_win.model'))
roles = labeller.label(words, postags, arcs)
for role in roles:
    print(role.index, "".join(
            ["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))

segmentor.release()  # 釋放
postagger.release()
parser.release()
recognizer.release()
labeller.release()

參考連接：https://pyltp.readthedocs.io/zh_CN/latest/

　　　　　https://github.com/HIT-SCIR/pyltp