如何實現拼音與漢字的互相轉換

基於詞庫的漢字轉拼音

詞庫中既要包含每一個字的拼音，也要包含經常使用單詞/短語的讀音。有些字是多音字，因此至少要保存其最經常使用的讀音，不經常使用的讀音多出如今單詞/短語裏。

好了，詞庫準備好了，如今手頭有一句話要轉換要轉換爲拼音，這句話是：

你好世界盃

咱們的詞庫是這樣子的：

你：nǐ
好：hǎo,hào
世：shì
界：jiè
杯：bēi
世界：shì,jiè
你好：nǐ,hǎo
苦盡甘來：kǔ,jìn,gān,lái

詞庫中最長的詞苦盡甘來包含4個字。因此你好世界盃從4個字開始匹配：

• 判斷你好世界是否在詞庫中，不在；
• 判斷你好世是否在詞庫中，不在；
• 判斷你好是否在詞庫中，在，獲得nǐ,hǎo；
• 判斷世界盃是否在詞庫中，不在；
• 判斷世界是否在詞庫中，在，獲得shì,jiè；
• 判斷杯是否在詞庫中，在，獲得bēi；

因而你好世界盃被轉換爲nǐ,hǎo,shì,jiè,bēi。

基於詞庫和分詞工具的漢字轉拼音

純粹的基於詞庫的方法在實際的使用中會遇到問題，例如提出瞭解決方案這句話中瞭解會被看成一個單詞，因此會獲得錯誤的結果：

tí,chū,liǎo,jiě,jué,fāng,àn

更好的方法是先進行分詞獲得：

提出
了
解決
方案

而後基於詞庫對每一個結果分別處理。

基於HMM的拼音轉漢字

這裏的拼音通常不帶聲調。

將漢字做爲隱藏狀態，拼音做爲觀測值，使用viterbi算法能夠將多個拼音轉換成合理的漢字。例如給出ti,chu,le,jie,jue,fang,an，viterbi算法會認爲提出瞭解決方案是最合理的狀態序列。

HMM須要三個分佈，分別是：

• 初始時各個狀態的機率分佈
• 各個狀態互相轉換的機率分佈
• 狀態到觀測值的機率分佈

這個3個分佈就是三個矩陣，根據一些文本庫統計出來便可。

viterbi算法基於動態規劃，維基百科 - Viterbi algorithm給出了很好的解釋和示例。

基於詞庫的拼音轉漢字

原則：

• 詞的權重大於字的權重；
• 轉換中匹配的詞越多，權重越小。

詞庫的格式是：

拼音:單詞:權重

例如：

ni:你:0.15
ni:泥:0.12
a:啊:0.18
hao:好:0.14
nihao:你好:0.6

假如輸入是ni,hao,a，咱們計算一下各類組合的權重：

組合	權重
你,好,啊	0.15*0.14*0.18 = 0.00378
泥,好,啊	0.12*0.14*0.18 = 0.003024
你好,啊	0.6*0.18 = 0.108

能夠看出，你好,啊是最好的結果。

實際實現中須要用到動態規劃， 和求有向無環圖中兩點之間最短距離相似。

代碼實現

• 拼音轉漢字（拼音輸入法引擎）：https://github.com/someus/Pinyin2Hanzi
• 漢字轉拼音：https://github.com/someus/ChineseTone