python 解析unicode編碼的字符串

使用python抓取頁面或者web端的json時候很容易抓到一些unicode編碼的字符串流。在python裏邊對Unicode編碼的處理成了一件頭疼的事。

對於string裏邊不含「 引號的處理比較簡單，使用eval註明引入str是unicode編碼：

str1 = eval("u"+"\""+str + "\"")

str1.decode('utf8')

對於包含引號的明文，須要先把引號轉化爲 \"，而後能夠進行eval函數處理。

str=str.replace("\\\"","\\\\\"") #先轉化字符串中的\"
str=str.replace("\"","\\\"")     #再轉化 "

print eval("u"+"\""+str+"\"")

對於json格式unicode的有個很奇怪的處理：

python 的json 庫在使用 json.loads()函數時候會默認把輸入中unicode編碼解析好，而不是保留原輸入。

代碼：

str1="{\"html\":\"\u003c\u003e\"}"
s=json.loads(str1)
print s["html"]
輸出：<>

輸出<>而不是 \u003c 這也引出了一個問題：python的json庫解析json不徹底保留原格式，使用時候要注意。

若是想要json解析保持unicode編碼比較麻煩，須要將unicode碼的\改成\\，轉譯代碼以下：

str="{\"html\":\"\u003c\"}"
s=str.replace("\\u","\\\\u")
s2=json.loads(s)
print s2["html"]
輸出： \u003c