Python爬蟲(十三)_JSON模塊與JsonPath

數據提取之JSON與JsonPATH

JSON(JavaScript Object Notation)是一種輕量級的數據交換格式，它是的人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景，好比網站前臺與後臺之間的數據交互。

JSON和XML的比較可謂不相上下。

Python2.7中自帶了JSON模塊，直接import json就可使用了。
官方博客：http://docs.python.org/library/json.html

Json在線解析網站：http://www.json.cn/#

JSON

json簡單說就是javascript中的對象和數組，因此這兩種結構就是對象和數據兩種結構，經過這兩種結構能夠表示各類複雜的結構。

1. 對象：對象在js中表示爲{}括起來的內容，數據結構爲{key:value,key:value,...}的鍵值對的結構，在面向對象的語言中，key爲對象的屬性，value爲對應的屬性值，因此很容易理解，取值方法爲對象.key獲取屬性值，這個屬性值的類型能夠是數字、字符串、數組、對象這幾種。
2. 數組：數組在js中是中括號[]括起來的內容，數據結構爲["Python", "javascript", "C++",..]，取值方式和全部語言中同樣，使用索引獲取，字段值的類型能夠是數字、字符串、數組、對象幾種。

import json

json模塊提供了四個功能：dumps、dump、loads、load,用於字符串和python數據類型鍵進行轉換。

一、json.loads()

把json格式字符串解碼轉換成Python對象從json到Python的類型轉化對照以下：

#json_loads.py

import json


strList = '[1, 2, 3, 4]'

strDict = '{"city":"北京", "name":"大貓"}'

json.loads(strList)
for str in strList:
    print(str)
#[1, 2, 3, 4]

json.loads(strDict)  #json數據自動按Unicode存儲
#{u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}

二、json.dumps()

實現python類型轉化爲json字符串，返回一個str對象。把一個Python對象編碼轉換成Json字符串，從python原始類型向json類型轉化對照表以下：

#json_dumps.py

#-*- coding:utf-8 -*-

import json
import chardet

listStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr  = {"city":"北京", "name":"大貓"}

print(type(json.dumps(listStr)))
# '[1, 2, 3, 4]'

print(type(json.dumps(tupleStr)))
# '[1, 2, 3, 4]'

#注意，json.dumps()序列化時默認使用ascii編碼
#添加參數 ensure_ascii = False,禁用ascii編碼，按utf-8編碼
#chardet.detect()返回字典，其中confidence是檢測精確度。

print(json.dumps(dictStr))
#'{"city":"\\u5317\\u4eac", "name":"\\u5927\\u5218"}'

print(chardet.detect(json.dumps(dictStr)))

print(json.dumps(dictStr, ensure_ascii=False))

print(chardet.detect(json.dumps(dictStr, ensure_ascii=False)))

 

chardet是一個很是優秀的編碼識別模塊，可經過pip安裝

3. json.dump()

將Python內置類型序列化爲json對象後寫入文件

#json_dump.py

import json

listStr = [{"city":"北京"}, {"name":"大劉"}]

json.dump(listStr, open("listStr.json", "w"), ensure_ascii=False)

dictStr = {"city":"北京", "name":"大劉"}
json.dump(dictStr.open("dictStr.json", "w"), ensure_ascii=False)

 

4.json.load()

讀取文件中json形式的字符串元素轉化成python類型

#-*- coding:utf-8 -*-


import json

strList = json.load(open("listStr.json"))
print strList
# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]

strDict = json.load(open("dictStr.json"))
print strDict
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}

 

JsonPath

JsonPath是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種緣由實現保本：JavaScript/Python/PHP和Java

JsonPath對於JSON來講，至關於XPATH對於XML

下載地址：https://pypi.python.org/pypi/jsonpath
安裝方法：點擊Download URL連接下載jsonpath,解壓以後執行python setup.py install
官方文檔：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

Json結構清晰，可讀性高，複雜度低，很是容易匹配，下表中對應了XPath的用法。

Xpath	JSONPath	描述
/	$	跟節點
.	@	現行節點
/	. or []	取子節點
..	n/a	就是無論位置，選擇全部符合條件的條件
*	*	匹配全部元素節點
[]	[]	迭代器標示(能夠在裏面作簡單的迭代操做，如數組下標，根據內容選值等)
&#124	[,]	支持迭代器中作多選
[]	?()	支持過濾操做
n/a	()	支持表達式計算
()	n/a	分組，JsonPath不支持

實例：

咱們以拉勾網城市JSON文件http://www.lagou.com/lbs/getAllCitySearchLabels.json爲例，獲取全部城市。

#-*- coding:utf-8 -*-

import urllib2
import json
import jsonpath
import chardet


url = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"
request = urllib2.Request(url)

response  = urllib2.urlopen(request)

html = response.read()

#把json格式字符串轉換成python對象
jsonobj = json.loads(html)

#從根節點開始，匹配name節點
citylist = jsonpath.jsonpath(jsonobj, '$..name')

print citylist
print(type(citylist))

fp = open('city.json', 'w')


content = json.dumps(citylist, ensure_ascii=False)
print content
fp.write(content.encode('utf-8'))

fp.close()

 

注意事項：

json.loads()是把Json格式字符串解碼轉換成Python對象，若是在json.loads的時候出錯，要注意被解碼的Json字符的編碼。

若是傳入的字符串的編碼不是UTF-8的話，須要制定字符編碼的參數:encoding

dataDict = json.loads(jsonStrGBK);

• dataJsonStr是JSON字符串，假設其編碼自己是非UTF-8的話而是GBK的，那麼上述代碼會致使出錯，改成對應的。

dataDict = json.loads(jsonStrGBK, encoding="GBK")

• 若是dataJsonStr經過encoding指定了合適的編碼，可是其中又包含了其它編碼的字符，則須要先去將dataJsonStr轉換爲Unicode,而後再指定編碼格式調用json.loads()

dataJsonStrUni = data.JsonStr.decode("GB2312")
dataDict = json.loads(dataJsontrUni, encoding="GB2312")

字符串編碼轉換

這是程序員最苦逼的地方，什麼亂碼之類的幾乎都是由漢字引發的。
其實編碼問題很好搞定，只要記住一點：

任何平臺的任何編碼，都能和Unicode互相轉換。

UTF-8與GBK互相轉換，那就先把UTF-8轉換成Unicode，再從Unicode轉換成GBK，反之同理。

# 這是一個 UTF-8 編碼的字符串
utf8Str = "你好地球"

# 1. 將 UTF-8 編碼的字符串 轉換成 Unicode 編碼
unicodeStr = utf8Str.decode("UTF-8")

# 2. 再將 Unicode 編碼格式字符串 轉換成 GBK 編碼
gbkData = unicodeStr.encode("GBK")

# 1. 再將 GBK 編碼格式字符串 轉化成 Unicode
unicodeStr = gbkData.decode("gbk")

# 2. 再將 Unicode 編碼格式字符串轉換成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")

decode的做用是將其它編碼的字符串轉換成Unicode編碼
encode的做用是將Unicode編碼轉換成其餘編碼的字符串
一句話：UTF-8是對Unicode字符集記性編碼的一種編碼格式

參考連接：https://www.cnblogs.com/miqi1992/category/1105419.html