Python 爬蟲從入門到進階之路（十四）

以前的文章咱們已經能夠根據 re 模塊，Xpath 模塊和 BeautifulSoup4 模塊來爬取網站上咱們想要的數據而且存儲在本地，可是咱們並無對存儲數據的格式有要求，本章咱們就來看數據的存儲格式 JSON 及 Python 中的 json 模塊。

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景，好比網站前臺與後臺之間的數據交互。

JSON和XML的比較可謂不相上下。

Python 中自帶了JSON模塊，直接import json就可使用了。

官方文檔：http://docs.python.org/library/json.html

Json在線解析網站：http://www.json.cn/#

json簡單說就是javascript中的對象和數組，因此這兩種結構就是對象和數組兩種結構，經過這兩種結構能夠表示各類複雜的結構

1. 對象：對象在js中表示爲{ }括起來的內容，數據結構爲 { key：value, key：value, ... }的鍵值對的結構，在面向對象的語言中，key爲對象的屬性，value爲對應的屬性值，因此很容易理解，取值方法爲 對象.key 獲取屬性值，這個屬性值的類型能夠是數字、字符串、數組、對象這幾種。

2. 數組：數組在js中是中括號[ ]括起來的內容，數據結構爲 ["Python", "javascript", "C++", ...]，取值方式和全部語言中同樣，使用索引獲取，字段值的類型能夠是 數字、字符串、數組、對象幾種。

3.  

Python中 json 模塊提供了四個功能：dumps、dump、loads、load，用於字符串 和 python數據類型間進行轉換。

1. json.loads()

把Json格式字符串解碼轉換成Python對象 從json到python的類型轉化對照以下：

1 import json
2 
3 strList = '[1, 2, 3, 4]'
4 strDict = '{"city": "北京", "name": "大貓"}'
5 
6 print(json.loads(strList))  # [1, 2, 3, 4]
7 print(json.loads(strDict))  # {'city': '北京', 'name': '張三'}

2. json.dumps()

實現 python 類型轉化爲 json 字符串，返回一個str對象 把一個 Python 對象編碼轉換成 Json 字符串

從 python 原始類型向 json 類型的轉化對照以下：

1 import json
2 
3 listStr = [1, 2, 3, 4]
4 tupleStr = (1, 2, 3, 4)
5 dictStr = {"city": "北京", "name": "張三"}
6 
7 print(json.dumps(listStr))  # '[1, 2, 3, 4]'
8 print(json.dumps(tupleStr))  # '[1, 2, 3, 4]'
9 print(json.dumps(dictStr))  # '{"city": "\u5317\u4eac", "name": "\u5f20\u4e09"}'

3. json.dump()

將Python內置類型序列化爲json對象後寫入文件

1 import json
2 
3 listStr = [{"city": "北京"}, {"name": "張三"}]
4 json.dump(listStr, open("listStr.json", "w"))
5 
6 dictStr = {"city": "北京", "name": "李四"}
7 json.dump(dictStr, open("dictStr.json", "w"), ensure_ascii=False)  # 添加參數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼

輸出結果：

4. json.load()

讀取文件中json形式的字符串元素 轉化成python類型

1 import json
2 
3 strList = json.load(open("listStr.json"))
4 print(strList)  # [{'city': '北京'}, {'name': '張三'}]
5 
6 strDict = json.load(open("dictStr.json"))
7 print(strDict)  # {'city': '北京', 'name': '李四'}

 

JsonPath

JsonPath 是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 對於 JSON 來講，至關於 XPATH 對於 XML。

下載地址：https://pypi.python.org/pypi/jsonpath

安裝方法：點擊Download URL連接下載jsonpath，解壓以後執行python setup.py install

官方文檔：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

Json結構清晰，可讀性高，複雜度低，很是容易匹配，下表中對應了XPath的用法。

 

XPath	JSONPath	描述
/	$	根節點
.	@	現行節點
/	.or[]	取子節點
..	n/a	取父節點，Jsonpath未支持
//	..	就是無論位置，選擇全部符合條件的條件
*	*	匹配全部元素節點
@	n/a	根據屬性訪問，Json不支持，由於Json是個Key-value遞歸結構，不須要。
[]	[]	迭代器標示（能夠在裏邊作簡單的迭代操做，如數組下標，根據內容選值等）
|	[,]	支持迭代器中作多選。
[]	?()	支持過濾操做.
n/a	()	支持表達式計算
()	n/a	分組，JsonPath不支持

示例：

咱們以拉勾網城市JSON文件 https://www.lagou.com/lbs/getAllCitySearchLabels.json 爲例，獲取全部城市。

 1 import urllib.request
 2 import json
 3 import jsonpath
 4 import ssl
 5 
 6 # 取消代理驗證
 7 ssl._create_default_https_context = ssl._create_unverified_context
 8 
 9 url = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
10 headers = {
11     "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}
12 # 發送請求
13 request = urllib.request.Request(url, headers=headers)
14 response = urllib.request.urlopen(request)
15 html = response.read().decode("utf-8")
16 # 把json格式字符串轉換成python對象
17 jsonobj = json.loads(html)
18 # 從根節點開始，匹配name節點
19 citylist = jsonpath.jsonpath(jsonobj, '$..name')
20 
21 fp = open('city.json', 'w')
22 content = json.dumps(citylist, ensure_ascii=False)
23 fp.write(content)
24 fp.close()

程序啓動後會在本地生成一個 city.json 的文件，結果以下：