Python爬取豬肉價格網並獲取Json數據

場景

豬肉價格網站：

http://zhujia.zhuwang.cc/

 

 

注：

博客：
https://blog.csdn.net/badao_liumang_qizhi
關注公衆號
霸道的程序猿
獲取編程相關電子書、教程推送與免費下載。

實現

使用谷歌瀏覽器打開F12，刷新下當前網頁，找到Network下的XHR下的Headers，將此信息複製出來。

刷新後會在左邊顯示請求Json數據的接口

 

 

點擊左邊的接口，右邊查看RequestURL,並在新窗口中打開

 

 

 

 

就能夠看到關於豬肉價格的Json數據了

 

 

怎樣在代碼中獲取這些Json數據以方便後續的數據分析等那？

新建pig.py

import requests
import json

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}


def get_json(url):
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            json_text=response.json()
            return json_text
    except Exception:
        print('獲取json接口有問題！')
        return None


json_data = get_json('http://zhujia.zhuwang.cc/index/api/chartData?areaId=370000&aa=1573300145544')


# 將dict格式數據轉換成json格式字符串
dump_data = json.dumps(json_data)

# 將json格式字符串轉換成對應的python值
load_data = json.loads(dump_data)

 


# 打印轉換結果
print(type(json_data))
print(type(dump_data))
print(type(load_data),load_data)

 

其中headers就是上面在瀏覽器中複製出來的headers。

運行結果