Python爬蟲:爬取京東商品評論(處理json)urllib3+bs4+sqlite3

通過觀察京東商品頁面返回的評論數據是 JSON 格式的,所以抓取指定評論需要使用 JSON 模塊中相應的 API 進行分析,而從搜索頁面抓取的商品列表需要分析 HTML 代碼,所以使用 bs4。在對數據進行分析整理後,需要將數據保存到 sqlite 數據庫中,其他模塊還包括 os 和 fake_useragent(獲取假的消息頭,之前用一個消息頭好像被封了,帶秀)。 from urllib3 im
相關文章
相關標籤/搜索