爬蟲-爬取智聯招聘

1、直接模擬瀏覽器爬取時,發現爬取不到相關數據,查看爬取信息,發現需要的信息在js文件中 2、獲取js文件的請求URL 3、點擊每一頁,發現URL的區別僅僅在於start的不同,並且每一頁有90條數據 4、爬取到js文件所有數據,發現js文件數據權威json格式 5、下載jsonpath庫,pip install jsonpath提取信息 6、將jsonpath表達式提取的信息存進文檔裏面,下載l
相關文章
相關標籤/搜索