python 爬蟲 scrapy 爬取騰訊招聘

目標網站 目標數據 首先新建一個爬蟲 初步提取職位名稱和對應的url 打印結果 發送下一頁的url，發送請求，請求成功後繼續調用pase函數解析 發送詳情頁請求 解析詳情頁 打印結果： 接下來重寫一個管道，讓數據保存到mongodb setting中配置管道 運行爬蟲 查看數據庫 數據已存入 繼續讓爬蟲跑完 一共3067條數據 一下是完整代碼： tencent2.py 爬蟲文件 # -*- cod

>>阅读原文<<