爬取拉勾網

簡單快速爬取拉勾網，我們需要在爬取json文件，需要發送POST請求，但是需要先發送一次GET請求，不然會返回錯誤信息， 爬取間隔儘量設置長一點，有多個ip隨意。。。 # -*- coding: utf-8 -*-import scrapy import time import re import json from wde32.items import Wde32Item # 必須先發一次GET

>>阅读原文<<