Python scrapy使用入門，爬取拉勾網上萬條職位信息（下）

繼續以前的筆記。上節實現了數據爬取和導出文件。這節學點乾的，模擬瀏覽器請求，對付拉鉤的反爬策略，爬取二級頁面，獲取到具體的職位，薪資等數據。git 咱們上節爬取的是分類的內容，咱們實際瀏覽網頁也是點擊分類進入二級頁面看職位列表，上節爬取的連接，就是咱們點擊的那個連接，咱們已拿到了： github 如今咱們點擊Java進入二級頁面，假如咱們要獲取以下信息： web 使用cookie給爬蟲作假裝，應付

>>阅读原文<<