兩種方式爬取拉勾網職位信息的總結

大學畢業論文寫了一個關於職位信息的爬蟲，爬取了包括拉鉤智聯在內的許多網站，上個月拿出老代碼再爬拉鉤發現失效了，通過兩個星期（天天大概2-3個小時）的不懈努力重寫了拉鉤網的爬蟲，自我感受，拉鉤是總多招聘網站較難爬取的，其餘的58，智聯之類的好像和拉鉤的反爬機制簡直不能比。下面說說我遇到的坑，以供你們參考git 基於HttpClient的爬蟲 首先經過抓包工具知道是加載方式是ajax，請求方式是jso

>>阅读原文<<