Selenium爬取拉勾網職位信息

拉鉤網的反爬蟲機制較強。數據加載採取的時異步AJAX技術，使用requests不能在網頁源代碼中直接找到職位信息的url，當然可以間接找到。這裏我採取的是Selenium方法爬取拉鉤網的職位信息，相比requests而言，在處理含有AJAX技術的網站時，Selenium會顯得更加靈活、穩定！ 這裏我定義了一個LagouSpider()類，裏面包含五個方法，將所有流程分成了五個步驟： 導入相應模塊

>>阅读原文<<