scrapy框架爬取招聘網的職位信息

快要畢業了，最近在招聘網上找找工作，還是覺得爬取所有數據看着方便，所以博主爬取了51job的所有GIS相關的職位。用的是scrapy框架，數據保存到Mysql中，方便查看一點。 首先創建項目51Job,確定下爬取的url及頁碼，即可開始用xpath了 用shell的話調試scrapy會方便很多 然後開始進行xpath調試 最後將數據保存到mysql數據庫中 結果圖在navicat可視化工具中查看

>>阅读原文<<