Python爬蟲框架Scrapy實戰之定向批量獲取職位招聘信息

所謂網絡爬蟲，就是一個在網上到處或定向抓取數據的程序，當然，這種說法不夠專業，更專業的描述就是，抓取特定網站網頁的HTML數據。不過由於一個網站的網頁很多，而我們又不可能事先知道所有網頁的URL地址，所以，如何保證我們抓取到了網站的所有HTML頁面就是一個有待考究的問題了。一般的方法是，定義一個入口頁面，然後一般一個頁面會有其他頁面的URL，於是從當前頁面獲取到這些URL加入到爬蟲的抓取隊列中，然

>>阅读原文<<