Python爬蟲——8.scrapy—深度爬取

還是以前面文章提到的爬取智聯招聘數據爲例，首先分析一下網頁特徵，要爬取的數據職位名稱、公司名稱、職位月薪這些數據是直接渲染在網頁中的，所謂的深度爬取則是在只抓取一個url的情況下獲取該頁面上其他頁面的鏈接，然後將這些url加入到urljoin（）中進行一一爬取。 以下是簡單的scrapy框架的底層圖解： 1.首先，讓我們先創建一個scrapy項目： python2 -m scrapy startp

>>阅读原文<<