Scrapy 使用CrawlSpider整站抓取文章內容實現

剛接觸Scrapy框架，不是很熟悉，之前用webdriver+selenium實現過頭條的抓取，但是感覺對於整站抓取，之前的這種用無GUI的瀏覽器方式，效率不夠高，所以嘗試用CrawlSpider來實現。 這裏通過一個實例加深對Scrapy框架的理解。 本文開發環境： Win7 64位 Python 3.6 Scrapy 1.5.1 VS Code 1.27.2 本文目標：抓取網站https://

>>阅读原文<<