scrapy框架創建爬蟲項目

首先，我們需要先了解一下scrapy。 scrapy是什麼？是一個非常強大的python爬蟲框架，底層語言使用python實現。既然是框架，肯定已經實現了很多其他的功能，用戶只需要將自己的精力放到自己的業務邏輯中即可。多進程、多線程、隊列、去重 安裝：pip install scrapy scrapy的工作原理 引擎（engine）、爬蟲（spiders）、調度器（scheduler）、下載

>>阅读原文<<