Python網絡爬蟲(十七)——Scrapy架構

概述 對於爬蟲來說，整個爬蟲包括了網絡請求、數據解析、數據請求、設置代理、多線程等內容，這些部分在之前的內容中都分別進行了說明。因此如果在之前要完成一個爬蟲的話，就要使用上面提到的所有工具，從頭開始一步一步構建自己的爬蟲，這無疑是一項繁瑣的工作，而 Scrapy 解決了這個問題。 Scrapy 則實現了上邊的所有功能，Scrapy 通過將基本的功能進行封裝，從而提高了開發的效率。而正是因爲它強大的

>>阅读原文<<