Python3網絡爬蟲框架庫scrapy

scrapy是一個爬蟲框架，官方說明文件參考：https://doc.scrapy.org/en/master/topics/architecture.html 自己配置scrapy的用戶會了解到scrapy是基於Twisted配置的，scrapy使用Twisted這個異步網絡庫來處理網絡通訊。scrapy對同一域名允許最多8個併發下載，每2次下載之間沒有延時，所以很容易被檢測到遭封禁。scrap

>>阅读原文<<