scrapy 提升設置

scrapy提升篇之配置 增加併發 併發是指同時處理的request的數量。其有全侷限制和局部(每個網站)的限制。 Scrapy默認的全局併發限制對同時爬取大量網站的情況並不適用，因此您需要增加這個值。 增加多少取決於您的爬蟲能佔用多少CPU。 一般開始可以設置爲 100 。不過最好的方式是做一些測試，獲得Scrapy進程佔取CPU與併發數的關係。 爲了優化性能，您應該選擇一個能使CPU佔用率在8

>>阅读原文<<