解決Scrapy性能問題——案例五（Item併發太多導致溢出）

症狀：爬蟲對於每個Response都產生了多個Item，系統的吞吐量比期望的要低，並且可能會出現和前一個案例相同的下載器開/關現象。 示例：這裏我們假設有1000個請求，每個返回的頁面有100個Item，響應時間爲0.25s，Item在pipeline中的處理時間爲3s。分別把CONCURRENT_ITEMS設置成從10到150的值來運行爬蟲： for concurrent_items in 10

>>阅读原文<<