Python Scrapy框架速率優化

 先來個圖鎮樓（圖片源自網絡，侵權立刪） scrapy基於twisted異步IO框架，downloader是多線程的。但是，由於python使用GIL（全局解釋器鎖，保證同時只有一個線程在使用解釋器），這極大限制了並行性，在處理運算密集型程序的時候，Python的多線程效果很差，而如果開多個線程進行耗時的IO操作時，Python的多線程才能發揮出更大的作用。（因爲Python在進行長時IO操作時會

>>阅读原文<<