python爬蟲——多線程+協程（threading+gevent）

上一篇博客中我介紹瞭如何將爬蟲改造爲多進程爬蟲，可是這種方法對爬蟲效率的提高不是很是明顯，並且佔用電腦cpu較高，不是很是適用於爬蟲。這篇博客中，我將介紹在爬蟲中普遍運用的多線程+協程的解決方案，親測可提升效率至少十倍以上。 本文既然提到了線程和協程，我以爲有必要在此對進程、線程、協程作一個簡單的對比，瞭解這三個程之間的區別。 如下摘自這篇文章：http://www.cnblogs.com/guo

>>阅读原文<<