python 用grequest 實現真·高併發爬蟲

以前都是使用多線程來實現效率的提高，可是因爲python的GIL鎖的緣由，致使所謂的多線程並非多併發，而是當爬蟲發出去的請求還未等到返回的間隙，繼續執行別的線程，至關於交替輪流執行，是僞多併發。 而grequest庫封裝了gevent和requests，實現了真正的多併發請求，不過也不是說來多少併發多少，也是有邊界的，因此經過size參數設置一下同時併發數。python import greque

>>阅读原文<<