從零開始學網絡爬蟲之多進程

在利用Python進行系統管理的時候，特別是同時操做多個文件目錄，或者遠程控制多臺主機，並行操做能夠節約大量的時間。當被操做對象數目不大時，能夠直接利用multiprocessing中的Process動態成生多個進程，十幾個還好，但若是是上百個，上千個目標，手動的去限制進程數量卻又太過繁瑣，此時能夠發揮進程池的功效。 Pool能夠提供指定數量的進程，供用戶調用，當有新的請求提交到pool中時，若是

>>阅读原文<<