【Python爬蟲4】併發並行下載

文章目錄 1一百萬個網站 1.1用普通方法解析Alexa列表 1.2複用爬蟲代碼解析Alexa列表 2串行爬蟲 3併發並行爬蟲 3.0併發並行工做原理 3.1多線程爬蟲 3.2多進程爬蟲 4性能對比 這篇將介紹使用多線程和多進程這兩種方式併發並行下載網頁，並將它們與串行下載的性能進行比較。 1一百萬個網站 亞馬遜子公司Alexa提供了最受歡迎的100萬個網站列表（http://www.alexa.

>>阅读原文<<