爬蟲開發知識入門基礎（4）

爬蟲加速 當爬取的數據量非常大時，如何高效快速地進行數據抓取是關鍵。 常見的措施有多線程、多進程、異步、分佈式、細節優化等。 爬蟲加速 / 多線程、多進程 爬蟲是網絡請求密集型任務，所以使用多進程和多線程可以大大提高抓取效率，如使用 threading、multiprocessing 等。 爬蟲加速 / 異步 將爬取過程改成非阻塞形式，當有響應式再進行處理，否則在等待時間內可以運行其他任務，如使用

>>阅读原文<<