Python實戰異步爬蟲(協程)+分佈式爬蟲(多進程)

引言：咱們在寫爬蟲時常會遇到這樣的問題，當須要爬取多個URL時，寫一個普通的基於requests庫的爬蟲程序爬取時間會很長。由於是順序請求網頁的，而網頁請求和得到響應過程比較耗費時間，程序不得不等待得到當前網頁響應後才能進行下一個URL的爬取，使得總耗時較多。對於這樣的多任務，可使用基於多進程(multiprocessing)和基於Asyncio庫的異步(協程)爬蟲加強併發性，加速爬蟲。php T

>>阅读原文<<