利用aiohttp實現異步爬蟲

  asyncio能夠實現單線程併發IO操做,是Python中經常使用的異步處理模塊。關於asyncio模塊的介紹,筆者會在後續的文章中加以介紹,本文將會講述一個基於asyncio實現的HTTP框架——aiohttp,它能夠幫助咱們異步地實現HTTP請求,從而使得咱們的程序效率大大提升。   本文將會介紹aiohttp在爬蟲中的一個簡單應用。   咱們的項目來源於:Scrapy爬蟲(5)爬取噹噹網
相關文章
相關標籤/搜索