異步爬蟲 aiohttp使用

Requests庫是一個阻塞式HTTP請求庫,當咱們發出一個請求後,程序會一直等待服務器響應,直到獲得響應後,程序纔會進行下一步處理。其實,這個過程比較耗費資源。若是程序能夠在這個等待過程當中作一些其餘的事情,如進行請求的調度、響應的處理等,那麼爬取效率必定會大大提升。aiohttp就是這樣一個提供異步Web服務的庫,從Python 3.5版本開始,Python中加入了async/await關鍵字
相關文章
相關標籤/搜索