asyncio異步編程，3秒600次請求，提升你的爬蟲採集效率

最近深刻探索scrapy框架，發現一個叫twisted的東西，也就是異步編程，進而碰到了asyncio，與結合aiohttp爬蟲的採集速度提升了幾十倍，甚是歡喜，發佈出來與你們一同分享。html import asyncio import re import aiohttp class Crawler: def __init__(self, maxtasks=100):

>>阅读原文<<