scrapy 添加緩存中間件 減小網絡重複請求

目前公司作的爬蟲，無論測試仍是爬取都是從網絡直接請求資源，在調試的時候我的感受十分耗時間，效率過低。最近受到同事的啓發，作一個本地緩存來提升速度。python 添加中間件cache_middleware() class cache_middleware(object): conn_pool = redis.ConnectionPool(host='localhost', port=637

>>阅读原文<<