scrapy集成selenium

1.首先要明確scrapy的流程spider將request發給downloader middleware去下載，然後後者再將response交還給spider去解析。 2.因此，在middleware收到request之後，可以不用直接去下載，而使用selenium.webdriver去下載，然後返回response，這涉及到一個模塊scrapy.http.HtmlResponse. 3.同時，

>>阅读原文<<