scrapy學習之路5(selenium集成到scrapy下(crawspider未測試))

1:基本

Middlewares.py(downloader)

spider/xxx.py

settings.py

---

2:優化

爲了避免讓chrome每次啓動,添加它到Middleware定義類的初始方法中啓動

Middlewares.py(downloader)

---

3:優化(瀏覽器的自動開啓與關閉)

在spider/xxx.py中

Middlewares.py(downloader)

加入信號鏈dispatcher,signals
spider/xxx.py

爬蟲結束會輸出