徹底搞懂scrapy中間件

中間件是Scrapy裏面的一個核心概念。使用中間件可以在爬蟲的請求發起之前或者請求返回之後對數據進行定製化修改，從而開發出適應不同情況的爬蟲。 「中間件」這個中文名字和前面章節講到的「中間人」只有一字之差。它們做的事情確實也非常相似。中間件和中間人都能在中途劫持數據，做一些修改再把數據傳遞出去。不同點在於，中間件是開發者主動加進去的組件，而中間人是被動的，一般是惡意地加進去的環節。中間件主要用來輔

>>阅读原文<<