scrapy-pipelines

前面是調用scapy的本地化存儲 我們來自己寫一發 打開 先初始化 記得關閉 存儲 使能 右邊是優先級，越小優先級越高 運行 結果 結果不對經？那是必須的，因爲我爬的有點頻繁，被禁了啊 不過寫文件那是必須成功的，這個是之前寫的 被禁了怎麼辦？ 這不是爬了好多代理了麼，用代理中間件，找替死鬼 反正封禁的不會是我了 其實也不一定要file，和spider不一定用xpath一樣，你可以換方式 mysql

>>阅读原文<<