requests設置代理可以,scrapy設置代理就超時 問題記錄

今天被自己坑了一把,我爬下來的免費代理 ip。明明用requests設置proxies,返回就200。用scrapy設置代理就一直報連接超時的問題(不能用的那種)。scrapy的代理設置木有問題(網上一堆教程) 如上圖,測試之後發現 都是過!!。但是在scrapy中就報錯。我之後才發現原來requests的proxies會做判斷,根據訪問的url的類型來決定用那個代理。因爲我url是https的類
相關文章
相關標籤/搜索