Python爬蟲：爬取免費代理ip

之前寫的幾個爬蟲都只能爬取到少量的信息，這是由於一個ip頻繁地訪問網站，會被認定爲非正常的爬蟲從而被屏蔽，這時候就需要使用代理ip來訪問網站了，具體方法就是在發送request時添加一個proxy參數。代理ip有收費的也有免費的，免費的通常不太穩定，或者根本無法使用。我們的目標是在https://www.xicidaili.com/nn/頁面爬取免費代理ip，然後驗證代理ip可否使用，最後把相關信

>>阅读原文<<