如何維護一個1000 IP的免費代理池

楔子 好友李博士要買房了, 前幾天應邀幫他抓鏈家的數據分析下房價, 爬到一半遇到了驗證碼.mysql 李博士的想法是天天把鏈家在售的二手房數據都抓一遍, 而後按照時間序列分析. 鏈家線上在交易的二手房數據大概有30000餘套, 而一天只有86400秒, 也就是最慢3s也要訪問一個頁面. 測試按照這種頻率, 大概訪問100個頁面就會被封了, 並且封鎖的時間還不短, 至少在12小時左右. 若是想要天天

>>阅读原文<<