爬蟲數據時如何設置IP自動循環切換？

當你想要爬一個難度比較大的網站數據時候，IP的循環切換是一件不容易的事。你會忽然意識到，爬蟲自己可能只是佔據了整個項目的25%，處理IP循環切換這種事可能就要佔據70%的精力。

爲何處理IP循環切換須要那麼多精力？

測試代理網絡，確保是匿名的狀況下。由於你雖然用的是代理網絡，但並不意味着你的主IP地址不會被識別查到。透明和低匿名程度會泄露你爬蟲服務器的IP地址。

這種狀況下，我試過幾種可行的方法，這裏寫給你們：

假如咱們手上有100個代理網絡的IP，那麼，

方法1：用100個代理一次拿100個URL，而後等結果。處理這些結果，而後再一樣方法拿100個URL。每一次代理的延遲時間足夠再來一次爬蟲。

方法2： 先只使用一個代理，而後拿一些它的歷史記錄，而後在另外一個不一樣的代理網絡上循環切換。拿的歷史記錄能夠是5-50之間任何一個數字，取決於你的目標網站，數字越大，風險就越大。

方法3：把你的代理分紅幾個組。舉個例子，你的代理總量的20%（10個代理），而後用方法1的方式，而後按照組的形式去循環切換。

方法4：只用1個代理，固然前提是這個代理能用，沒有被牆。而後就用到這個代理被封掉。我並不建議用這個方法，可是有時候仍是很管用的。

若是你以爲這些方法用起來太麻煩，太花精力，那麼強推Luminati，一家以色列公司的代理網絡。350萬個全世界各個國家各個城市的IP，自動切換。自定義設置，按照請求切換IP，或者按照時間切換。350萬個IP無限切換，開源API。

 

VX：nikkkkkkie（6個k）

Q：352681016

7天試用：http://t.cn/Ru4Lzh3