crawler_爬蟲代理方案

爬蟲每每會遇到各類限制ip問題

 

 

 

理方案（爬蟲）

IP代理軟件

優點
標記: 是

自動切換IP

基本無開發成本
標記: 黃色, 考慮切換IP時 ，網絡瞬時異常

IP池，由商家維護

劣勢
標記: 非

部署

每一個節點都須要部署
節點數量超多時，也是一部分工做量
購買的軟件，通常有限制同時在線數量， 5
可經過不一樣費用套餐實現

ip碰撞

不一樣的節點可能在同一時間會用到同一個ip，可經過調整切換代理ip頻度減低碰撞重疊機率

購買IP代理池

優點
標記: 是

分發可控

穩定性相對較強

購買IP可能會更便宜
標記: ？

部署方便
標記: 節點數量多時，不用考慮ip代理 ，由調度分發

劣勢
標記: 非

本身維護

代理ip失效

開發成本，調試周期長
標記: 紅色

ip潛在不穩定風險

驗證碼人工打碼備選方案

優點
標記: 是

解決防爬嚴格的網站

準確率高

劣勢
標記: 非

人工維護成本

潛在驗證碼輸入次數超限封殺