抓取代理IP

寫腳本從指定網站抓取數據的時候，免不了會被網站屏蔽IP。因此呢，就須要有一些IP代理。隨便在網上找了一個提供免費IP的網站西刺作IP抓取。本次實踐抓取的是其提供的國內匿名代理。能夠打開網站查看一下源碼，咱們須要的內容在一個table區域內，經過BS4能很容易提取須要的信息。html Step 1：HTML頁面獲取 觀察能夠發現有咱們須要的信息的頁面url有下面的規律：www.xicidaili.c

>>阅读原文<<