scrapy爬取免費代理IP存儲到數據庫構建自有IP池

以抓取西刺代理網站的高匿IP並存儲到mysql數據庫爲例 西刺網：http://www.xicidaili.com/nn/ 運行環境：scrapy1.0.3 python2.7.10 需要安裝MySQLdb模塊  pip install mysql-python spider的編寫步驟： 1、定義抓取的網站 2、定義需要抓取的鏈接 3、用xpath對網站內容進行解析 填寫settings.py文件

>>阅读原文<<