python 爬取萬方數據

萬方數據是最早的數據平臺，針對非計算機專業的用戶羣體來說，需要經常下載數據。 因此今天你用scrapy框架實現一個萬方數據下載的爬蟲。只需要簡單部署即可使用，下載的數據採用萬方統一的規定格式存儲。 下面展示爬蟲主代碼： items.py文件字段定義： 在代碼中我儘可能詳細的備註了才用xpath獲取元素的方式和html結構中可能出現的坑。 若你在學習爬蟲，可以參考代碼仔細學習下。

>>阅读原文<<