使用Scrapy構建一個網絡爬蟲

記得n年前項目需要一個靈活的爬蟲工具，就組織了一個小團隊用Java實現了一個爬蟲框架，可以根據目標網站的結構、地址和需要的內容，做簡單的配置開發，即可實現特定網站的爬蟲功能。因爲要考慮到各種特殊情形，開發還耗了不少人力。後來發現了Python下有這個Scrapy工具，瞬間覺得之前做的事情都白費了。對於一個普通的網絡爬蟲功能，Scrapy完全勝任，並把很多複雜的編程都包裝好了。本文會介紹如何Scra

>>阅读原文<<