使用 Scrapy 構建一個網絡爬蟲

點擊上方「程序員大咖」，選擇「置頂公衆號」 關鍵時刻，第一時間送達！ 記得n年前項目需要一個靈活的爬蟲工具，就組織了一個小團隊用Java實現了一個爬蟲框架，可以根據目標網站的結構、地址和需要的內容，做簡單的配置開發，即可實現特定網站的爬蟲功能。因爲要考慮到各種特殊情形，開發還耗了不少人力。後來發現了Python下有這個Scrapy工具，瞬間覺得之前做的事情都白費了。對於一個普通的網絡爬蟲功能，Sc

>>阅读原文<<