用scrapy數據抓取實踐

本文來自網易雲社區 作者：沈高峯 數據分析中需要用到的不少數據都是需要進行抓取的，並且需要對抓取的數據進行解析之後存入數據庫。 scrapy是一個強大的爬蟲框架，本文簡單介紹下使用scrapy進行垂直抓取的實踐。 scrapy整體構架如下圖所示，進行簡單網頁抓取時，僅僅需要填充Spider和Item Pipeline部分代碼就可以了，其他內容，scrapy都會自動處理好。 安裝完scrapy之後，

>>阅读原文<<