爬蟲進階:Scrapy抓取科技平臺Zealer

開篇   這次的目標網站也是本人一直以來有在關注的科技平臺:Zealer,爬取的信息包括全部的科技資訊以及相應的評論。默認配置下運行,大概跑了半個多小時,最終抓取了5000+的資訊以及10幾萬的評論。 Zealer Media 說明及準備   開發環境:Scrapy、Redis、PostgreSQL   數據庫表:tb_zealer_series、tb_zealer_media、tb_zealer
相關文章
相關標籤/搜索