打造輕量級可視化數據爬取工具-菩提

作者：jiaqiangwang，騰訊 IEG 後臺開發工程師 背景 在大數據及機器學習日益火爆的今天，數據作爲基石發揮了至關重要的作用。網頁內容爬取作爲數據的一個重要補充來源，數據爬取開發成了一個必不可少的工作。 在業界，普遍的做法是採用 scrapy 等框架不斷進行 case by case 的爬取代碼編寫，這種做法在需求量逐漸增大後會出現大量重複工作、大量針對某個網站或需求開發的特殊邏輯等，導

>>阅读原文<<