高級架構師實戰：如何用最小的代價完成爬蟲需求

一  緣起 在我工作的多家公司，有衆多的領域，如房產，電商，廣告等領域。儘管業務相差很大，但都涉及到爬蟲領域。開發爬蟲項目多了後，自然而然的會面對一個問題—— 這些開發的爬蟲項目有通用性嗎？ 有沒有可能花費較小的代價完成一個新的爬蟲需求？ 在維護運營過程中，是否能夠工具化，構建基於配置化的分佈式爬蟲應用？ 這就是是我們今天要討論的話題。 二  項目需求 立項之初，我們從使用的腳度試着提幾個需求。

>>阅读原文<<