如何用最小的代價完成爬蟲需求

本文轉自：https://news.cnblogs.com/n/566333/ 　　一  緣起 　　在我工作的多家公司，有衆多的領域，如房產，電商，廣告等領域。儘管業務相差很大，但都涉及到爬蟲領域。開發爬蟲項目多了後，自然而然的會面對一個問題—— l 這些開發的爬蟲項目有通用性嗎？ l 有沒有可能花費較小的代價完成一個新的爬蟲需求？ l 在維護運營過程中，是否能夠工具化，構建基於配置化的分佈式爬蟲

>>阅读原文<<