分佈式節點部署爬蟲管理平臺

管理平臺可以實現在多個節點上跑爬蟲任務的需求，也就是在分佈式節點上管理爬蟲。例如有多臺服務器，需要在這些服務器集羣上運行、監控、操作相關爬蟲腳本，並集中統一查看和管理，這種應用場景就非常適合天生支持分佈式管理的爬蟲管理平臺Crawlab。要讓各個節點運行的Crawlab服務協同工作在同一個網絡，只需要讓這些服務連接到MongoDB和Redis數據庫，而不需要暴露自己的IP和端口。     下圖是一

>>阅读原文<<