Java爬蟲框架(二)--模塊設計之一

一、        模塊 1.      Scheduler Scheduler負責啓動爬蟲,停止爬蟲,監控爬蟲的狀態。   Scheduler在調度爬蟲時,藉助於Quartz,設置爬蟲在某個時刻啓動。同一個名字的爬蟲是stateful的。 Task:初始化任務。 Trigger: 觸發器,描述何時觸發爬蟲。 開放Scheduler遠程API,可以通過爬蟲配置管理平臺管理和監控爬蟲。 2.    
相關文章
相關標籤/搜索