WebMagic Avalon設計草圖

建立爬蟲

這裏能夠配置爬蟲的基本信息。

爬蟲的抽取邏輯PageProcessor採用模板化的思想，編寫一個Java文件以後，提供一些屬性注入點，程序會自動根據注入點，產生表單。

管理爬蟲

這裏能夠查看爬蟲運行狀態，並對爬蟲進行管理。

worker是正在運行的機器。

爬蟲狀態包括總共url，下載頁面數，失敗數等。失敗數能夠點擊查看詳細結果及異常。