WebMagic簡述

1.Spider(整個爬蟲的調度框架) 2.Downloader(頁面下載) 3.PageProcessor(鏈接提取和頁面分析) 4.Scheduler(URL管理) 5.Pipeline(離線分析和持久化)

>>阅读原文<<