對webmagic的一個example進行Debug——框架執行流程

筆者前言 由於業務需求,突然需要在Spring上支持爬蟲業務,於是上頭選擇了這個較爲輕量級的框架。 其實筆者在收到爬蟲任務時,要求自己空手從零製作一個爬蟲,用上了Jsoup作爲解析包。早期單單使用Jsoup做小爬蟲是能滿足的,但隨着中期面對規模,小爬蟲的效率是不夠的,然後就需要藉助框架。 而框架是要先進行了解,再進行使用的!!! webmagic小概 官文 http://webmagic.io/d
相關文章
相關標籤/搜索