webmagic使用

webmagic是Java語言用於爬蟲的工具。官網地址：http://webmagic.io/,中文文檔地址：http://webmagic.io/docs/zh/ 使用webmagic有3種配置需要注意，日誌配置（log4j），webmagic爬取配置（如超時時間），使用數據庫的話數據庫連接池配置。有一些配置最好做到可以隨機器性能情況而改變配置信息。這樣做的目的是爲了將項目打成包以後在命令行下執

>>阅读原文<<