webmagic源碼學習（1）

      如今獲取互聯網信息是一種很普遍的需要，用任何語言實現一個由HTTP發起請求獲取數據功能都很容易，但要完整地處理可能面對的其他問題就有點麻煩了。因爲爬蟲涉及的點不少，因此閱讀一個開源爬蟲能借鑑一些優秀的設計理念，有學習價值。大名鼎鼎的scrapy，只需要編寫頁面處理的邏輯。我選了個模仿它寫的Java系的爬蟲學習：webmagic。       架構上webmagic採取了scrapy架構

>>阅读原文<<