開發一款開源爬蟲框架系列（四）：設計fetcher

這一期咱們來聊聊怎麼設計fetcher，既然說到設計，咱們首先要明確設計的目的。fetcher的主要功能是根據傳入的url獲取網頁內容，同時咱們還面臨以下一些問題：java 一、使用什麼工具發出http請求下載網頁？編程 【答】使用最新的httpclienttomcat 二、怎麼提升下載的性能？網絡 【答】由於性能消耗主要在網絡IO，那麼咱們要提升下載的性能能夠使用線程池多線程併發下載網頁，同時爲

>>阅读原文<<