HttpWebRequest採集（三）多任務+多線程 web採集

一般情況下在採集時，單個線程的工作速度是相當的慢的。對於大量數據的採集中採集多任務+多線程的方式顯得尤其重要。 這裏曬下我的一個多任務+多線程的代碼類圖。   因最近比較忙，代碼也剛寫一部分，還需完善，就先不發源碼出來。  對於有些加了IP限制的網站，我們只有使用代理來對付，所以要先準備N多個快速的HTTP代理了   代理中國上每天都有更新，不過要想找到很快的代理還真不容易。   此結構僅供參考，

>>阅读原文<<