C#構造蜘蛛爬蟲程序

是Internet上一種很有用的程序，搜索引擎利用蜘蛛程序將Web頁面收集到數據庫，企業利用蜘蛛程序監視競爭對手的網站並跟蹤變動，個人用戶用蜘蛛程序下載Web頁面以便脫機使用，開發者利用蜘蛛程序掃描自己的Web檢查無效的鏈接……對於不同的用戶，蜘蛛程序有不同的用途。那麼，蜘蛛程序到底是怎樣工作的呢？ 蜘蛛是一種半自動的程序，就象現實當中的蜘蛛在它的Web（蜘蛛網）上旅行一樣，蜘蛛程序也按照類似的方

>>阅读原文<<