爬蟲小記--抓取過程簡要分析

     前段時間做一個產品。盈利方式也就是賣數據給用戶，用wpf包裝一下，當然數據提供方是由公司定向爬蟲採集的。儘管在實際工作 中沒有接觸這一塊。只是私下能夠玩一玩，研究研究。     既然要抓取網頁的內容。肯定我們會有一個startUrl，通過這個startUrl就能夠用廣度優先的方式遍歷整個網站，就如我們學習數據結 構中圖的遍歷一樣。 既然有「請求網頁」和「解析網頁」兩部分，在代碼實現上。我

>>阅读原文<<