網頁爬蟲系統 設計和實現

爬蟲爬取什麼內容？相親類網站的數據 爬蟲算法：城市列表 --城市--用戶信息，從種子頁面開始爬取頁面 爬蟲的實現步驟：單機版 -- 併發版--分佈式版 分佈式版本，模塊和模塊之間通過網絡來傳輸數據   一、單機版步驟 1.獲取初始頁面的內容 解析gdb和utf-8的編碼 gopm的安裝，使用第三方庫 2.內容匹配方式的選擇（正則表達式） css選擇器 xpath 正則表達式，本課程選擇正則表達式，

>>阅读原文<<