數據採集----網絡爬蟲（一）

網絡爬蟲（Web Crawler/Spider） 數據採集的主要方式 按照必定規則，自動抓取萬維網信息的程序或者腳本 部分或者所有抽取抓取到的信息，使數據進一步結構化linux 合法性–Robots協議 深度與廣度優先 * 靜態和動態網頁爬蟲 靜態網頁：爬蟲邏輯比較簡單 動態網頁：網頁讀取過程須要額外的加載過程 web 泛用和主爬蟲 網絡爬蟲的基本架構 爬取模塊 URL批量獲取數據，模擬http請

>>阅读原文<<