day01 - 爬蟲基礎知識

一、爬蟲介紹 網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬客戶端發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序。 總之 只要是瀏覽器能做的事情，原則上，爬蟲都能夠做 二、分類 通用爬蟲 通常指搜索引擎的爬蟲 聚焦爬蟲 針對特定網站的爬蟲 流程 三、通用搜索引擎侷限性 通用搜索引擎所返回的網頁裏90%的內容無用。 圖片、音頻、視頻多媒體的內容通用搜索引擎無能爲力 不同

>>阅读原文<<