9.1 爬蟲及爬行方式

Web 機器人(Web robot)：自活躍(self-animating)用戶代理，是能夠在無需人類干預的情況下自動進行一系列 Web 事務處理的軟件程序。 很多機器人會從一個 Web 站點逛到另一個 Web 站點，獲取內容，跟蹤超鏈，並對它們找到的數據進行處理。根據這些機器人自動探查 Web 站點的方式，人們爲它們起了一些各具特色的名字，比如「爬蟲」、「蜘蛛」、「蠕蟲」以及「機器人」等，就好像

>>阅读原文<<