蜘蛛爬行策略或網絡抓取

這些處理被稱爲網絡抓取或者蜘蛛爬行。很多站點，尤其是搜索引擎，都使用爬蟲提供最新的數據，它主要用於提供它訪問過頁面的一個副本，然後，搜索引擎就可以對得到的頁面進行索引，以提供快速的訪問。 打開百度APP，查看更多高清圖片 蜘蛛也可以在web上用來自動執行一些任務，例如檢查連接，確認html代碼；也可以用來抓取網頁上某種特定類型信息，例如抓取電子郵件地址（通常用於垃圾郵件）。 一個網絡蜘蛛就是一種機

>>阅读原文<<