防止搜索引擎蜘蛛程序的抓取

搜索引擎都有本身的「搜索機器人」（ROBOTS），並經過這些ROBOTS在網絡上沿着網頁上的連接（通常是http和src連接）不斷抓取資料創建本身的數據庫。 對於網站管理者和內容提供者來講，有時候會有一些站點內容，不但願被ROBOTS抓取而公開。爲了解決這個問題，ROBOTS開發界提供了兩個辦法：一個是robots.txt，另外一個是The Robots META標籤。php 1、什麼是robot

>>阅读原文<<