robots.txt寫法大全和robots.txt語法的做用

一、若是容許全部搜索引擎訪問網站的全部部分，能夠創建一個空白的文本文檔，命名爲robots.txt放在網站的根目錄下便可，robots.txt寫法以下：php User-agent: * Disallow: 或者 User-agent: * Allow: / 二、若是咱們禁止全部搜索引擎訪問網站的全部部分，robots.txt寫法以下：css User-agent: * Disallow: / 三

>>阅读原文<<