利用robots.txt對wordpress博客進行優化

本站的配置很簡單，由於剛建成哈。

User-agent: *

Disallow: /wp-

1、先來普及下robots.txt的概念：

　　robots.txt(統一小寫)是一種存放於網站根目錄下的ASCII編碼的文本文件，它一般告訴網絡搜索引擎的漫遊器(又稱網絡蜘蛛)，此網站中的哪些內容是不能被搜索引擎的漫遊器獲取的，哪些是能夠被(漫遊器)獲取的。這個文件用於指定spider在您網站上的抓取範圍，必定程度上保護站點的安全和隱私。同時也是網站優化利器，例如屏蔽捉取站點的重複內容頁面。

　　robots.txt目前並非一種標準，只是一種協議!因此如今不少搜索引擎對robots.txt裏的指令參數都有不一樣的看待。

　　2、使用robots.txt須要注意的幾點地方：a

　　一、指令區分大小寫，忽略未知指令，下圖是本博客的robots.txt文件在Google管理員工具裏的測試結果;

　　二、每一行表明一個指令，空白和隔行會被忽略;

　　三、「#」號後的字符參數會被忽略;

　　四、有獨立User-agent的規則，會排除在通配「*」User agent的規則以外;

　　五、能夠寫入sitemap文件的連接，方便搜索引擎蜘蛛爬行整站內容。

　　六、儘可能少用Allow指令，由於不一樣的搜索引擎對不一樣位置的Allow指令會有不一樣看待。

　　3、Wordpress的robots.txt優化設置

　　一、User-agent： *

　　通常博客的robots.txt指令設置都是面對全部spider程序，用通配符「*」便可。若是有獨立User-agent的指令規則，儘可能放在通配「*」User agent規則的上方。

　　二、

   Disallow： /wp-admin/

　　Disallow： /wp-content/

　　Disallow： /wp-includes/

　　屏蔽spider捉取程序文件，同時也節約了搜索引擎蜘蛛資源。

　　三、Disallow： /*/trackback

　　每一個默認的文章頁面代碼裏，都有一段trackback的連接，若是不屏蔽讓蜘蛛去捉取，網站會出現重複頁面內容問題。

　　四、Disallow： /feed

　　Disallow： /*/feed

　　Disallow： /comments/feed

　　頭部代碼裏的feed連接主要是提示瀏覽器用戶能夠訂閱本站，而通常的站點都有RSS輸出和網站地圖，故屏蔽搜索引擎捉取這些連接，節約蜘蛛資源。

　　五、Disallow： /?s=*

　　Disallow： /*/?s=*

　　這個就不用解釋了，屏蔽捉取站內搜索結果。站內沒出現這些連接不表明站外沒有，若是收錄了會形成和TAG等頁面的內容相近。

　　六、Disallow： /?r=*

　　屏蔽留言連接插件留下的變形留言連接。(沒安裝相關插件固然不用這條指令)

　　七、Disallow： /*.jpg$

　　Disallow： /*.jpeg$

　　Disallow： /*.gif$

　　Disallow： /*.png$

　　Disallow： /*.bmp$

　　屏蔽捉取任何圖片文件，在這裏主要是想節約點寬帶，不一樣的網站管理員能夠按照喜愛和須要設置這幾條指令。

　　八、Disallow： /?p=*

　　屏蔽捉取短連接。默認頭部裏的短連接，百度等搜索引擎蜘蛛會試圖捉取，雖然最終短連接會301重定向到固定連接，但這樣依然形成蜘蛛資源的浪費。

　　九、Disallow： /*/comment-page-*

　　Disallow： /*?replytocom*

　　屏蔽捉取留言信息連接。通常不會收錄到這樣的連接，但爲了節約蜘蛛資源，也屏蔽之。

　　十、Disallow： /a/date/

　　Disallow： /a/author/

　　Disallow： /a/category/

　　Disallow： /?p=*&preview=true

　　Disallow： /?page_id=*&preview=true

　　Disallow： /wp-login.php

　　屏蔽其餘的一些形形色色的連接，避免形成重複內容和隱私問題。

　　十、Sitemap:http://***.com/sitemap.txt

　　網站地圖地址指令，主流是txt和xml格式。告訴搜索引擎網站地圖地址，方便搜索引擎捉取全站內容，固然你能夠設置多個地圖地址。要注意的就是Sitemap的S要用大寫，地圖地址也要用絕對地址。

　　上面的這些Disallow指令都不是強制要求的，能夠按需寫入。也建議站點開通谷歌管理員工具，檢查站點的robots.txt是否規範。

　　好了，以上就是對利用robots.txt對wordpress博客進行優化的詳細內容，但願能夠幫助和我同樣剛接觸wordpress博客的同窗。

——

本文摘錄:http://www.williamlong.info/archives/3384.html