博客剛建好必定要作好SEO基本工做，方便各大搜索引擎收錄！！！

seo工做者應該不陌生，robots.txt文件是每個搜索引擎蜘蛛到你的網站以後要尋找和訪問的第一個文件，robots.txt是你對搜索引擎制 定的一個如何索引你的網站的規則。經過該文件，搜索引擎就能夠知道在你的網站中哪些文件是能夠被索引的，哪些文件是被拒絕索引的，咱們就能夠很方便地控制 搜索索引網站內容了。
robots.txt文件的做用：
一、屏蔽網站內的死連接。
二、屏蔽搜索引擎蜘蛛抓取站點內重複內容和頁面。
三、阻止搜索引擎索引網站隱私性的內容。
所以創建robots.txt文件是頗有必要的，網站中重複的內容、頁面或者404信息過多，搜索引擎蜘蛛就會認爲該網站價值較低，從而下降對該網站的「印象分」，這就是咱們常常聽到的「下降權重」，這樣網站的排名就很差了。
robots.txt文件須要注意的最大問題是：必須放置在一個站點的根目錄下，並且文件名必須所有小寫。
robots.txt文件的基本語法只有兩條，第一條是：User-agent，即搜索引擎蜘蛛的名稱；第二條是：Disallow，即要攔截的部分。

內容比較多這裏只寫了一部分，但願剛建好博客的童鞋們，但願各大搜索引擎儘快收錄的，必定要去個人博客看徹底文，而且有個人博客robots.txt的寫法。