網站遲遲不被收錄，竟然是這個坑

背景 最近寫了個網站，想提交被百度收錄。但是兩個月了百度遲遲沒有收錄，後來排查並優化了網站內容、標題、關鍵字等各種內容。但是失蹤沒有被收錄，今天發現竟然是這個小問題導致網站遲遲不被收錄。大家一起看下。 百度提示有禁用 由於該網站的robots.txt文件存在限制指令（限制搜索引擎抓取），系統無法提供該頁面的內容描述； 根據這個提示，我這服務器上找是否有robots.txt文件，找了很久，沒有發現。

>>阅读原文<<