控制Wordpress對搜索引擎的可見性

網站經過Robots協議告訴搜索引擎哪些頁面能夠抓取，哪些頁面不能抓取，這些經過robots.txt體現。

wordpress自己沒有robots.txt，可是用根目錄訪問/robots.txt，若是服務器沒有這文件的話，wordpress會自動生成一個，而這個文件能夠經過後臺進行開啓和關閉。

方法一：修改動態函數規則，後臺->設置，

當禁止瀏覽器訪問時，訪問/robots.txt

User-agent: *
Disallow: /

當容許時，訪問/robots.txt

User-agent: *
Disallow: /w/wp-admin/ Allow: /w/wp-admin/admin-ajax.php

 

方法二：修改生成規則

在wp-includes目錄下找到functions.php文件，能夠看到系統默認的robots.txt文件的定義規則

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    /**
     * Fires when displaying the robots.txt file.
     *
     * @since 2.1.0
     */
    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Allow: $path/wp-admin/admin-ajax.php\n";
    }

    /**
     * Filter the robots.txt output.
     *
     * @since 3.0.0
     *
     * @param string $output Robots.txt output.
     * @param bool   $public Whether the site is considered "public".
     */
    echo apply_filters( 'robots_txt', $output, $public );
}

 

方法三：手動建立robots.txt上傳至根目錄

robots.txt文件格式和使用>>

http://zhanzhang.baidu.com/robots/index

在線生成工具>>

http://tool.chinaz.com/robots/

 

方法四：禁止收錄某一個頁面

能夠在當頁頭部加入：

<meta name="robots" content="noindex,nofollow">

意思是禁止全部搜索引擎索引本頁面,禁止跟蹤本頁面上的連接。

noindex:告訴蜘蛛不要索引本頁面。

nofollow:告訴蜘蛛不要跟蹤本頁面上的連接。

nosnippet:告訴蜘蛛怒要在搜索結果中顯示說明文字。

noarchive:告訴搜索引擎不要顯示快照。

noodp:告訴搜索引擎不要使用開放目錄中的標題和說明。