設置nginx讓baidu,google等爬蟲抓取不同語言的頁面

很多網站都有多語言版本，站長往往希望baidu爬蟲爬中文頁面，而google爬蟲爬英文頁面。於是，如果網站如以nginx做前端的話，站長往往會在nginx.conf中設置http頭的accept-language，讓爬蟲重定向到指定語言頁面進行抓取。但是事與願違，google和baidu爬蟲不設置http頭的accept-language，導致爬蟲抓取的是web.xml指定的默認頁面。這樣，bai

>>阅读原文<<