douban.com 豆瓣的日記頁面屏蔽了百度蜘蛛

經過curl僞造百度蜘蛛的頭，嘗試抓取豆瓣上的日記文章，發現返回404.

而谷歌蜘蛛沒有被屏蔽。

而經測試，豆瓣的group組文章能夠被百度蜘蛛抓取。

最後經過百度搜索豆瓣的日記和組，發現日記文章基本沒有收錄，就算偶爾有幾個也是11年的快照。

組頁面正常。