百度站長後臺網站蜘蛛抓取時間很長初步優化 Baiduspider每次抓取耗時是否有影響

我們在後臺看到這樣的抓取耗時： 平均耗時1秒到2.5秒左右，只能算是一般了。 如果能降低耗時那是最好不過了，我們使用瀏覽器F12進行檢查！ 我們使用瀏覽器檢測爲如下結果: 傳輸大小24k 原始大小85k 耗時700ms+ 我們使用HTML壓縮清理掉註釋空格等等佔用大小的字符，然後啓用gzip進行壓縮。 百度官方介紹： 工程師答：1秒是最好，最多4至5秒也可以接受，如果時間再長，恐怕蜘蛛會過段時間再

>>阅读原文<<