搜索引擎蜘蛛機器人User-Agent特徵收集

Google Googlebot
Google圖片 Googlebot-Image
Google移動 Googlebot-Mobile

百度網頁/百度無線/部分百度其餘搜索 Baiduspider
百度圖片 Baiduspider-image
百度視頻 Baiduspider-video
百度新聞 Baiduspider-news
百度搜藏 Baiduspider-favo

360搜索 360Spider
360圖片搜索 360Spider-Image
360視頻搜索 360Spider-Video

新浪微博 SinaWeiboBot（分享時抓圖會用到，不知道還有什麼地方有用到，知道的請告訴我）

必應Bing Bingbot
必應預覽 BingPreview

云云網(雲壤) YRSpider

搜狗 Sogou web spider/Sogou inst spider

阿里雲搜索 YisouSpider

Naver Naverbot/Yeti

Yandex主要索引 YandexBot
Yandex圖片 YandexImages
Yandex視頻 YandexVideo
Yandex多媒體數據索引 YandexMedia
Yandex博客與評論 YandexBlogs
Yandex網站Fav圖標 YandexFavicons
Yandex新聞 YandexNews
Yandex書籤收藏 YandexZakladki