華爲移動搜索AspiegelBot爬蟲被發現高頻爬取

繼上次頭條搜索暴力爬取網站信息後，華爲移動搜索AspiegelBot爬蟲近日也被站長髮現開始高頻抓爬網站信息，就和站長頭條差不多。 瞭解到，這個AspiegelBot爬蟲主要模擬安卓機進行抓爬 , UA標識符裏也沒有標註爬蟲所屬公司信息，顯然不想讓人發現，後面有站長深挖才發現這個爬蟲屬華爲搜索旗下的AspiegelBot公司，並且AspiegelBot的爬蟲超高頻抓取甚至堪比上次的頭條爬蟲的暴力抓

>>阅读原文<<