頭條搜索爬蟲暴力抓取網站內容致使大量網站不一樣程度癱瘓

最近有站長在網上發文吐槽表示，字節跳動爲了快速發展搜索業務派出爬蟲四處暴力抓取網站內容，部分配置較低的網站已經直接癱瘓，給中小網站主們形成了很大的損失和困擾，嚴重影響了網站正常的用戶訪問。html 該站長表示，今年7月份，他忽然發現公司的網站常常性打不開，網頁加載極其緩慢，有時甚至直接癱瘓。通過一系列排查後，在服務器日誌上發現了bytespider爬蟲的痕跡。該爬蟲抓取的頻率天天達幾百萬次，高則上

>>阅读原文<<