史上最全反爬蟲方案彙總

通過User-Agent來控制訪問 無論是瀏覽器還是爬蟲程序，在向服務器發起網絡請求的時候，都會發過去一個頭文件：headers，比如知乎的requests headers 這裏面的大多數的字段都是瀏覽器向服務器」表明身份「用的 對於爬蟲程序來說，最需要注意的字段就是：User-Agent 很多網站都會建立 user-agent白名單，只有屬於正常範圍的user-agent才能夠正常訪問。 爬蟲方

>>阅读原文<<