爬蟲（隱藏）

1. 修改header目的是爬取網絡的時候不被服務器屏蔽。一些網站痛恨程序訪問網絡，會主動把程序掐掉，爲了使代碼持續幹活，就要隱藏，看起來更像是普通人通過瀏覽器的正常點擊。服務器檢查鏈接user-Agent 的header的類型。 可以通過修改程序的headers，兩種方法： 當批量抓取時，頻繁操作，給服務器帶來巨大壓力，服務器會拒絕訪問。爲了應對，有兩種策略： 1. 設置延時，讓服務器看起來我們

>>阅读原文<<