反反爬蟲|應對網站反爬蟲策略，更高效地爬大量數據

1.Headers限制程序員 這應該是最多見的，最基本的反爬蟲手段，主要是初步判斷你是不是真實的瀏覽器在操做。web 這個通常很好解決，把瀏覽器中的Headers信息複製上去就OK了。ajax 值得注意的是，不少網站只須要userAgent信息就能夠經過，可是有的網站還須要驗證一些其餘的信息，好比知乎，有一些頁面還須要 authorization 的信息。因此須要加哪些Headers，還須要嘗試，

>>阅读原文<<