反爬蟲策略

策略一：設置download_delay 做用：設置下載的等待時間，大規模集中的訪問對服務器的影響最大，至關與短期中增大服務器負載。 缺點：下載等待時間長，不能知足段時間大規模抓取的要求，過短則大大增長了被ban的概率。 策略二：禁止cookies Cookie，有時也用其複數形式 Cookies，指某些網站爲了辨別用戶身份、進行 session跟蹤而儲存在用戶本地終端上的數據（一般通過加密）。

>>阅读原文<<