簡單的爬蟲每日筆記

2018.3.2 怎麼提升爬蟲的效率 1）換個性能更好的電腦 2）網絡使用光纖 3）使用多線程爬蟲 4）使用多進程爬蟲 5）分佈式爬蟲 6）提升數據的寫入速度 反反爬蟲的應用措施 1）隨機修改User-Agent 2)禁用cookie追蹤 3）放慢爬蟲速度 4）使用代理動態更換ip（本機電腦的ip地址不變，動態ip是代理ip） 5）分佈式（一般用不同區域的電腦，不適用一個局域網下，應爲ip地址相同

>>阅读原文<<