Python爬蟲（知乎live）從入門到進階

網絡爬蟲 網絡爬蟲時一個自動的通過網絡抓取互聯網上的網頁的程序，獲取數據或者是提交數據給網站都是爬蟲應該有的。 1、優化爬蟲爬取方法 針對網絡延時，頁面渲染速度，反爬蟲策略： （1）併發分佈式的爬蟲，利用隊列減少數據庫的訪問，批量取，臨時存儲數據 （2）選擇合適的數據庫，並建立正確的索引，用Nosql數據庫如MongoDB （3）瞭解業務，減少請求次數，API調用盡可能用批量 （4）併發效率並不是

>>阅读原文<<