爬蟲技術棧

一個好的爬蟲工程師須要瞭解各類IT技術，由於不一樣的網頁結構不一樣，使用的技術不一樣，爬取要求不一樣，因此寫爬蟲就要熟悉各類網絡開發相關的技術。如下是爬蟲涉及的一些技術要點。css 1. 前端相關：包括html結構，js，ajax請求過程，css，h5，cookie，sessionhtml 2. 網絡相關：request和response流程，http知識，代理proxy的使用前端 3. 存儲相關

>>阅读原文<<