http協議和chrome抓包工具

1.爬蟲的定義 網絡爬蟲是模擬客戶端發送網絡請求，接收請求響應，一種按照一定的規則，自動抓取互聯網信息的程序。 只要是瀏覽器能做的事，理論上，爬蟲都能夠做。 爬蟲的流程：url--->發送數據，獲取響應--->提取數據--->保存 發送請求，獲取響應--->提取url 2.爬蟲分類 1.通用爬蟲：通用爬蟲是搜索引擎抓取系統（百度、谷歌等）的重要組成部分，主要是將互聯網上的網頁下載到本地，形成一個互

>>阅读原文<<