WebMagic 剖析

WebMagic  首先，爬蟲的本質：基於Http協議請求目標地址獲取響應結果解析並存儲。 01 導語 1、爬蟲基礎知識 2、優秀國產開源爬蟲框架webmagic剖析 02 爬蟲基礎 1、爬蟲的本質 爬蟲的本質：基於Http協議請求目標地址獲取響應結果解析並存儲。 2、HTTP請求 請求頭（Request Headers）：包裝了http請求的基本信息，比較重要的如：user-agent、refe

>>阅读原文<<