爬蟲基本工作原理

網絡爬蟲，會自動完成批量網頁信息查找的工具，工作原理可以簡述爲： 爬蟲向預先估計有料的一堆網絡進發，找到相關信息就背下來，放進大本營（控制中心）的倉庫裏，並分類放好；爬蟲又在爬過的網頁中發現其他有潛力的，未爬過的網頁，把url傳回大本營，由大本營進行篩選和優先級排序，確定爬蟲們繼續探寶的新網頁羣。 

>>阅读原文<<