爬蟲（一）：認識爬蟲+搜索引擎+爬蟲分類+爬蟲準備工做+http和https

文章目錄 1、爬蟲工程師的分類 1.初級爬蟲工程師 2.中級爬蟲工程師 3.高級爬蟲工程師 2、認識爬蟲 1.爬蟲定義 2.爬蟲解決的問題 3、搜索引擎 1.搜索引擎的工做流程 2.搜索引擎的侷限性 4、爬蟲分類 5、爬蟲準備工做 1.robot協議 2.網絡地圖sitemap 3.估算網站大小 4.瞭解網站架構 五、獲取網站全部者 6、http和https hash例子————給字符串和文件進行

>>阅读原文<<