爬蟲初識和request使用

一.什麼是爬蟲 　　爬蟲的概念: 通過編寫程序,模擬瀏覽器上網,讓其去互聯網上爬取數據的過程. 　　爬蟲的工作流程: 模擬瀏覽器發送請求->下載網頁代碼->只提取有用的數據->存放於數據庫或文件中 　　 　　 　　爬蟲的分類: 通用爬蟲:爬取全部的頁面數據. 聚焦爬蟲: 抓取頁面中局部的頁面數據 增量式爬蟲:爬取網站中更新出的數據 　　反爬機制 門戶網站會通過制定相關的技術手段阻止爬蟲程序進行數

>>阅读原文<<