爬蟲的思路:數據庫
一、首先要肯定好要爬取的數據是什麼。(這點很重要)============>肯定需求網站
二、根據要爬取的數據找到合適的網站。========================>選好目標請求
三、發送請求到對應網站,返回頁面或數據 =====================>獲取數據數據
四、對返回的內容作處理,將須要的信息提取出來。===============>定位數據文件
五、將提取的數據存儲到數據庫或本地文件。====================>存儲數據