Python_簡單網絡爬蟲獲取網頁數據

寫了一個簡單的網絡爬蟲，用於獲取智聯招聘上一線及新一線城市所有與BIM相關的工作信息以便做一些數據分析。 首先通過chrome在智聯招聘上搜索BIM的職位，跳出頁面後ctrl+u查看網頁源代碼，然而並沒有找到當前頁面的職位信息。然後快捷鍵F12打開開發者工具窗口，刷新頁面，通過關鍵字過濾文件，找到一個包含職位的數據包。  查看這個文件的請求URL，分析其構造發現數據包的請求URL由 ‘https:

>>阅读原文<<