通過分析Ajax請求抓取【今日頭條】「街拍」美圖

有一些網頁直接請求得到的HTML代碼並沒有在網頁中看到的內容，因爲一些信息是通過Ajax加載，並通過js渲染生成的，這時就需要通過分析網頁的請求來獲取想要爬取的內容。本文通過抓取今日頭條街拍美圖講解一下具體操作步驟。 網絡庫：Requests 解析庫：BeautifulSoup+正則表達式 存儲數據庫：MongoDB 其他庫：PyMongo 請確保以上庫已經正確安裝。 目標站點分析 打開今日頭條的

>>阅读原文<<