程序員教你通過獲取api爬取新浪微博內容數據實戰

一、回顧 我們之前利用Scrapy爬取豆瓣網站信息時，直接通過加載目標URL返回的Response得到想要的值。我也在後面爬取知乎網站時通過模擬登錄的方式進入到目標URL，也是通過返回的Response得到需要的值。 這一次，我們將通過解析網站的HTTP請求去破解獲取數據的API的方式去爬取想要的數據。 二、找出微博用戶唯一標示：oid 三、找出微博用戶的微博內容api 我們發現在獲取下一頁數據時

>>阅读原文<<