【爬蟲實戰】scrapy實戰：爬取知乎用戶信息

簡介 知乎用戶信息是非常大的，本文是一個scrapy實戰：怎樣抓取所有知乎用戶信息。 爬取的思路如下圖所示： 選擇一個知乎用戶作爲根節點 每個用戶都會有關注列表 選擇每一個用戶的關注列表，進行遞歸爬取知乎用戶信息 站點分析 本文以輪子哥爲根節點（根節點可以隨便選擇），打開輪子哥的關注列表，並翻頁查看關注列表: 翻頁是一個AJAX請求，每頁20個關注用戶，並且有一些簡要的用戶信息 其中有一個是url

>>阅读原文<<