利用Scrapy爬取知乎用戶詳細信息並存至MongoDB

本節目標 本節要實現的內容有： 從一個大V用戶開始，通過遞歸抓取粉絲列表和關注列表，實現知乎所有用戶的詳細信息的抓取。 將抓取到的結果存儲到MongoDB，並進行去重操作。 思路分析 我們都知道每個人都有關注列表和粉絲列表，尤其對於大V來說，粉絲和關注尤其更多。 如果我們從一個大V開始，首先可以獲取他的個人信息，然後我們獲取他的粉絲列表和關注列表，然後遍歷列表中的每一個用戶，進一步抓取每一個用戶的

>>阅读原文<<