Python爬蟲從入門到放棄(十八)之 Scrapy爬取所有知乎用戶信息(上)

本文出自「python修行路」博客,http://www.cnblogs.com/zhaof/p/7215617.html 爬取的思路 首先我們應該找到一個賬號,這個賬號被關注的人和關注的人都相對比較多的,就是下圖中金字塔頂端的人,然後通過爬取這個賬號的信息後,再爬取他關注的人和被關注的人的賬號信息,然後爬取被關注人的賬號信息和被關注信息的關注列表,爬取這些用戶的信息,通過這種遞歸的方式從而爬取整
相關文章
相關標籤/搜索