Python爬蟲從入門到放棄(二十四)之 Scrapy登錄知乎

因爲現在很多網站爲了限制爬蟲,設置了爲只有登錄才能看更多的內容,不登錄只能看到部分內容,這也是一種反爬蟲的手段,所以這個文章通過模擬登錄知乎來作爲例子,演示如何通過scrapy登錄知乎 在通過scrapy登錄知乎之前,我們先通過requests模塊登錄知乎,來熟悉這個登錄過程 不過在這之前需要了解的知識有: cookie和session 關於cookie和session我之前整理了一篇博客供參考:
相關文章
相關標籤/搜索