python -- 拉勾網爬蟲模擬登陸

入門爬蟲一段時間，最近在作一個拉勾網的數據爬蟲分析，項目也快接近尾聲了，因而抽個時間寫一下這個項目中遇到的一些問題。html 目前拉勾網的反爬蟲機制仍是能夠的，一開始用scrapy shell 分析拉勾網，發現拉勾網要校驗useragent，而後訪問不到幾回就會被重定向到登陸頁面，即拉勾網會校驗cookie。python 下面是模擬登錄的思路： 拉勾網登陸頁面： https://passport.

>>阅读原文<<