python爬蟲——requests模擬登入，模擬登入豆瓣

1.下載抓包神器fiddler

fiddler官網：fiddler下載，一般狀況下下載fiddler2版本，一直Next就能夠下載成功了。

2.登入你想爬取的界面（用ie瀏覽器）

如用ie登入進豆瓣：http://www.douban.com/"
這時打開你的fiddler
1.
2.
3.

找到cookie後代碼模擬登入

#-*_coding:utf-8-*-
import requests
reload(__import__('sys')).setdefaultencoding('utf-8')#打印爲中文
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}#構造頭部
cook={"Cookie":'ll="118205"; _ga=GA1.2.740277333.1448884744; _gat=1; bid="iu5QJoQtotc"; ps=y; '}#cookie有改動，你們用本身的cookie就好
url="http://www.douban.com/"
html=requests.get(url,cookies=cook,headers=headers).content#get中提交url,COOKIE,headers
print html

拿到網頁源代碼後就是用正則，用xpath,用美味湯抓數據了。模擬登入仍是很簡單的吧

爬淘寶數據cookie

有興趣的話能夠參考下爬取天貓cookie，感謝社區中的大神回答。

小結：

總的來講，用cookie實現模擬登入就是慢，並且頁面爬多了還容易被封ip。總之，假如想爬取海量資源，還需進階，什麼分佈式，多線程慢慢學吧。