爬蟲——cookie模擬登錄

cookie適用於抓取須要登陸才能訪問的頁面網站

cookie和session機制

http協議爲無鏈接協議，cookie: 存放在客戶端瀏覽器，session: 存放在Web服務器

 

人人網登陸案例

方法一：登陸網站手動抓取Cookie

1、先登陸成功1次，獲取到攜帶登錄信息的Cookie

  登陸成功 - 我的主頁（http://www.renren.com/971989504/profile） - F12抓包 - 刷新我的主頁 - 找到主頁的包(home)

　　通常cookie都在all--> home 數據包中，

2、攜帶着cookie發請求

import requests
​
class RenRenLogin(object):
   def __init__(self):
       # url爲須要登陸才能正常訪問的地址
       self.url = 'http://www.renren.com/967469305/profile'
       # headers中的cookie爲登陸成功後抓取到的cookie
       self.headers = {
           # 此處注意cookie，要本身抓取
           "Cookie": "xxx",
           "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
      }
​
   # 獲取我的主頁響應
   def get_html(self):
       html = requests.get(url=self.url,headers=self.headers,verify=False).text
       print(html)
       self.parse_html(html)
​
   # 可獲取並解析整我的人網內須要登陸才能訪問的地址
   def parse_html(self,html):
       pass
​
if __name__ == '__main__':
   spider = RenRenLogin()
   spider.get_html()

方法二：requests模塊處理Cookie

requests模塊提供了session類，來實現客戶端和服務端的會話保持​

一、實例化session對象

  session = requests.session()

二、讓session對象發送get或者post請求

  res = session.post(url=url,data=data,headers=headers)

  res = session.get(url=url,headers=headers)​

3. 思路梳理

瀏覽器原理: 訪問須要登陸的頁面會帶着以前登陸過的cookie

程序原理: 一樣帶着以前登陸的cookie去訪問 - 由session對象完成

一、實例化session對象

二、登陸網站: session對象發送請求，登陸對應網站，把cookie保存在session對象中

三、訪問頁面: session對象請求須要登陸才能訪問的頁面,session可以自動攜帶以前的這個cookie,進行請求

具體步驟

一、尋找登陸時POST的地址

  在登錄界面查看網頁源碼，查看form表單，找action對應的地址: http://www.renren.com/PLogin.do

二、發送用戶名和密碼信息到POST的地址

  * 用戶名和密碼信息以字典的方式發送

    鍵 ：<input>標籤中name的值(email,password)

    值 ：真實的用戶名和密碼

    post_data = {'email':'','password':''}

程序實現

一、先POST: 把用戶名和密碼信息POST到某個地址中

二、再GET: 正常請求去獲取頁面信息

import requests
from lxml import etree


class RenrenSpider(object):
    def __init__(self):
        self.post_url = 'http://www.renren.com/PLogin.do'
        self.get_url = 'http://www.renren.com/967469305/profile'
        # email和password爲<input>節點中name的屬性值
        self.form_data = {
            'email': '******',     # 用戶名
            'password': '*******'} # 密碼
        self.session = requests.session()  # 實例化session會話保持對象
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
            'Referer': 'http://www.renren.com/SysHome.do'}

    # 先post 再get
    def get_html(self):
        # 先POST,把用戶名和密碼信息POST到一個地址
        self.session.post(url=self.post_url, data=self.form_data, headers=self.headers)
        # 再session.get()我的主頁
        html = self.session.get(url=self.get_url, headers=self.headers).text
        self.parse_html(html)

    def parse_html(self, html):
        parse_html = etree.HTML(html)
        r_list = parse_html.xpath('//li[@class="school"]/span/text()')
        print(r_list)


if __name__ == '__main__':
    spider = RenrenSpider()
    spider.get_html()

方法三

1、把抓取到的cookie處理爲字典
2、使用requests.get()中的參數:cookies

import requests
from lxml import etree


class RenrenLogin(object):
    def __init__(self):
        # url爲須要登陸才能正常訪問的地址
        self.url = 'http://www.renren.com/967469305/profile'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}

    # 將字符串cookie轉爲字典格式
    def get_cookie_dict(self):
        cookie_dict = {}
        cookies = 'td_cookie=18446744073093166409; anonymid=jzc3yiknvd9kwr; depovince=GW; jebecookies=67976425-f482-44a7-9668-0469a6a14d16|||||; _r01_=1; JSESSIONID=abcp_jUgWA4RdcgwXqtYw; ick_login=f502b729-d6cb-4085-8d74-4308a0a8a17d; _de=4DBCFCC17D9E50C8C92BCDC45CC5C3B7; p=cae86d9f12c5a1ba30901ad3d6ac992f5; first_login_flag=1; ln_uact=13603263409; ln_hurl=http://hdn.xnimg.cn/photos/hdn221/20181101/1550/h_main_qz3H_61ec0009c3901986.jpg; t=6d191b90a0236cea74f99b9d88d3fbd25; societyguester=6d191b90a0236cea74f99b9d88d3fbd25; id=967469305; xnsid=6cbc5509; ver=7.0; loginfrom=null; jebe_key=bd6eb791-92b2-4141-b8ed-53d17551d830%7C2012cb2155debcd0710a4bf5a73220e8%7C1565838783310%7C1%7C1565838784555; jebe_key=bd6eb791-92b2-4141-b8ed-53d17551d830%7C2012cb2155debcd0710a4bf5a73220e8%7C1565838783310%7C1%7C1565838784558; wp_fold=0'
        for kv in cookies.split('; '):
            # kv: 'td_cookie=184xxx'
            key = kv.split('=')[0]
            value = kv.split('=')[1]
            cookie_dict[key] = value

        return cookie_dict

    # 獲取我的主頁響應
    def get_html(self):
        # 獲取cookies
        cookies = self.get_cookie_dict()
        print(cookies)
        html = requests.get(url=self.url, headers=self.headers, cookies=cookies, ).text
        self.parse_html(html)

    # 可獲取並解析整我的人網內須要登陸才能訪問的地址
    def parse_html(self, html):
        parse_html = etree.HTML(html)
        r_list = parse_html.xpath('//*[@id="operate_area"]/div[1]/ul/li[1]/span/text()')
        print(r_list)


if __name__ == '__main__':
    spider = RenrenLogin()
    spider.get_html()