如何用 Python 爬取須要登陸的網站

 

【原文地址：】http://python.jobbole.com/83588/

 

import requests
from lxml import html


# 建立 session 對象。這個對象會保存全部的登陸會話請求。
session_requests = requests.session()



# 提取在登陸時所使用的 csrf 標記
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
 
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

payload = {
    "username": "<你的用戶名>", 
    "password": "<你的密碼>", 
    "csrfmiddlewaretoken": authenticity_token # 在源代碼中，有一個名爲 「csrfmiddlewaretoken」 的隱藏輸入標籤。
}

# 執行登陸
result = session_requests.post(
    login_url, 
    data = payload, 
    headers = dict(referer=login_url)
)


# 已經登陸成功了，而後從 bitbucket dashboard 頁面上爬取內容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
    url, 
    headers = dict(referer = url)
)


# 測試爬取的內容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
 
print(bucket_names)