爬蟲之普通的模擬登錄

時間 2019-11-17

標籤爬蟲普通模擬登錄欄目網絡爬蟲简体版

原文原文鏈接

準備知識

post與get有什麼區別：html

根據HTTP規範，GET通常用於獲取/查詢資源信息，應該是安全的和冪等。而POST通常用於更新資源信息
get是在url中傳遞數據，數據放在請求頭中。 post是在請求體中傳遞數據
get傳送的數據量較小，只能在請求頭上發送數據。post傳送的數據量較大，通常被默認爲不受限制。
get安全性很是低，post安全性較高。可是執行效率卻比Post方法好。建議：一、get方式的安全性較Post方式要差些，包含機密信息的話，建議用Post數據提交方式；二、在作數據查詢時，建議用Get方式；而在作數據添加、修改或刪除時，建議用Post方式；

概述

在平常爬蟲中，有些網站須要登陸才能獲取網站信息，這時咱們須要寫一個模擬登錄，才能去獲取要爬取的頁面，而後去分析提取。安全

模擬登錄抽屜網

1.咱們首先打開抽屜網站，選擇登錄（沒註冊的先註冊），咱們按要求輸入帳號密碼，這時咱們故意輸錯密碼，打開f12開發者工具，點擊network選項，而後點擊登錄，截圖以下：

咱們經過請求頭信息發現，裏面有一個form表單，提交了3項數據，咱們也能夠注意到它返回的response，

這在頁面上已經反饋給咱們了

模擬登錄

前面分析了數據是如何去提交的，接下來咱們就開始模擬了，咱們寫一個post請求：bash

import requests

response = requests.post(
    url='https://dig.chouti.com/login',
    data = {
        'phone':'8613185007919',
        'password':'155560',
        'oneMonth':'1'
    }

)
print(response.text)
複製代碼

這時咱們來看結果：工具

<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>網站防火牆</title>
<style>
p {
	line-height:20px;
}
ul{ list-style-type:none;}
li{ list-style-type:none;}
</style>
</head>

<body style=" padding:0; margin:0; font:14px/1.5 Microsoft Yahei, 宋體,sans-serif; color:#555;">

 <div style="margin: 0 auto; width:1000px; padding-top:70px; overflow:hidden;">
  
  
  <div style="width:600px; float:left;">
    <div style=" height:40px; line-height:40px; color:#fff; font-size:16px; overflow:hidden; background:#6bb3f6; padding-left:20px;">網站防火牆 </div>
    <div style="border:1px dashed #cdcece; border-top:none; font-size:14px; background:#fff; color:#555; line-height:24px; height:220px; padding:20px 20px 0 20px; overflow-y:auto;background:#f3f7f9;">
      <p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px;"><span style=" font-weight:600; color:#fc4f03;">您的請求帶有不合法參數，已被攔截！請勿在惡意提交。</span></p>
<p style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px;">可能緣由：您提交的內容包含危險的攻擊請求, 自動記錄 ip 相關信息通知管理員</p>
<p style=" margin-top:12px; margin-bottom:12px; margin-left:0px; margin-right:0px; -qt-block-indent:1; text-indent:0px;">如何解決：</p>
<ul style="margin-top: 0px; margin-bottom: 0px; margin-left: 0px; margin-right: 0px; -qt-list-indent: 1;"><li style=" margin-top:12px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px;">1）檢查提交內容；</li>
<li style=" margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px; -qt-block-indent:0; text-indent:0px;">2）普通網站訪客，請聯繫網站管理員；</li></ul>
    </div>
  </div>
</div>
</body></html>

複製代碼

網站給咱們反饋這個信息，咱們看到這個信息應該想到，這是網站的反爬措施，這時咱們應該在post請求裏面加上‘User—Agent’，更新最後代碼以下：post

import requests

response = requests.post(
    url='https://dig.chouti.com/login',
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    },
    data = {
        'phone':'8613185007919',
        'password':'155560',
        'oneMonth':'1'
    }

)
print(response.text)
複製代碼

咱們運行一下看看結果：網站

{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_53360741818"}}}
複製代碼

說明成功了，這時咱們的模擬登錄就完成了ui

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。