【Python3爬蟲】最新的模擬登陸新浪微博教程

1、寫在前面

首先呢，因爲以前重裝系統，又要從新配置環境，而後還有一些別的事，致使我一直沒有寫爬蟲了，不過如今又能夠繼續寫了。

而後我此次說的模擬登陸新浪微博呢，不是使用Selenium模擬瀏覽器操做，畢竟Selenium的效率是真的有些低，因此我選擇用Python發送請求實現模擬登陸，整個過程還算是有點小曲折吧。

 

2、開發環境

Windows10 + Python3.7 + Pycharm + Fiddler

 

3、頁面分析

首先打開新浪微博，網址爲：https://weibo.com/，這裏咱們只須要關注登陸這一部分，以下圖：

這樣看是看不出來東西的，打開開發者工具，刷新一下頁面，找找看有沒有什麼可疑的東西，而後就能找到下面這個包：

看到prelogin就能猜到應該是和登陸有關的了，因而點擊「Preview」查看具體內容：

到這裏仍是什麼都看不出來，也不知道這些數據有什麼用。這時候Fiddler就能派上用場了，首先打開Fiddler，而後在網頁上輸入用戶名和密碼並登陸新浪微博，登陸成功以後在Fiddler中找尋相關信息，能夠找到下面這個url：

https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)

 點開以後能夠看到攜帶了不少參數：

在這些參數中，咱們須要關注的參數爲：su，sp，servertime，nonce，pubkey，rsakv。其中su是用戶名加密後的結果，sp是密碼加密後的結果，servertime是一個時間戳，而剩餘三個參數都來源於咱們前面找到的prelogin.php。那麼如今的問題就在於用戶名和密碼是怎麼加密的？

 

4、加密規則

 首先仍是找到prelogin.php，在它攜帶的參數中看到有一個ssologin.js，猜想它可能和加密規則有關係，因此找一下這個ssologin.js。

這裏須要打開新浪的登陸頁面：https://login.sina.com.cn/，而後右鍵查看源碼，再搜索「ssologin.js」，就能找到這個js文件了：

https://passport.sinaimg.cn/js/sso/ssologin.js

 打開以後搜索「username」，就能找到加密規則了，以下圖（紅框框出來的分別是用戶名加密規則和密碼加密規則）：

用戶名的加密是很簡單的，使用base64加密就好了。可是對於密碼的加密有一些複雜，雖然有if和else，但其實這裏咱們只須要看if部分：

 request.servertime = me.servertime;
 request.nonce = me.nonce;
 request.pwencode = "rsa2";
 request.rsakv = me.rsakv;
 var RSAKey = new sinaSSOEncoder.RSAKey();
 RSAKey.setPublic(me.rsaPubkey, "10001");
 password = RSAKey.encrypt([me.servertime, me.nonce].join("\t") + "\n" + password)

密碼的加密過程爲：首先建立一個rsa公鑰，公鑰的兩個參數都是固定值，第一個參數是prelogin.php中的pubkey，第二個參數是加密的ssologin.js文件中指定的10001，這兩個值須要先從16進制轉換成10進制，其中10001轉成十進制爲65537。最後再加入servertime時間戳和nonce字段，以及一個「\t」和一個"\n"進行進一步加密。

 

5、主要代碼

 因爲使用了rsa加密，因此須要使用導入rsa模塊，沒有安裝的可使用pip install rsa進行安裝。

 這裏主要說一下加密用戶名和密碼部分的代碼：

# Base64加密用戶名
def encode_username(usr):
 return base64.b64encode(usr.encode('utf-8'))[:-1]

須要注意的是要使用base64加密，須要先轉換成字節型數據，並且加密以後末尾會多一個"\n"，所以須要用[:-1]來去掉多餘字符。

# RSA加密密碼
def encode_password(code_str):
 pub_key = rsa.PublicKey(int(pubkey, 16), 65537)
 crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)
 return binascii.b2a_hex(crypto) # 轉換成16進制

在加密密碼的時候傳入的這個code_str參數就是servertime + '\t' + nonce + '\n' + password獲得的結果，而在整個加密過程完成以後要轉換成16進制再返回。

可是作了這兩步以後並無真的登陸微博，還須要提取連接並進行跳轉，不過對於咱們來講作到這一步就已經夠了，咱們只須要保存此時的Cookie就好了，爲了驗證這個Cookie是否有效，我還寫了一段代碼進行測試，這裏就不放出來了。


完整代碼已上傳到GitHub！