若是要想獲取微博中的數據,最重要的第一步就是模擬登陸了,若是登陸都不行,後續的都是扯淡。這裏主要分析微博的登錄過程,新浪微博的認證流程:javascript
一、這裏在火狐下使用HttpFox工具抓取登錄的數據交互,打開HttpFox,用戶進入weibo.com/login.php登錄頁面,抓取獲得數據以下:php
咱們用瀏覽器登錄weibo.com/login.php網頁時,服務器在不斷地跳轉,從不一樣的位置給客戶端返回所需的資源及稍後登錄所需的數據。咱們須要找到對咱們登錄所須要的信息,重要的交互記錄以下:html
選中的部分,從http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&rsakt=mod&client=ssologin.js(v1.4.11)&_=1387782049912站點位置GET獲得的內容會在Content窗口顯示,格式爲Text/html,即:java
sinaSSOController.preloginCallBack({"retcode":0,"servertime":1387782050,"pcid":"xd-62049b61eeb94c62c92e4c4d10db7dcb4c7d","nonce":"DF8VR6","pubkey":"EB2A38568661887FA180BDDB5CABD5F21C7BFD59C090CB2D245A87AC253062882729293E5506350508E7F9AA3BB77F4333231490F915F6D63C55FE2F08A49B353F444AD3993CACC02DB784ABBB8E42A9B1BBFFFB38BE18D78E87A0E41B9B8F73A928EE0CCEE1F6739884B9777E4FE9E88A1BBE495927AC4A799B3181D6442443","rsakv":"1330428213","exectime":0})
servertime、nonce 都是登陸時候須要使用的,用於POST信息的加密。web
二、輸入用戶名後,當用戶名輸入框焦點失去的時候,頁面將再次訪問http://login.sina.com.cn/sso/prelogin.php,獲得上步中相似的消息:ajax
這樣便獲得了新的servertime、nonce 等值,稍後用戶登陸時使用的是這些數的最新值。瀏覽器
三、輸入密碼,點擊登錄,頁面POST請求以下:服務器
分析向http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.11)提交的參數POST Data:cookie
entry weibo gateway 1 from savestate 7 useticket 1 pagerefer vsnf 1 su aG91YW5kbGlob21lJTQwZ21haWwuY29t service miniblog servertime 1387784432 nonce PH653N pwencode rsa2 rsakv 1330428213 sp 04b4568a21646afc2418e86c99958ec09d3cf45c624404a96dd63a4f13a09384148af1b727d046ff17727f307460ff0b90db2a4d6c9d3ad1e1809b4756a002cf93129dcb0480b349dba2439db7874d0f32a7c0770d0f80360f6fa139d4e3f09bb2b50099b329cb2de5d59fdafc199dc7b3b2d731b43c5dd0948149fc6df4d624 encoding UTF-8 prelt 101 url http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack returntype META
su表示POST的帳號,username通過了BASE64加密;password 通過了三次SHA1 加密, 且其中加入了 servertime 和 nonce 的值來干擾(兩次SHA1加密後, 將結果加上 servertime 和 nonce 的值, 再SHA1算一次),sp爲加密後的密碼。app
再看服務器的返回值,Type=text/html (NS_BINDING_ABORTED)而Result=(Aborted),Content窗口爲:Error loading content (NS_ERROR_DOCUMENT_NOT_CACHED),由於網頁發生了重定向跳轉,原網頁停止,HttpFox沒有捕獲到返回值。經過Python程序能夠獲得返回值,以下:
<html> <head> <title>新浪通行證</title> <meta http-equiv="refresh" content="0; url='http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&ssosavestate=1390380654&ticket=ST-MzQ4NzQ5NTYyMA==-1387788654-xd-FED0CAF6BC574B4DE353DF875F9DB6AF&retcode=0'"/> <meta http-equiv="Content-Type" content="text/html; charset=GBK" /> </head> <body bgcolor="#ffffff" text="#000000" link="#0000cc" vlink="#551a8b" alink="#ff0000"> <script> function pluginLoaded(wbplugin) { try { wbplugin && wbplugin.webSigned(); }catch(e){} } </script> <object type="application/x-signassist" width="0" height="0"> <param name="onload" value="pluginLoaded(this)" /> </object> <script type="text/javascript" language="javascript"> location.replace("http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&ssosavestate=1390380654&ticket=ST-MzQ4NzQ5NTYyMA==-1387788654-xd-FED0CAF6BC574B4DE353DF875F9DB6AF&retcode=0"); </script> </body> </html>
咱們關心的返回結果是script部分:
location.replace(http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&ssosavestate=1390380654&ticket=ST-MzQ4NzQ5NTYyMA==-1387788654-xd-FED0CAF6BC574B4DE353DF875F9DB6AF&retcode=0);
由於,HttpFox檢測到隨後兩步的跳轉網址爲:
藍色:http://weibo.com/sso/login.php?ssosavestate=1390381500&url=http%3A%2F%2Fweibo.com%2Fajaxlogin.php%3Fframelogin%3D1%26callback%3Dparent.sinaSSOController.feedBackUrlCallBack%2
6sudaref%3Dweibo.com&ticket=ST-MzQ4NzQ5NTYyMA==-1387789500-xd-710FAD84CC8AF2EE75FE5D197CD76234&retcode=0
這一步上傳url的值即爲script部分(這裏因爲不是同一次登陸,值不一樣但結構相同),retcode=0表示登錄成功,而後打開url跳轉到下一步。
第二步:http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&sudaref=weibo.com
用戶登錄成功,返回weibo.com的信息到客戶端cookie中,記錄了用戶登錄信息。
四、接下來就是新浪的SSO(Single Sign-on)登錄了,就是在同一個頂級域名下,經過載入頂級域名的Cookie,來實現統一登錄。服務器會自動再次訪問weibo.com(上圖第四行),由於cookie已經寫入,登錄成功服務器返回302,重定向到用戶主頁面。此後再訪問微博中其餘人的主頁或使用微博的其餘應用,服務器即可以經過cookie來檢測用戶的狀態了。
固然,新浪的登錄方式將來可能發生改動,目前(2013-12-23)大體就是這個過程。
下一篇使用Python實現微博的模擬登錄。