python爬蟲之快速對js內容進行破解

python爬蟲之快速對js內容進行破解

今天介紹下數據被js加密後的破解方法。距離上次發文已通過去半個多月了，我寫文章的主要目的是把從其它地方學到的東西作個記錄順便分享給你們，我認可本身是個懶豬。不知道小夥伴們有沒有遇到一樣的狀況，公衆號，博客關注了一堆，可是真正看並去學習的少之又少，但願我們互相監督，多多交流學習哈。哎，閒話少敘，下面進入正題。

上篇文章介紹到通常js破解有兩種方法，一種是用Python重寫js邏輯，一種是利用第三方庫來調用js內容獲取結果。這兩種方法各有利弊，第一種方法性能好，但對js和Python要求掌握比較高；第二種方法快捷便利，對一些複雜js加密頗有效。此次咱們就用第三方庫來進行js破解。

目標網站

本次網站是[企名片]，網站對展現的數據進行了加密，因此直接找根本找不到。

目標url：https://www.qimingpian.com/finosda/project/pinvestment

js分析調試工具

對js進行分析調試的瀏覽器必定要用谷歌瀏覽器，用這個來調試測試真的很方便。首先咱們按F12打開開發者工具，選到network選項並勾選preserve log 選項，而後輸入網址url來抓包。此時你會發現網頁源碼裏沒有展現內容，在搜索也找不到咱們看到的內容，那說明網頁內容是被加密處理了。

此時你能夠一個個看每一個包找找有什麼可疑的內容，固然咱們通常會先看xhr裏的內容，一眼咱們就發現裏面都有encrypt_data這個數據，看着很像。

咱們ctrl加shift加f鍵搜索encrypt_data，找到第一個js裏的encrypt_data內容，而後翻到下面return e.encrypt_data這一行來，打上斷點看看這會是什麼內容。（通常咱們搜索到return咱們搜索的內容都要打上斷點來看看，八九不離十的）

打好斷點後咱們刷新頁面來觀察，選中e.encrypt_data右鍵有個什麼什麼in console的，點這個會在下面出現咱們選中的內容是什麼。而後把後面的Object(d.a)(e.encrypt_data)用一樣的方法來試下，發現沒有網頁的內容啊。這裏必定要注意咱們打的斷點，在按一次，重複上面的步驟會發現，Object(d.a)(e.encrypt_data)這不就是咱們要的內容嗎！e.encrypt_data這個就是咱們xhr裏面的那個encrypt_data，Object(d.a)是一個函數，就是這個函數對內容進行了加密，咱們只要破解這個函數就OK了。

選中Object(d.a)上面會出現它在哪裏，點擊下跳轉過去。能夠發現函數返回了一個json對象。這個返回結果包括1個s函數，參數裏只有a.a.decode(t)這一個變量，其他都是常量。

全部咱們用一樣的方法找到s函數的具體內容和a.a.decode()這個函數的具體內容。方法就是咱們在return JSON.parse這裏從新打斷點，點擊斷點的那個下一步，而後找上述函數的內容。

s函數

a.a.decode()

利用webstorm編輯器來運行上述函數進行調試

1 首先咱們安裝Nodejs，去官網下載安裝，這是js環境。這個本身搜索個安裝教程吧，這裏不過多介紹了。

2 WebStorm 安裝後激活，教程網上不少，你們自行搜索。它使用方式與 PyCharm 很相似。

咱們把上述所須要的函數所有扣下來放到webstorm中，而後運行。注意有的函數裏面會有沒有定義的參數，遇到這些咱們在谷歌瀏覽器裏一個個找就能夠了，通常會有不少常量，直接替換掉。

而後咱們調用上述方法能夠看到可以正常獲取數據了，這裏js裏的部分方法我從新命名了，注意下，下面是部分代碼片斷。

最後用 Python 去調用解密函數就好了，這裏出於對網站保護就不直接貼完整代碼了，想要的能夠後臺私我。

參考:https://mp.weixin.qq.com/s/uoAnLYNrTsNn_YowWyXfyg。

這就是今天分享的全部內容，但願有所收穫。

感興趣能夠關注下公衆號python爬蟲筆記。

歡迎你們交流分享歐!