js混淆反爬破解學習--爬取OpenLaw

時間 2020-05-07

原文原文鏈接

1、前言

　　前幾天看到了瓜子二手車的廣告，突發奇想一想要拿這個網站試試手，可每次都沒法成功獲取到頁面。試了不少次都沒有結果以後便去網上搜索方案，才知道原來還有js反爬這種東西（看來我之前選網站的運氣都太好了。。。），又發現了一篇js混淆反爬破解的文章，就拿來模仿學習一下。html

學習的文章：JS混淆openlaw反爬破解實踐
python

文章做者：謝俊傑瀏覽器

2、抓包分析

一、使用火狐自帶工具進行抓包，發現一次請求加載了兩次html頁面，以下；cookie

二、分別查看一下兩個html　　網絡

　　首先來看看第一個html；app

　　根據圖片咱們能夠發現，這是一個簡單的html頁面裏包含着一大串JavaScript代碼，<body>裏多是一個招聘郵箱（有興趣的能夠聯繫試一下。。。國內好像不少網站喜歡在這種地方放招聘信息，我發現好幾個了。。。）。ide

　　接下來咱們再來看看第二個html信息；工具

　　能夠看出第二個頁面纔是咱們想要看到的html頁面；因此能夠猜想，網頁通過第一個頁面的跳轉纔會到達咱們想要的頁面，接下來咱們就要弄清楚第一個頁面究竟幹了些什麼。學習

3、分析第一個頁面js代碼

一、咱們將第一個頁面代碼截取下來，而且格式化一下（我能夠很負責任的告訴大家，我是真的格式化了的）；網站

 1 var O01 = 'KkSKpcCfngCdpxGcz5yJvZmbpxHbyVHfyVmcyVmZlJHfjJ3c0V2Z8VGdpJ3d8xnQzwXMwEzX8ZWZyxXawFWeyVWdxpGfkxWaoNEZuVGcwFGflBXYjNXZuVHfENDfl1WYOdWYUlnQzRnbl1WZsVEdldGfr9GfwRHdox3NywHduVWblxWRlRXYlJ3Y8RHcpJ3YzN0M8dXYs5WZw9GMywHTSVFfyFmdFNDf3FGbuVGcvdjM8RWYlhGf05WSlNnchBHflBXYjNXZfxHNzwnchZHfJ90T8Rnbl1Wdj9GZ8hzN8JjN8ZzM8ljM8VGZvNkchh2Qt9mcmxXNzwHduVmbvBXbvNUSSVVZk92YuVGfDNDfFNDf0BXayN2c8Nmczx3Zulmc0NFf0lGbwNHfn5WayR3UvRHfsFmdlxHc4V0ZlJFf3Vmb8VGbph2d8V2YhxGclJHfmlGfu9Wa0Nmb1ZGfuJXd0Vmc8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHfnwCMzEDLyYDLnkSK9tHLwwSKnwFfnwFKwFjLnwFUxwXUxwnUxwHVxwnTxwXTxwXSxwnSxw3SxwHTxw3UxwHWxwHNyw3MywXNywnMywnWxwnVxwXMywXVxw3VxwXWxw3TxwHcxw3axwHaxwXaxwnaxw3Zxw3bxwXbxwHbxwnbxw3cxwXdxwncxwHdxw3Rxwndxw3QxwHRxwXRxwHMywnRxwHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8xHf8x3JcxiQxwSQxwyJclSKpcCXcxFfnwFXchyUucCXcxVMxwnMxw3MxwHNxwHMxwnNxwnV8dFfYxXW8VTM8lTM8RWM8ZWM8VWM8NWM8FWM8JWM8dTM8hTM8pFfUxnR8dEfIxXS8VFfFxHR8pHfBxnQ8NEfnwFXcxSeskHLnwFXctTKpYDKxhCcuEzOpIDKv5yN70FMblyJcxFXcxFXc12JcxFXcxFXchibuETP3AyM7kycuEDK1syJcxFXcxFXc1jdmcCXcxFXcxFXrkyduEDK1syJcxFXcxFXc1TdmcCXcxFXcxFXrcCXcxFXcxFXs1Dd/8CeuI3LvojanwFXcxFXcxVPh5iM7kyJcxFXcxFXchzJcxFXcxFXchyYuETPyAyM7cCXcxFXcxFXiVCOvkTJkVyalUWJ0USalQTJoViZlcWJnwFXcxFXcxVP2AyMnwFXchSfwBiT91XKdN2WrxSKnwFXcd2JcxFXscCXcxlYcxFXcxFXcx1JcxFXrkSYo0kLjtyJcxFXixFXcxFXcxFXnwFXchCTgsEKP5Cc9A3ep01YbtGKQtXKt0yYoI1epQGLlxyasMGLhxCcoEFKKdCXo0HcgcWM91XKdN2WrxSKnw1ZnwFLnwlYcxFXcdCXrkyYoU2KnwlYcxFXcdCXo0WMgwWMooWMuAXPwtXKdN2WrhSaxsXKt0yYosWM70XM9M2O9dCXrcHXcxFXnw1ZxsXKogWM9U2Od1XXltFZgcWM7lSZogWMb1za9lyYoUGf811YbtWPdlyYoU2WktXKt0yYosWM7lSKxFDLv41LooWMucCXnwVIokWM70XKpoXMo8WMuMmOpkXMrMGK4FjLxFzP3FjPpEWJj1zYogyKpkSKh9yYogUMoUmOnw1Jc9TY8MGKnFzepMGKoFTPltXKkxSZssGLjxSYsAHKoFDKuFzJo0Hcg4mc1RXZy1Xfp01YbtGLpcyZnwyJixFXnsSKjhSZrciYcx1JoAHeFdWZSBydl5GKlNWYsBXZy5Cc9A3ep01YbtGKml2ep0SLjhSZslGa3tTfpkiNzgyZulmc0N1b05yY6kSOysyYoUGZvNkchh2Qt9mcm5yZulmc0N1P1MjPpEWJj1zYogyKpkSKh9yYoQnbJV2cyFGcoUmOncyPhxzYo4mc1RXZytXKjhibvlGdj5Wdm1TZ7lCZsUGLrxyYsEGLwhibvlGdj5WdmhCbhZXZ';  2 function lOO(data) {  3     var OOOlOI = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";  4     var o1, o2, o3, h1, h2, h3, h4, bits, i = 0, enc = '';  5     do {  6         h1 = OOOlOI.indexOf(data.charAt(i++));  7         h2 = OOOlOI.indexOf(data.charAt(i++));  8         h3 = OOOlOI.indexOf(data.charAt(i++));  9         h4 = OOOlOI.indexOf(data.charAt(i++)); 10         bits = h1 << 18 | h2 << 12 | h3 << 6 | h4; 11         o1 = bits >> 16 & 0xff; 12         o2 = bits >> 8 & 0xff; 13         o3 = bits & 0xff; 14         if (h3 == 64) { 15             enc += String.fromCharCode(o1) 16         } else if (h4 == 64) { 17             enc += String.fromCharCode(o1, o2) 18         } else { 19             enc += String.fromCharCode(o1, o2, o3) 20  } 21     } while (i < data.length);return enc 22 } 23 function OOO(string) { 24     var ret = ''
25       , i = 0; 26     for (i = string.length - 1; i >= 0; i--) { 27         ret += string.charAt(i); 28  } 29     return ret; 30 } 31 eval(lOO(OOO(O01))); 32 window.n = "j_token"; 33 eval(function(p, a, c, k, e, d) { 34     e = function(c) { 35         return (c < a ? "" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36)) 36  } 37  ; 38     if (!''.replace(/^/, String)) { 39         while (c--) 40             d[e(c)] = k[c] || e(c); 41         k = [function(e) { 42             return d[e] 43  } 44  ]; 45         e = function() { 46             return '\\w+'
47  } 48  ; 49         c = 1; 50  } 51     ;while (c--) 52         if (k[c]) 53             p = p.replace(new RegExp('\\b' + e(c) + '\\b','g'), k[c]); 54     return p; 55 }('1 2$=[\'\\9\\5\\6\\4\\3\\7\\8\'];1 a=2$[0];', 11, 11, '|var|_|x6c|x6e|x70|x65|x61|x77|x6f|'.split('|'), 0, {})); 56 window.v = "_fa16f708d6903a1c4b46a732b68c4c6a"; 57 $ = ~[]; 58 $ = { 59     ___: ++$, 60     $$$$: (![] + "")[$], 61     __$: ++$, 62     $_$_: (![] + "")[$], 63     _$_: ++$, 64     $_$$: ({} + "")[$], 65     $$_$: ($[$] + "")[$], 66     _$$: ++$, 67     $$$_: (!"" + "")[$], 68     $__: ++$, 69     $_$: ++$, 70     $$__: ({} + "")[$], 71     $$_: ++$, 72     $$$: ++$, 73     $___: ++$, 74     $__$: ++$ 75 }; 76 $.$_ = ($.$_ = $ + "")[$.$_$] + ($._$ = $.$_[$.__$]) + ($.$$ = ($.$ + "")[$.__$]) + ((!$) + "")[$._$$] + ($.__ = $.$_[$.$$_]) + ($.$ = (!"" + "")[$.__$]) + ($._ = (!"" + "")[$._$_]) + $.$_[$.$_$] + $.__ + $._$ + $.$; 77 $.$$ = $.$ + (!"" + "")[$._$$] + $.__ + $._ + $.$ + $.$$; 78 $.$ = ($.___)[$.$_][$.$_]; 79 $.$($.$($.$$ + "\"" + $.$$$$ + $._ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.__ + "\\" + $.__$ + $.$_$ + $.__$ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.$__ + $.___ + "\\" + $.__$ + $.$$_ + $.___ + "(\\" + $.__$ + $.$$_ + $._$$ + ")\\" + $.$__ + $.___ + "{\\" + $.__$ + $.$$_ + $._$_ + $.$$$_ + $.__ + $._ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.$__ + $.___ + "\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $._$_ + ",\\" + $.$__ + $.___ + $.$__ + ")." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "('\\" + $.__$ + $.$_$ + $.$$_ + "')." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "(\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $.___ + ",\\" + $.$__ + $.___ + $.__$ + "))." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "('\\" + $.__$ + $.$$_ + $.___ + "')." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "(\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $.$__ + ",\\" + $.$__ + $.___ + $.$___ + "))." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "('" + $.$$$_ + "')." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "(\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $.__$ + ",\\" + $.$__ + $.___ + $._$_ + "))." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "(\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $.__$ + $.$$_ + "))." + $.$$__ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.$_$_ + $.__ + "(\\" + $.__$ + $.$$_ + $._$$ + ".\\" + $.__$ + $.$$_ + $._$$ + $._ + $.$_$$ + "\\" + $.__$ + $.$$_ + $._$$ + $.__ + "\\" + $.__$ + $.$$_ + $._$_ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + "\\" + $.__$ + $.$__ + $.$$$ + "(" + $.$___ + ",\\" + $.$__ + $.___ + $.__$ + $.$$_ + "));};\\" + $.$__ + $.___ + "\\" + $.__$ + $._$_ + "+" + $.$$$$ + $._ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$__ + $.__ + "\\" + $.__$ + $.$_$ + $.__$ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + "(){" + $.$$_$ + $._$ + $.$$__ + $._ + "\\" + $.__$ + $.$_$ + $.$_$ + $.$$$_ + "\\" + $.__$ + $.$_$ + $.$$_ + $.__ + "." + $.$$__ + $._$ + $._$ + "\\" + $.__$ + $.$_$ + $._$$ + "\\" + $.__$ + $.$_$ + $.__$ + $.$$$_ + "\\" + $.$__ + $.___ + "=\\" + $.$__ + $.___ + "\\\"\\" + $.__$ + $.$_$ + $._$_ + "\\\"\\" + $.$__ + $.___ + "+\\" + $.$__ + $.___ + "\\\"_\\\"\\" + $.$__ + $.___ + "+\\" + $.$__ + $.___ + "\\\"" + $.__ + $._$ + "\\" + $.__$ + $.$_$ + $._$$ + $.$$$_ + "\\" + $.__$ + $.$_$ + $.$$_ + "=\\\"\\" + $.$__ + $.___ + "+\\" + $.$__ + $.___ + "\\" + $.__$ + $.$$_ + $.___ + "(\\" + $.__$ + $.$$_ + $.$$$ + "\\" + $.__$ + $.$_$ + $.__$ + "\\" + $.__$ + $.$_$ + $.$$_ + $.$$_$ + $._$ + "\\" + $.__$ + $.$$_ + $.$$$ + ".\\" + $.__$ + $.$$_ + $.$$_ + ");" + (![] + "")[$._$_] + $._$ + $.$$__ + $.$_$_ + $.__ + "\\" + $.__$ + $.$_$ + $.__$ + $._$ + "\\" + $.__$ + $.$_$ + $.$$_ + ".\\" + $.__$ + $.$$_ + $._$_ + $.$$$_ + (![] + "")[$._$_] + $._$ + $.$_$_ + $.$$_$ + "();}();" + "\"")())();

　　能夠發現這是一段通過js混淆後的代碼（我到如今都不知道最後那段喪心病狂的代碼是如何產生的T.T)，咱們能夠將此代碼分紅三個部分，再分別運行一下了解其功能；具體的分析過程原文裏已經講的很清楚了，你們能夠去原文連接裏去看。

二、破解結果

　　根據原文的破解咱們能夠知道，第一個頁面其實就是產生一個‘j_token'並將其添加到cookies裏而且重新請求一下頁面，原文裏的解決方法是將產生j_token的代碼用python重寫，當js代碼很簡單的時候這樣固然能夠，但當js代碼很是複雜的時候就很難辦了。因此我使用了一種在python裏使用execjs模塊運行js代碼的方式來產生j_token，下面是個人代碼；

 1 import requests  2 import re  3 import execjs  4 
 5 
 6 class OpenLawSpider():  7     def __init__(self):  8         self.url = "http://openlaw.cn/search/judgement/default?lawyerId=0904484bbc1e46f99d52744427b533d9"
 9         self.headers = { 10             'Host': 'openlaw.cn', 11             'User-Agent': 'Mozilla/5.0(Windows NT 10.0;Win64;x64;rv: 60.0) Gecko/20100101Firefox/60.0', 12             'Accept': 'text/html, application/xhtml + xml, application/xml;q = 0.9,*/*;q = 0.8', 13             'Accept-Language': 'zh-CN,zh;q = 0.8, zh-TW;q = 0.7, zh-HK;q = 0.5, en-US;q = 0.3, en;q = 0.2', 14             'Accept-Encoding': 'gzip, deflate', 15             'Connection': 'keep-alive', 16             'Cache - Control': 'max-age = 0', 17  } 18         self.jscode = '''function p(s) { 19  return s.substring(2, 4).concat('n').concat(s.substring(0, 1)).concat('p').concat(s.substring(4, 8)).concat('e').concat(s.substring(1, 2)).concat(s.substring(16)).concat(s.substring(8, 16)); 20  };'''
21         self.proxies = { 22                           "https": "http://202.38.92.100:3128", 23  } 24 
25     def get_val_v(self): 26         js_res = requests.get(self.url, headers = self.headers) 27         js_html = js_res.text 28         pat = re.compile('window.v="(.*?)";', re.S) 29         v = re.findall(pat, js_html)[0] 30         cookies = requests.utils.dict_from_cookiejar(js_res.cookies) 31         print(v) 32         return v, cookies 33 
34     def get_cookie(self): 35         v, cookies = self.get_val_v() 36         ctx = execjs.compile(self.jscode) 37         cookie = ctx.call('p', v) 38         cookies['j_token'] = cookie 39         print(cookies) 40         return cookies 41 
42     def get_page_html(self): 43         cookies = self.get_cookie() 44         page_res = requests.get(self.url, headers=self.headers, cookies=cookies, proxies=self.proxies) 45         print(page_res.text) 46 
47 
48 
49 if __name__ == "__main__": 50     spider = OpenLawSpider() 51     spider.get_page_html()

三、代碼運行結果

網頁截圖：

能夠發現咱們已經獲得了想要獲取的頁面了。

可是：當我在寫這篇博客的時候再次運行了一次代碼，居然出現下圖（寶寶內心苦，寶寶不說T.T）

我只是簡單的獲取了一個頁面的html，並且只運行了一次，第二次就被封了，可見這個網站的反爬力度仍是很大的，我只好在網上換了個ip纔再次獲得告終果，看來想要爬取這個網站的人還要準備好ip代理了。。。

4、總結

　　通過了此次的模仿實踐，也算是瞭解到了js混淆反爬的大體方式，其實以前遇到js加密時我還想到了使用selenium去抓取，可是不少人說模擬瀏覽器是爬蟲最後的一種方法，並且selenium爬取速度很慢，因此學習一下突破js混淆反爬仍是頗有必要的。最後，我還想說一下其實還有另外一種最強的爬蟲方案，就是人工一頁一頁的去翻網頁，再將想要的數據記錄下來，看你怎麼反爬，這就是最強的人工爬蟲，又名：網絡爬人。（最後開個玩笑，你們略過就好）

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。