python爬取淘寶商品比價實例（對re庫的使用，淘寶反爬蟲機制的解決）

實例介紹

目的：獲取某種類別商品的信息，提取商品的名稱與價格html

可行性分析

1.查看淘寶的robots協議，附網址https://www.taobao.com/robots.txt正則表達式

查看發現淘寶不容許任何人對淘寶信息進行爬取。那麼做爲一名守法公民爲了避免要引發沒必要要的麻煩，瀏覽器

一，不要爬取，二，爬取的程序不要作任何商業用途，僅僅只能用做技術學習。cookie

程序結構

1.請求搜索商品，循環獲取頁面網絡

2.解析頁面內容，獲取商品價格名稱app

3.輸出得到的信息工具

結構分析

查看商品的數量，好比，我要查看衛衣學習

顯示了一百頁，那麼咱們查看時就要考慮查看多少了，若是是一頁，就只須要爬取一個連接裏的信息，ui

若是要爬取多個頁面的信息，就須要多個連接了，這時就須要找到連接之間的關係。url

第一個頁面的URL：

https://s.taobao.com/search?initiative_id=tbindexz_20170306&ie=utf8&spm=a21bo.2017.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5e&commend=all&imgfile=&q=衛衣&suggest=history_1&_input_charset=utf8&wq=&suggest_query=&source=suggest&bcoffset=6&ntoffset=6&p4ppushleft=1%2C48&s=0

第二個頁面的URL：

連續查看三個頁面的URL後發現，每一個URL尾部s以44遞增。找到規律後，就能夠用循環語句進行頁面請求了。

實例編寫

 1 import requests  2 import re  3 
 4 def getHTMLText(url):  5     try:  6         r = requests.get(url,timeout = 30)  7  r.raise_for_status()  8         r.encoding = r.apparent_encoding  9         return r.text 10     except: 11         return ""
12 def parsePage(ilt,html): 13     #正則表達式獲取商品名稱和商品價格
14     try: 15 #使用正則表達式，\表示引入一個"view_price"的鍵，後面\引入鍵的值
16         plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html) 17 #*？表示最小匹配
18         tlt = re.findall(r'\"raw_title\"\:\".*?\"',html) 19         for i in range(len(plt)): 20             price = eval(plt[i].split(":")[1]) 21             title = eval(tlt[i].split(":")[1]) 22  ilt.append([price,title]) 23     except: 24         print(" ") 25 def printGoodslist(ilt): 26     tplt = "{:4}\t{:8}\t{:16}"
27     print(tplt.format("序號","價格","商品名稱")) 28     count = 0 29     for x in ilt: 30         count = count + 1
31         print(tplt.format(count,x[0],x[1])) 32 def main(): 33     goods = '衛衣'
34     depth = 2
35     star_url = 'https://s.taobao.com/search?q=' +goods 36     infoList = [] 37     for i in range(depth): 38         try: 39             url = star_url + '&s=' + str(44*i) 40             html = getHTMLText(url) 41  parsePage(infoList,html) 42         except: 43             continue
44  printGoodslist(infoList) 45 main()

編譯運行後發現程序並無報錯，但沒有出現商品的輸出信息，着實讓人摸不着頭腦。因而在百度幫助下，

我先是檢查本身的URL是否是正確的，複製程序中的URL在瀏覽器打開，發現能夠進入淘寶，URL是正確的。

不是URL的問題，那就是淘寶的問題了，原來淘寶設置反爬蟲機制，須要用戶登陸驗證。爬取時須要模擬瀏

覽器登陸才能獲取信息。

1.瀏覽器打開淘寶，登陸

2.搜索框搜索本身想要爬取的東西，例如衛衣，按F12打開開發者工具

3.選中網絡，再選中doc文件

4.回到淘寶首頁，開發者工具不要關閉！

刷新出如圖的一個文件

5.打開文件，找到cookie和user-agent，將裏面的內容徹底複製下來

最後在原來的代碼寫一個headers字典模擬瀏覽器請求訪問，放入剛纔複製的cookie和user-agent

全代碼：

 1 import requests  2 import re  3 
 4 def getHTMLText(url):  5     headers={'cookie':'td_cookie=18446744071423230592; thw=cn; v=0; cna=SCVpFkZXfCwCAT24cx3PJgie; t=6adef129ce0b98c6fcd52f3e83e3be03; cookie2=7de44eefb19e3e48e25b7349163592b7; _tb_token_=f1fae43e5e551; unb=3345403123; uc3=nk2=F6k3HMt8ZHbGobgMG0t6YMg7MKU%3D&vt3=F8dByuQFmIAq493a88Y%3D&lg2=W5iHLLyFOGW7aA%3D%3D&id2=UNN5FEBc3j%2FI9w%3D%3D; csg=07879b0c; lgc=t_1499166546318_0384; cookie17=UNN5FEBc3j%2FI9w%3D%3D; dnk=t_1499166546318_0384; skt=759aebdc118b2fc5; existShop=MTU3NTEwNzAyMg%3D%3D; uc4=id4=0%40UgQxkzEr7yNNkd0wQjAOQOK5hAra&nk4=0%40FbMocp0bShNOwIAboxPdw7pZW0Ru%2FnrngZiTM4a03Q%3D%3D; tracknick=t_1499166546318_0384; _cc_=UIHiLt3xSw%3D%3D; tg=0; _l_g_=Ug%3D%3D; sg=439; _nk_=t_1499166546318_0384; cookie1=B0TwtzQNNmewbhSpcaaRe7U24nc6DXOpwhexZLEN8Zo%3D; mt=ci=0_1; _m_h5_tk=ec0a32b82d6a8d5c46fe6f873373169b_1575114952532; _m_h5_tk_enc=cfea89ad4f02b520c3a094931d00e376; enc=CnjhIlaGaoA3J%2FSi2PeXU8%2FNC4cXQUAZjulyZI%2Bd9Z8JjGflldsE%2F%2B8F0Ty2oLD4v1wKgm3CuiGftr11IfyB5w%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; l=dBIBcdfeq5nSzFl5BOCa-urza77ThIRvfuPzaNbMi_5Ia1T6YV7OknJtce96cjWfTG8B4HAa5Iy9-etlwrZEMnMgcGAw_xDc.; uc1=cookie15=VFC%2FuZ9ayeYq2g%3D%3D&cookie14=UoTbmEp9zNxMrw%3D%3D; isg=BDk53DNPQMq9RRxe_Fnoei4wSKUTRi34hR8HPVturmDf4ll0o5Y9yKc0YOYUrsUw',  6          'user-agent':'Mozilla/5.0'}  7     try:  8         r = requests.get(url,headers = headers,timeout = 30)  9  r.raise_for_status() 10         r.encoding = r.apparent_encoding 11         return r.text 12     except: 13         return ""
14 def parsePage(ilt,html): 15     #正則表達式獲取商品名稱和商品價格
16     try: 17 #使用正則表達式，\表示引入一個"view_price"的鍵，後面\引入鍵的值
18         plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html) 19 #*？表示最小匹配
20         tlt = re.findall(r'\"raw_title\"\:\".*?\"',html) 21         for i in range(len(plt)): 22             price = eval(plt[i].split(":")[1]) 23             title = eval(tlt[i].split(":")[1]) 24  ilt.append([price,title]) 25     except: 26         print(" ") 27 def printGoodslist(ilt): 28     tplt = "{:4}\t{:8}\t{:16}"
29     print(tplt.format("序號","價格","商品名稱")) 30     count = 0 31     for x in ilt: 32         count = count + 1
33         print(tplt.format(count,x[0],x[1])) 34 def main(): 35     goods = '衛衣'
36     depth = 2
37     star_url = 'https://s.taobao.com/search?q=' +goods 38     infoList = [] 39     for i in range(depth): 40         try: 41             url = star_url + '&s=' + str(44*i) 42             html = getHTMLText(url) 43  parsePage(infoList,html) 44         except: 45             continue
46  printGoodslist(infoList) 47 main()

在headers字典時，程序一直報錯，報錯在user-agent後面的冒號上，弄了很長時間不得解，百度也沒辦法

最後纔想起寫字典時中間的鍵值對沒有給英文逗號，使人哭笑不得。

最後的編譯結果：