python re正則表達式模擬淘寶搜索商品信息

1.開始前準備

1.1 python3，本文代碼使用Python3來寫。沒有安裝Python3的童鞋請先安裝Python3哦

1.2 requests庫，Requests 是用Python語言編寫，基於 urllib，採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便，能夠節約咱們大量的工做，徹底知足 HTTP 測試需求。

下載方法：

pip install requests

1.3 pycharm，一款功能強大的PythonIDE！下載官方版本後，使用license sever無償使用（同系列產品相似），具體參照http://www.cnblogs.com/hanggegege/p/6763329.html。

2.爬取分析

咱們的目標是實現一個可以代替淘寶搜索獲取商品信息的腳本，那麼咱們先來分析分析具體應該如何實現吧！

咱們嘗試一下經過網頁上的「搜索」按鈕來獲取一些信息。咱們隨便輸入一個商品名稱：電腦

重複幾回相同操做查詢不一樣名稱商品後，咱們發現了一些規律，經過觀察url參數咱們發現，只要在https://s.taobao.com/search?q=後面加上你須要查詢的商品名稱就能獲取你想要的淘寶商品信息了！咱們就以這個爲突破口，去寫目標腳本吧！

3.代碼過程分析與演示

首先咱們導入所須要的庫：

import requests
import re

咱們先來看看電腦信息頁面的源代碼，去發現其中商品信息的規律，再用正則表達式去實施全局匹配，右鍵上圖頁面查看源代碼：

仔細觀察這段代碼，經過對一組數據的分析獲得：商品名稱在raw_title當中，商品價格view_price當中，經過這個規律 ，咱們來寫兩個正則表達式，匹配頁面上的全部商品價格與名稱！

咱們先來寫個函數獲取網頁代碼信息：

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #這幾行不懂的能夠去查查requests庫的文檔哦
    except:
        return ""

接着，咱們再寫個函數把獲取商品信息：

def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)  #本文代碼的精髓就在這兩行了
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print（""）

最後，咱們須要寫個函數把商品信息列出來：

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序號", "價格", "商品名稱"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))

如今咱們來寫個main()函數來測試咱們的代碼吧！

def main():
    goods = input('請輸入要查找的商品名稱：')
    depth = 3             #爬取的頁碼深度，能夠本身調哦
    start_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44 * i)  #去翻頁看看url的變化就知道爲何這麼些了
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)

項目完整代碼：

import requests
import re
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def parsePage(ilt, html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print("")
def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序號", "價格", "商品名稱"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
def main():
    goods = input('請輸入要查找的商品名稱：')
    depth = 3
    start_url = 'https://s.taobao.com/search?q= 

' + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44 * i)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)
main()

咱們來看看運行效果圖：

大功告成！

（ps:本文代碼參照中國慕課網課程）

謝謝觀看！