python定向爬蟲實例（一）

功能描述：爬取噹噹網的某一商品的信息，並在屏幕輸出其價格、商品名稱

程序設計：

• 獲取上商品頁面的HTML文本
• 解析HTML文本你將商品信息存在列表中
• 將商品信息輸出在屏幕上

import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parseHTML(demo,sLt):
    soup=BeautifulSoup(demo,"html.parser")
    for li in soup.find('ul',attrs=['bigimg','cloth_shoplist']).children:
        try:
            if isinstance(li,bs4.element.Tag):
                sLt.append([li.find('a').attrs.get('title'),li.find('span','price_n').string])
        except:
            continue
def printGoodsList(sLt):
    tpt='{0:3}\t\t{1:^3}\t\t{2:{3}^10}'
    print(tpt.format("序號","價格","商品",chr(12288)))
    for i,u in enumerate(sLt):
        print(tpt.format(str(i+1),u[1],u[0],chr(12288)))

def main():
    goods='書包'
    url='http://search.dangdang.com/?key='+goods
    depth=2 #爬取深度
    sLt=[]  #存放書包的價格、名稱
    for i in range(depth):
        try:
            url=url+"&page_index="+str(i+1)
            demo=getHTMLText(url)
            parseHTML(demo,sLt)
        except:
            continue
    printGoodsList(sLt)

main()

執行結果：

序號         價格         　　　　商品　　　　
1          ¥58.90         書包小學生男女生1-2-3-6年級兒童書包男孩防水輕便雙肩揹包定作5
2          ¥136.00         迪士尼書包 動漫卡通兒童雙肩揹包小學生1-4年級防水減負書包
3          ¥229.00         【爆款直降】卡拉羊兒童書包-3-4-6年級小學生輕量減負護脊防潑水雙肩包韓版CX2742
4          ¥149.00         【爆款直降】卡拉羊小學生書包女兒童書包男減負護脊新款日韓潮初中生雙肩揹包CX2744
5          ¥229.00         【爆款直降】卡拉羊書包小學生-3年級男女兒童小孩雙肩包揹包低年級防水抗污耐磨面料CX2739
6          ¥88.00         書包男中學生初中生高中生小學男生揹包青少年校園雙肩包時尚潮流
7          ¥398.00         hellokitty凱蒂貓 KT1002粉紅小學生護脊書包EVA減負兒童書包7-12歲
8          ¥368.00         HelloKitty凱蒂貓 KT1098粉紅 兒童書包小學生書包女童韓版甜美淑女減負護脊書包
9          ¥78.70         書包小學生1-2-3-4年級女孩護脊女童雙肩包 兒童揹包6-12週歲女生
10         ¥88.90         書包小學生男孩1-3-4-6年級輕便護脊兒童書包男雙肩減負男童揹包
11         ¥128.00         書包女中學生初中生2018新款韓版校園百搭帆布學院風甜甜圈雙肩包
12         ¥49.90         書包小學生男女生1-2-3-6年級兒童書包男孩防水輕便雙肩揹包定作5
13         ¥208.00         HelloKitty凱蒂貓 KT1136玫紅 兒童書包 小學生書包 女童韓版3-6年級減負護脊書包
14         ¥59.90         大童男孩子小學生六年級書包青年初一二三韓版時尚潮流男雙肩揹包
15         ¥78.00         新款雙肩包 男韓版大高初中學生書包 時尚潮流休閒揹包 旅行包 充電版可外接 USB
16         ¥109.00         kinbor牛津布款雙肩書包/大容量經典款揹包/旅行手提女包 晚安Classic DTB6343
17         ¥299.00         網易嚴選 兒童護脊減負書包（1-3年級）
18         ¥50.90         書包小學生1-2-3-6年級男女生 護脊耐磨輕防水兒童雙肩包6-12週歲包郵
19         ¥99.00         中大學生初中休閒校園高書包學院風揹包時尚潮流新款韓版雙肩包
20         ¥298.00         HelloKitty凱蒂貓 KT1093韓版可愛女小學生護脊減負書包 粉紅
21         ¥50.90         書包女韓版原宿ulzzang 校園港風雙肩包街拍旅行揹包潮男高中學生
22         ¥69.00         20170911224644179雙肩包男新款韓版休閒時尚大容量高初中學生書包潮流學院風揹包男
23         ¥96.90         韓版初中學生書包女時尚潮流雙肩包小學生清新大容量校園帆布揹包
24         ¥169.00         kinbor牛津布款雙肩書包/大容量揹包/旅行手提女包/晚安plus DTB6344
25         ¥168.00         Hello Kitty凱蒂貓 KT1059粉紅 小學生初中生高年級書包護脊書包 噹噹自營
26         ¥116.00         書包小學生男孩1-3-4-6年級輕便兒童書包男雙肩男童揹包
27         ¥189.00         【爆款直降】卡拉羊休閒雙肩包大容量中學生書包運動休閒包旅行揹包簡約電腦包CX5988
28         ¥138.00         小學生書包1-3年級花花姑娘女孩減負雙肩包兒童6-12週歲防水揹包
29         ¥188.00         HelloKitty凱蒂貓 KT1137淺藍 兒童書包 女童韓版甜美 1-3年級減負護脊書包
30         ¥208.00         HelloKitty凱蒂貓 KT1136淺紫 兒童書包 小學生書包 女童韓版3-6年級減負護脊書包
31         ¥75.00         天然魚韓版兒童小學生書包2-5年級男女孩8-12週歲減負護脊防潑水
32         ¥398.00         hellokitty凱蒂貓 KT1002玫紅小學生護脊書包EVA減負兒童書包7-12歲
33         ¥98.70         書包女韓版原宿ulzzang 校園帆布雙肩包初中學生可愛百搭開學揹包
34         ¥198.00         Bad Badta.Maru酷企鵝 XO2031黑色 小學生書包 男孩3-6年級健康護脊減負雙肩包
35         ¥188.00         國譽(KOKUYO)SBN01V書包 中小學生減負書包/雙肩揹包 紫(附帶防雨套)噹噹自營
36         ¥69.80         chic書包女韓版原宿ulzzang大高中學生ins超火雙肩包女大容量揹包
37         ¥88.80         2018新款雙肩包女韓版潮高中初中學生書包卡通校園夜光揹包旅行包
38         ¥188.00         HelloKitty凱蒂貓 KT1137淺紫 兒童書包 女童韓版甜美 1-3年級減負護脊書包
39         ¥368.00         HelloKitty凱蒂貓 KT1098淺紫 兒童書包小學生書包女童韓版甜美淑女減負護脊書包
40         ¥309.00         網易嚴選 銀河護脊書包（4-6年級）
41         ¥188.00         Bad Badta.Maru酷企鵝 XO2047藍色 小學生書包 男孩1-2年級健康護脊減負雙肩包
42         ¥175.00         KOKUYO國譽護脊減負學生雙肩包帶防雨套雨衣揹包容量可擴增書包小號粉色WSG-SBN03P噹噹自營
43         ¥116.90         迪士尼書包小學生男女1-3-4-6年級米奇減負揹包兒童書包8-10-12歲
44         ¥78.70         書包女學生韓版校園小清新帆布初中生雙肩包卡通小學生開學大揹包
45         ¥50.90         書包小學生1-2-3-6年級男女生 護脊耐磨輕防水兒童雙肩包6-12週歲
46         ¥68.00         天然魚小學生書包男女兒童防潑水減負立體書包1-3年級學生揹包
47         ¥99.00         聯衆/UME BU8602C/紅色 小學生書包男女1-3-4年級輕便省力減負雙肩揹包兒童8-10-12歲新年開學禮物
48         ¥189.00         【爆款直降】卡拉羊書包小學生女減負護脊日韓雙肩揹包男1-3-4-6年級兒童書包防水CX2611
49         ¥78.80         小學生書包女韓版原宿ulzzang 初高中學生揹包校園時尚休閒雙肩包
50         ¥138.00         噹噹自營孔子書包 卡通系列 德不孤必有鄰 滌綸 雙肩揹包 粉色配玫紅色 K2010
51         ¥90.90         兒童書包小學生男童1-3年級6-12週歲4-6年級男孩雙肩揹包輕便減負
52         ¥98.00         【暑假大促 領30元無門檻券 只限8月7日到手價68】貓太子兒童書包減負護脊小學生女童男童男孩女孩1-3-4-5-6年
53         ¥178.00         HelloKitty凱蒂貓 KT1146粉紅 兒童書包3-6歲女童韓版甜美幼兒園書包
54         ¥199.00         卡拉羊momogirl雙肩包女電腦包大容量旅行包學院風初高中學生書包M5274
55         ¥26.00         物有物語 雙肩包女 字母雙肩包女韓版潮休閒女包學院風初高中學生書包旅遊包
56         ¥259.00         【爆款直降】卡拉羊拉桿書包三輪小學生書包女孩男1-3-4-6年級6-12週歲兒童雙肩包CX8516
57         ¥88.00         簡約雙肩包男女韓版中學生書包大容量旅行揹包學院風電腦包休閒包
58         ¥96.90         書包小學生 1-2-3-6年級男女生減負雙肩兒童書包男孩防水護脊揹包
59         ¥58.85         小學生書包女1-3-5-6年級防水兒童書包女童卡通可愛雙肩包女孩
60         ¥78.80         書包小學生男孩1-3-4-6年級輕便兒童書包6-12週歲雙肩包男童揹包
61         ¥249.00         【爆款直降】卡拉羊兒童拉桿書包拉桿雙肩包小學生書包男女童-3-4-6年級減負CX8460
62         ¥169.00         【爆款直降】卡拉羊韓版校園初中生書包208新款揹包小學生書包男女雙肩包CX5971
63         ¥188.00         HelloKitty凱蒂貓 KT1137淺綠 兒童書包 女童韓版甜美 1-3年級減負護脊書包
64         ¥219.00         【爆款直降】卡拉羊書包小學生女兒童雙肩包男-3-4-6年級揹包防水抗污耐磨面料CX2714
65         ¥469.00         【1件3折】卡拉羊書包男女小學生日韓版 校園1-3-4-6年級減負護脊兒童雙肩書包CX2669
66         ¥128.00         Hape防走失揹包可調節幼兒園學生出遊書包18個月以上嬰兒寶寶卡通可愛雙肩包玩具 但丁貓 佩佩狗
67         ¥49.90         書包女韓版原宿ulzzang 高中學生電腦包大容量雙肩包休閒旅行揹包
68         ¥138.00         正版迪士尼書包 小學生男女孩1-3-4-6年級米奇減負揹包 兒童書包8-10-12歲雙肩包
69         ¥128.00         Hello Kitty凱蒂貓 KT1048粉藍 韓版甜美淑女幼兒園書包兒童書包 噹噹自營
70         ¥69.80         小學生書包女6-12週歲兒童書包女孩1-3-4-5-6年級護脊減負雙肩包
71         ¥229.00         【爆款直降】卡拉羊小學生書包男初中年級減負揹包校園兒童雙肩包CX5969
72         ¥69.80         初中女生書包韓版學生潮女大容量帆布小學生書包小清新可愛雙肩包
73         ¥116.90         韓版初中高中學生書包女簡約百搭帆布揹包校園小清新大容量雙肩包
74         ¥249.00         【爆款直降】卡拉羊雙肩包男女中學生大學生書包高中生大容量休閒韓版潮旅行包CX5566
75         ¥188.00         Hello Kitty凱蒂貓 KT1073粉紅 幼兒園書包女3-5歲寶寶揹包大班小班兒童書包 噹噹自營
76         ¥139.00         【爆款直降】卡拉羊雙肩包208新款揹包高中學生小學生書包女韓版校園初中生CX5357
77         ¥209.00         【爆款直降】卡拉羊小學生書包女-3-4-6年級兒童書包男生減負護脊雙肩揹包日韓CX2593
78         ¥219.00         【爆款直降】卡拉羊休閒雙肩包中學生書包男女超輕大容量初高中生學生休閒揹包CX5986
79         ¥68.00         書包小學生男1-3-4-6年級兒童減負護脊女6-12週歲初中學生雙肩包
80         ¥328.00         HelloKitty凱蒂貓 KT1097粉紅 兒童書包 小學生書包 女童韓版甜美淑女雙肩減負書包
81         ¥179.00         【爆款直降】卡拉羊雙肩包208新款揹包初中學生小學生書包男女韓版校園初中生CX5976CX5975
82         ¥188.00         HelloKitty凱蒂貓 KT1137玫紅 兒童書包 女童韓版甜美 1-3年級減負護脊書包
83         ¥179.00         【爆款直降】卡拉羊韓版校園初中生書包208新款揹包小學生書包男女雙肩包CX5970
84         ¥259.00         【爆款直降】卡拉羊書包-3-4-6年級小學生男女兒童小孩雙肩包揹包低年級防水抗污耐磨面料CX2715
85         ¥68.00         天然魚小學生書包男孩女孩時尚卡通書包1-3 年級6-10歲女孩休閒時尚書包
86         ¥80.00         高中學生書包女生2018新款時尚百搭雙肩包韓版原宿ulzzang簡約街拍揹包
87         ¥169.00         【爆款直降】卡拉羊電腦雙肩包男士休閒旅行揹包大學高中學生書包CS5625
88         ¥154.00         虎媽貓爸羅茜茜同款書包 小學生1-3年級4-6 女生護脊日式日本書包
89         ¥68.00         天然魚韓版女童書包小學生中學生男女孩3-4-5年級8-12週歲兒童雙肩包減負公主
90         ¥169.00         【爆款直降】卡拉羊書包小學生男-3-5年級減負護脊揹包英倫風校園兒童雙肩包CX2751
91         ¥159.00         韓版原宿ulzzang初中生書包女學院風百搭大容量高中學生雙肩包潮
92         ¥139.00         【爆款直降】卡拉羊兒童書包幼兒園女幼兒小書包寶寶揹包-2-3歲減負雙肩包CX6098
93         ¥249.00         【爆款直降】卡拉羊書包小學生男女書包3456年級揹包減負護脊書包雙肩包CX2746
94         ¥41.90         初中學生書包女 韓版街頭潮流中大學生森系雙肩包ulzzang原宿揹包
95         ¥77.90         2019新款雙肩包男女韓版校園中小學生書包兒童旅遊揹包女孩包包
96         ¥78.80         原宿小清新韓版校園風中學生書包女帆布休閒雙肩包揹包小學生書包
97         ¥131.10         迪士尼男童書包小學生4-6年級1-3輕便休閒雙肩包美國隊長兒童書包
98         ¥79.00         古着感少女初中小學生書包ins雙肩包 2019新款韓版簡約高中生揹包
99         ¥359.00         【1件3折】卡拉羊小學生書包女韓版校園潮1-3-4-6年級兒童雙肩包男學生揹包CX2659
100        ¥13.90         2018新款牛津帆布袋韓國INS超火單肩手提文藝清新簡約學生書包女
101        ¥78.80         火星龍小學生書包1-3-5年級男女防水耐磨透氣兒童雙肩揹包護脊
102        ¥79.00         【爆款直降】卡拉羊兒童書包幼兒園女3-4-6歲幼兒小書包寶寶揹包減負雙肩包C6005
103        ¥179.00         【爆款直降】momogirl 208新款小雙肩包女士揹包簡約時尚潮流尼龍港風書包女M5339
104        ¥469.00         【1件3折】卡拉羊小學生書包女1-3-4-6年級初中生男高年級減負護脊雙肩揹包CX2663
105        ¥75.00         天然魚新款書包女韓版校園3-6小學生輕便揹包多層大容量雙肩包
106        ¥188.00         Bad Badta.Maru酷企鵝 XO2047黑色 小學生書包 男孩1-2年級健康護脊減負雙肩包
107        ¥198.00         Bad Badta.Maru酷企鵝 XO2031藍色 小學生書包 男孩3-6年級健康護脊減負雙肩包
108        ¥79.00         男孩書包小學生1-3-4-6年級兒童書包女孩6-12週歲雙肩包
109        ¥199.00         【爆款直降】卡拉羊雙肩包女208新款 4寸電腦包高年級學生書包休閒男士揹包CX5855
110        ¥129.00         書包小學生男1-3-六年級兒童書包輕便6-12週歲迷彩雙肩包男孩
111        ¥97.00         書包女學生韓版校園初中生戶外旅遊高中學生揹包小清新防水雙肩包
112        ¥96.00         學院風大學生書包男高中學生女帆布韓版雙肩包女揹包大容量旅行包
113        ¥89.00         沃曼威斯雙肩包男學生書包潮流韓版個性旅遊揹包休閒大容量旅行包
114        ¥178.00         HelloKitty凱蒂貓 KT1146淺紫 兒童書包3-6歲女童韓版甜美幼兒園書包
115        ¥139.00         迪士尼兒童書包女小學生1-4年級蘇菲亞公主女孩冰雪奇緣一年級
116        ¥178.00         HelloKitty凱蒂貓 KT1146玫紅 兒童書包3-6歲女童韓版甜美幼兒園書包
117        ¥119.00         書包女韓版原宿ulzzang高中學生初中大容量防水雙肩包女2018新款
118        ¥43.50         兒童輕便旅行小揹包戶外秋遊男女大童補習書包小學生雙肩包補課包
119        ¥64.80         小學生女孩兒童書包1-3-6年級可愛公主kt貓雙肩揹包 6-12週歲透氣
120        ¥139.00         韓版女雙肩包初中學生書包小學生高中校園百搭簡約大容量帆布揹包