爬蟲-圖片爬蟲

什麼是圖片爬蟲：所謂圖片爬蟲，就是從互聯網中自動把對方服務器上的圖片爬下來的爬蟲程序。

淘寶圖片爬蟲實戰：

網址: http://taobao.com/

 

import urllib.request

import re

headers = ("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36")

opener = urllib.request.build_opener()

opener.addheader = [headers]

urllib.request.install_opener(opener)

keyname = '連衣裙'

key = urllib.request.quote(keyname)

for i in range(1,3):

　　url = 'https://s.taobao.com/list?q='+key+'&cat=16&style=grid&seller_type=taobao&spm=a217f.8051907.1000187.1&bcoffset=0&s='+str(i*60)

　　data = urllib.request.urlopen(url).read().decode('utf-8','ignore')

　　pat = '"pic_url":"//(.*?)'

　　imglist = re.compile(pat).findall(data)

　　print(imglist)

for j in range(0,len(imglist)):

　　thisname = imglist[j]

　　thisurl = 'http://'+thisname

　　file = 'D:/spider/urllib_crawler/taobaoimg/'+str(i)+str(j)+'jpg'

　　data = urllib.request.urlretrieve(thisurl,file)