Python學習爬蟲時遇到的問題TypeError: cannot use a string pattern on a bytes-like object

import re
import urllib.request                       -----1
def gethtml(url):
    page=urllib.request.urlopen(url)          ------2
    html=page.read()
    return html
def getimg(html):
    reg = r'src="(.*?\.jpg)"'
    img=re.compile(reg)
    html=html.decode('utf-8')#python3             ---------3
    imglist=re.findall(img,html)
    x = 0
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl,'%s.jpg'%x)
        x = x+1
html=gethtml("http://news.ifeng.com/a/20161115/50258273_0.shtml")
print(getimg(html))

上面標了1,2,3,的三個地方Python3.0及以上版本在學爬蟲是須要注意的, 若是沒有這代碼的話可能會出現如下狀況html

  1. TypeError: cannot use a string pattern on a bytes-like object 這種狀況解決方法就是加上html=html.decode('utf-8')#python3這句代碼
  2. AttributeError: module 'urllib' has no attribute 'urlopen'這種狀況的解決辦法就是將urllib改爲urllib.request就好了

參考於> http://blog.csdn.net/lxh199603/article/details/53192883python

相關文章
相關標籤/搜索