BeautifulSoup獲取指定class樣式的div

如何獲取指定的標籤的內容是解析網頁爬取數據的必要手段，好比想獲取<div class='xxx'> ...<div>這樣的div標籤，一般有三種辦法，

1）用字符串查找方法,而後切分字符串（或切片操做），如str.index(patternStr)或str.find(patternStr)，這種方法快，但步驟多，由於要去頭去尾。

2）用正則表達式，好比'<div class="result_info">([\s\S]+?)</div>'，經過正則表達式的括號，能夠獲取匹配的內容，即<div ..></div>之間的內容：

import re

def getTags(html):
    reg = r'<div class="result_info">([\s\S]+?)</div>'
    pattern= re.compile(reg)
    tags= re.findall(pattern, html)
    return tags

不過正則表達式仍有缺點，例如'<div class="result_info">([\s\S]+?)</div>'括號中的問號表示非貪婪匹配，正常狀況下能夠匹配到所須要的內容，但若是class="result_info"的div中還嵌套了子的div，那麼正則表達式的後半部分"</div>"將會匹配子div的結尾部分</div>，而不是但願的父div.

假若有這樣一個html：

  <div class="result_info">
     <p>some paragraph test 1
     </p>
     <p>some paragraph test 2
     </p>
     <div id="div_sub" class="sub_div_style">
        some contents in sub div
     </div>
     backend content here
  </div>

那麼backend contents here這段內容將會匹配不到，正則表達式將會將id爲div_sub的</div>做爲結尾。

3）使用第三方庫，好比BeautifulSoup，優勢是準確，缺點是速度會比字符串切分、正則表達式慢，下面說說BeautifulSoup的用法。

按照BeautifulSoup官方文檔的說明怎麼都不能成功，後來在百度知道（http://zhidao.baidu.com/question/433247968620775644.html）找到答案，真是扯淡，附上有效代碼：

soup=BeautifulSoup(html)
print soup.find_all(name='div',attrs={"class":"footer"})#按照字典的形式給attrs參數賦值

完整的：

from bs4 import BeautifulSoup
import urllib2

def getTargetDiv(url,myAttrs):
    html=urllib2.urlopen(url).read()
    soup=BeautifulSoup(html)
    return soup.find_all(name='div',attrs=myAttrs)

if __name__=="__main__":
    url=r'http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/'
    myAttrs={'class':'footer'}
    print getTargetDiv(url, myAttrs)

按照官方文檔(http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)的作法：

#1.soup.find_all("a", class_="sister")
#2.css_soup.find_all("p", class_="body")
#3.soup.find_all(href=re.compile("elsie"))

改爲

soup.find_all(name='div',class_=re.compile('info_item'))
或者
soup.find_all('div',class_='info_item')

都沒有匹配結果，經測試須要soup.find_all(name='div',attrs={"class":"footer"})這樣以字典的形式給attrs參數賦值才能夠。

 

另外一個例子，獲取指定樣式的div內的全部圖片url，並下載保存:

 1 urls=[]
 2 for img in soup.find('div',attrs={'class':'wrap'}).find_all('img'):#找到class="wrap"的div裏面的全部<img>標籤  3     urls.append(img.attrs['src'])#獲取img標籤的src屬性，即圖片網址  4 
 5 i=0
 6 savedir=r'C:\Users\hp\Desktop\Images'#路徑中不能包含中文
 7 for url in urls:
 8     urllib.urlretrieve(url, '%s\%s.jpg'%(savedir,i))
 9     i+=1
10 print 'Done'

 更多用法，可參考：http://cuiqingcai.com/1319.html