芝麻HTTP：Python爬蟲實戰之爬取糗事百科段子

時間  2019-11-21
標籤 芝麻 http python 爬蟲 實戰 糗事 百科 段子 欄目 HTTP/TCP 简体版
原文   原文鏈接

 

首先，糗事百科你們都據說過吧？糗友們發的搞笑的段子一抓一大把，此次咱們嘗試一下用爬蟲把他們抓取下來。正則表達式

友情提示

糗事百科在前一段時間進行了改版，致使以前的代碼無法用了，會致使沒法輸出和CPU佔用太高的狀況，是由於正則表達式沒有匹配到的緣故。瀏覽器

如今，博主已經對程序進行了從新修改，代碼親測可用，包括截圖和說明，以前一直在忙因此沒有及時更新，望你們海涵！app

更新時間：2015/8/2ide

糗事百科又又又又改版了，博主已經沒心再去一次次匹配它了，若是你們遇到長時間運行不出結果也不報錯的狀況，請你們參考最新的評論，熱心小夥伴提供的正則來修改下吧～測試

更新時間：2016/3/27優化

本篇目標

1.抓取糗事百科熱門段子ui

2.過濾帶有圖片的段子編碼

3.實現每按一次回車顯示一個段子的發佈時間，發佈人，段子內容，點贊數。url

糗事百科是不須要登陸的，因此也不必用到Cookie，另外糗事百科有的段子是附圖的，咱們把圖抓下來圖片不便於顯示，那麼咱們就嘗試過濾掉有圖的段子吧。spa

好，如今咱們嘗試抓取一下糗事百科的熱門段子吧，每按下一次回車咱們顯示一個段子。

1.肯定URL並抓取頁面代碼

首先咱們肯定好頁面的URL是 http://www.qiushibaike.com/hot/page/1，其中最後一個數字1表明頁數，咱們能夠傳入不一樣的值來得到某一頁的段子內容。

咱們初步構建以下的代碼來打印頁面代碼內容試試看，先構造最基本的頁面抓取方式，看看會不會成功

# -*- coding:utf-8 -*-
import urllib
import urllib2


page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
try:
    request = urllib2.Request(url)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

運行程序，哦不，它居然報錯了，真是時運不濟，命途多舛啊

line 373, in _read_status
 raise BadStatusLine(line)
httplib.BadStatusLine: ''

好吧，應該是headers驗證的問題，咱們加上一個headers驗證試試看吧，將代碼修改以下

# -*- coding:utf-8 -*-
import urllib
import urllib2
 
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

嘿嘿，此次運行終於正常了，打印出了第一頁的HTML代碼，你們能夠運行下代碼試試看。在這裏運行結果太長就不貼了。

2.提取某一頁的全部段子

好，獲取了HTML代碼以後，咱們開始分析怎樣獲取某一頁的全部段子。

首先咱們審查元素看一下，按瀏覽器的F12，截圖以下

咱們能夠看到，每個段子都是<div class=」article block untagged mb15″ id=」…」>…</div>包裹的內容。

如今咱們想獲取發佈人，發佈日期，段子內容，以及點讚的個數。不過另外注意的是，段子有些是帶圖片的，若是咱們想在控制檯顯示圖片是不現實的，因此咱們直接把帶有圖片的段子給它剔除掉，只保存僅含文本的段子。

因此咱們加入以下正則表達式來匹配一下，用到的方法是 re.findall 是找尋全部匹配的內容。方法的用法詳情能夠看前面說的正則表達式的介紹。

好，咱們的正則表達式匹配語句書寫以下，在原來的基礎上追加以下代碼

content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
    print item[0],item[1],item[2],item[3],item[4]

如今正則表達式在這裏稍做說明

1）.*? 是一個固定的搭配，.和*表明能夠匹配任意無限多個字符，加上？表示使用非貪婪模式進行匹配，也就是咱們會盡量短地作匹配，之後咱們還會大量用到 .*? 的搭配。

2）(.*?)表明一個分組，在這個正則表達式中咱們匹配了五個分組，在後面的遍歷item中，item[0]就表明第一個(.*?)所指代的內容，item[1]就表明第二個(.*?)所指代的內容，以此類推。

3）re.S 標誌表明在匹配時爲點任意匹配模式，點 . 也能夠表明換行符。

這樣咱們就獲取了發佈人，發佈時間，發佈內容，附加圖片以及點贊數。

在這裏注意一下，咱們要獲取的內容若是是帶有圖片，直接輸出出來比較繁瑣，因此這裏咱們只獲取不帶圖片的段子就行了。

因此，在這裏咱們就須要對帶圖片的段子進行過濾。

咱們能夠發現，帶有圖片的段子會帶有相似下面的代碼，而不帶圖片的則沒有，因此，咱們的正則表達式的item[3]就是獲取了下面的內容，若是不帶圖片，item[3]獲取的內容即是空。

<div class="thumb">
 
<a href="/article/112061287?list=hot&amp;s=4794990" target="_blank">
<img src="http://pic.qiushibaike.com/system/pictures/11206/112061287/medium/app112061287.jpg" alt="但他們依然樂觀">
</a>
 
</div>

因此咱們只須要判斷item[3]中是否含有img標籤就能夠了。

好，咱們再把上述代碼中的for循環改成下面的樣子

for item in items:
        haveImg = re.search("img",item[3])
        if not haveImg:
            print item[0],item[1],item[2],item[4]

如今，總體的代碼以下

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
 
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
    items = re.findall(pattern,content)
    for item in items:
        haveImg = re.search("img",item[3])
        if not haveImg:
            print item[0],item[1],item[2],item[4]
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

運行一下看下效果

恩，帶有圖片的段子已經被剔除啦。是否是很開森？

3.完善交互，設計面向對象模式

好啦，如今最核心的部分咱們已經完成啦，剩下的就是修一下邊邊角角的東西，咱們想達到的目的是：

按下回車，讀取一個段子，顯示出段子的發佈人，發佈日期，內容以及點贊個數。

另外咱們須要設計面向對象模式，引入類和方法，將代碼作一下優化和封裝，最後，咱們的代碼以下所示

__author__ = 'CQC'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
 
#糗事百科爬蟲類
class QSBK:
 
    #初始化方法，定義一些變量
    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        #初始化headers
        self.headers = { 'User-Agent' : self.user_agent }
        #存放段子的變量，每個元素是每一頁的段子們
        self.stories = []
        #存放程序是否繼續運行的變量
        self.enable = False
    #傳入某一頁的索引得到頁面代碼
    def getPage(self,pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            #構建請求的request
            request = urllib2.Request(url,headers = self.headers)
            #利用urlopen獲取頁面代碼
            response = urllib2.urlopen(request)
            #將頁面轉化爲UTF-8編碼
            pageCode = response.read().decode('utf-8')
            return pageCode
 
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"鏈接糗事百科失敗,錯誤緣由",e.reason
                return None
 
 
    #傳入某一頁代碼，返回本頁不帶圖片的段子列表
    def getPageItems(self,pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print "頁面加載失敗...."
            return None
        pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
                         'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        items = re.findall(pattern,pageCode)
        #用來存儲每頁的段子們
        pageStories = []
        #遍歷正則表達式匹配的信息
        for item in items:
            #是否含有圖片
            haveImg = re.search("img",item[3])
            #若是不含有圖片，把它加入list中
            if not haveImg:
                replaceBR = re.compile('<br/>')
                text = re.sub(replaceBR,"\n",item[1])
                #item[0]是一個段子的發佈者，item[1]是內容，item[2]是發佈時間,item[4]是點贊數
                pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])
        return pageStories
 
    #加載並提取頁面的內容，加入到列表中
    def loadPage(self):
        #若是當前未看的頁數少於2頁，則加載新一頁
        if self.enable == True:
            if len(self.stories) < 2:
                #獲取新一頁
                pageStories = self.getPageItems(self.pageIndex)
                #將該頁的段子存放到全局list中
                if pageStories:
                    self.stories.append(pageStories)
                    #獲取完以後頁碼索引加一，表示下次讀取下一頁
                    self.pageIndex += 1
    
    #調用該方法，每次敲回車打印輸出一個段子
    def getOneStory(self,pageStories,page):
        #遍歷一頁的段子
        for story in pageStories:
            #等待用戶輸入
            input = raw_input()
            #每當輸入回車一次，判斷一下是否要加載新頁面
            self.loadPage()
            #若是輸入Q則程序結束
            if input == "Q":
                self.enable = False
                return
            print u"第%d頁\t發佈人:%s\t發佈時間:%s\t贊:%s\n%s" %(page,story[0],story[2],story[3],story[1])
    
    #開始方法
    def start(self):
        print u"正在讀取糗事百科,按回車查看新段子，Q退出"
        #使變量爲True，程序能夠正常運行
        self.enable = True
        #先加載一頁內容
        self.loadPage()
        #局部變量，控制當前讀到了第幾頁
        nowPage = 0
        while self.enable:
            if len(self.stories)>0:
                #從全局list中獲取一頁的段子
                pageStories = self.stories[0]
                #當前讀到的頁數加一
                nowPage += 1
                #將全局list中第一個元素刪除，由於已經取出
                del self.stories[0]
                #輸出該頁的段子
                self.getOneStory(pageStories,nowPage)
 
 
spider = QSBK()
spider.start()

 

好啦，你們來測試一下吧，點一下回車會輸出一個段子，包括髮布人，發佈時間，段子內容以及點贊數，是否是感受爽爆了！

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程