Python 簡單爬蟲抓取糗事百科

    該爬蟲主要實現的功能是抓取糗事百科裏面的一些段子。

    urllib2能夠用urllib2.openurl中設置Request參數，來修改Header頭。若是你訪問一個網站，想更改User Agent（能夠假裝你的瀏覽器），你就要用urllib2。

    urllib支持設置編碼的函數，urllib.urlencode,在模擬登錄的時候，常常要post編碼以後的參數，因此要想不使用第三方庫完成模擬登陸，你就須要使用urllib。但因爲該網站禁止抓取，只能使用urllib2。

    BeautifulSoup模塊是用Python寫的一個HTML/XML的解析器，它能夠很好的處理不規範標記並生成剖析樹(parse tree)。 它提供簡單又經常使用的導航（navigating），搜索以及修改剖析樹的操做。

    至於其中的一個輸入功能，無關緊要。通過測試，該爬蟲能實現對網站內大部分欄目進行抓取，只要簡單修改URL便可。

# coding:utf-8
import time
import random
import urllib2
from bs4 import BeautifulSoup

#引入 beautifulsoup模塊

#p = 1

#定義 頁

url = 'http://www.qiushibaike.com/text/page/'

#定義header

my_headers = [
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)',
    'ELinks/0.12pre5 (textmode; Linux; -)'
]

#獲取網頁內容

def get_con(url, headers):
    random_header = random.choice(headers)
    req = urllib2.Request(url)
    req.add_header('User-Agent', random_header)
    req.add_header('Host', 'www.qiushibaike.com')
    req.add_header(
        'Referer', 'http://www.qiushibaike.com/')
    req.add_header('GET', 'url')
    content = urllib2.urlopen(req).read()
    return content

#讀取每一條信息

def get_txt(haha):
    soup = BeautifulSoup(haha)
    all_txt = soup.find_all('div', class_="content")
    i = 1
    for txt in all_txt:
        cont = str(txt)
        head = cont.find(r'class="content"')
        end = cont.find(r'</div', head)
        con = cont[head + 16:end]
        print str(i), con
        i = i + 1
        time.sleep(3)

#根據輸入的數字，肯定打印起始頁，若是取消該功能則須要定義p。

page = raw_input("Please input a number:")
p = int(page)

#使用while循環打印出全部信息

while p < 36:
    haha = get_con(url + str(p) + '?s=4796159', my_headers)
    print get_txt(haha)
    print "這是第" + str(p) + "頁"
    p = p + 1

        正在學習中，正在不斷完善中...