數據挖掘_多線程抓取

在這一篇文章中，咱們主要來介紹多線程抓取數據。

 

多線程是以併發的方式執行的，在這裏要注意，Python的多線程程序只能運行在一個單核上以併發的方式運行，即使是多核的機器，因此說，使用多線程抓取能夠極大地提升抓取效率

 

下面咱們以requests爲例介紹多線程抓取，而後在經過與單線程程序比較，體會多線程的效率的提升

 

這一次，我就不用個人網站作測試了，由於網站的內容此時還並非太多，不能體現多線程的優點

 

咱們經過當當網來測試咱們的多線程實例，經過對搜索結果的同一抓取實現功能的演示，搜索模式地址以下

http://search.dangdang.com/?key=Python&act=input&page_index=1

　能夠看到key表明的是搜索關鍵字，act表明你是經過什麼方式搜索的，page_index表明的是搜索頁面的頁碼

 

在抓取到上面的頁碼後，要對裏面的信息進行提取，最後將提取的信息保存在文本文件中，文件中保存每一本書的書名，以及他的連接

 

下面咱們定義抓取實驗所須要的方法(或函數)

# coding=utf-8
__Author__ = "susmote"

import requests
from bs4 import BeautifulSoup


def format_str(s):
    return s.replace("\n", "").replace(" ", "").replace("\t", "")

def get_urls_in_pages(from_page_num, to_page_num):
    urls = []
    search_word = "python"
    url_part_1 = "http://search.dangdang.com/?key="
    url_part_2 = "&act=input"
    url_part_3 = "&page_index="
    for i in range(from_page_num, to_page_num + 1):
        urls.append(url_part_1 + search_word + url_part_2 + url_part_3 + str(i))
    all_href_list = []
    for url in urls:
        print(url)
        resp = requests.get(url)
        bs = BeautifulSoup(resp.text, "lxml")
        a_list = bs.find_all("a")
        needed_list = []
        for a in a_list:
            if 'name' in a.attrs:
                name_val = a['name']
                href_val = a['href']
                title = a.text
                if 'itemlist-title' in name_val and title != "":
                    if [title, href_val] not in needed_list:
                        needed_list.append([format_str(title), format_str(href_val)])
        all_href_list += needed_list
    all_href_file = open(str(from_page_num) + '_' + str(to_page_num) + '_' + 'all_hrefs.txt', 'w')
    for href in all_href_list:
        all_href_file.write('\t'.join(href) + '\n')
    all_href_file.close()
    print(from_page_num, to_page_num, len(all_href_list))

　　下面咱們來解釋一下這些代碼

首先，format_str是用來在提取信息後去掉多餘的空白

而get_url_in_pages方法是執行功能的主體，這個方法接收的參數是指頁碼的範圍，函數體中，urls主要用來存放基於兩個參數所生成的全部要抓取的頁面的連接，我把url分爲3個部分，也是爲了方便以後對連接的組合，而後的for循環就是作的是拼接的工做，這裏我很少作解釋了，若是不懂，請留言

下一步，咱們定義了一個列表all_href_list ,這個列表是用來存儲每頁中包含圖書信息的，實際上它又是一個嵌套的列表，裏面的元素是[書名， 連接],他的形式以下所示

all_href_list = [
    ['書名1'， "連接1"],
    ['書名2'， "連接2"],
    ['書名3'， "連接3"],
    ......
]

 

後面的代碼就是對滅一頁進行抓取和提取信息了，這部分的代碼都在for url in urls這個循環體中，首先打印連接，而後調用requs的get方法，獲取頁面，以後又使用BeautifulSoup將get請求放回的HTML文本進行分析，轉爲BeautifulSoup可以處理的結構，命名爲bs

以後咱們定義的needed_list是用來存放書名和連接的，bs.find_all('a')抽取了頁面中全部的連接元素,for a in a_list 對每個列表中的元素進行遍歷分析，在這以前，咱們經過瀏覽器發現了他的結構

每一個書籍元素中都會有一個屬性name,值爲"itemlist_title"，經過這個咱們很容易的就篩選出了書籍元素，而後將書籍信息，以及連接元素href一同存入列表，在存以前，咱們還作了一些判斷，是否已經存在這個連接了，和這個元素的連接爲空

每抽取完一個頁面的連接後，就能夠把它加入到all_href_list中，也就是下面這行代碼

all_href_list += needed_list

　　注意我在這裏使用的是 += 運算符

獲取到範圍內全部的連接元素後，就能夠寫入文件了，在這裏我不作過多解釋了

 

而後咱們下一步就是定義多線程了，由於咱們搜索關鍵詞總的頁數是32頁

 

因此咱們在這裏準備用3個線程來完成這些任務，也就是每一個線程處理10個頁面，在單線程的狀況下，這30頁用一個線程單獨完成

下面咱們給出抓取方案的代碼

# coding=utf-8
__Author__ = "susmote"

import time
import threading
from mining_func import get_urls_in_pages

def multiple_threads_test():
    start_time = time.time()
    page_range_list = [
        (1, 10),
        (11, 20),
        (21, 32),
    ]
    
    th_list = []
    for page_range in page_range_list:
        th = threading.Thread(target = get_urls_in_pages, args = (page_range[0], page_range[1]))
        th_list.append(th)
    
    for th in th_list:
        th.start()
        
    for th in th_list:
        th.join()
        
    end_time = time.time()
    print("共使用時間1:", end_time - start_time)
    return end_time - start_time

　　

簡單解釋一下，爲了獲取運行的時間，咱們定義了一個開始時間start_time 和 一個結束時間end_time，運行時間也就是結束時間減去開始時間

而後定義的一個列表page_range_list也就是把頁碼分爲三段，前面有提到過

以後又定義了一個列表th_list也就是存儲全部線程對象的列表，以後經過一個循環，生成了3個線程對象，分別對應着不一樣的頁碼範圍，把他們存入列表

而後在後面的循環中，分別執行th.start()，開啓線程，在後面，咱們爲了使這些異步併發執行的線程都執行完畢後再退出函數，這裏使用了線程的join方法,等待各線程執行完畢

 

下面就是最激動人心的時候了，對代碼進行測試

在這裏，咱們寫下以下代碼

# coding=utf-8
__Author__ = "susmote"

from mining_threading import multiple_threads_test

if __name__ == "__main__":
    mt = multiple_threads_test()
    print('mt', mt)

　　

爲了使測試結果更加精確，咱們進行三次實驗，取平均時間 

第一次實驗

使用時間6.651

第二次實驗

 

使用時間6.876

第三次實驗

 

使用時間6.960

 

平均時間以下

6.829

 

下面是單進程代碼

# coding=utf-8
__Author__ = "susmote"

import time
from mining_func import get_urls_in_pages


def sigle_test():
    start_time = time.time()
    get_urls_in_pages(1, 32)
    end_time = time.time()
    print("共使用時間 : ", end_time - start_time)
    return end_time - start_time 

　　

調用函數以下

# coding=utf-8
__Author__ = "susmote"

from single_mining import single_test


if __name__ == "__main__":
    st = single_test()
    print('st ', st) 

　　

在命令行下執行

 

第一次

10.138

 

第二次

10.290

 

第三次

10.087

 

平均花費時間

10.171

 

因此說，多線程的確可以提升抓取的效率，注意，這是在數據比較少的狀況進行的，若是數據量比較大的話，多線程的優點就很明顯了

你能夠本身去更改搜索關鍵詞，和頁碼，或是從新找一個網頁(抓取跟網速也有很大的關係)

 

附幾張抓取數據的圖