scrapy爬蟲架構介紹和初試

時間 2019-11-13

原文原文鏈接

scrapy爬蟲架構介紹和初試

1、scrapy簡介

Scrapy 是一套基於Twisted的異步處理框架，是純python實現的爬蟲框架，用戶只須要定製開發幾個模塊就能夠輕鬆的實現一個爬蟲，用來抓取網頁內容或者各類圖片。下圖顯示了Scrapy的大致架構，其中包含了scheduler、item pipeline、downloader、spider以及engine這幾個組件模塊，而其中的綠色箭頭則說明了整套系統的數據處理流程。html

下面就來一個個解釋每一個組件的做用及數據的處理過程。python

scrapy-admin.py startproject blog_crawlweb

2、組件說明：

一、ScrapyEngine（Scrapy引擎）正則表達式

Scrapy引擎是用來控制整個系統的數據處理流程，並進行事務處理的觸發。更多的詳細內容能夠看下面的數據處理流程。數據庫

二、Scheduler（調度）網絡

調度程序從Scrapy引擎接受請求並排序列入隊列，並在Scrapy引擎發出請求後返還給他們。架構

三、Downloader（下載器）app

下載器的主要職責是抓取網頁並將網頁內容返還給蜘蛛( Spiders)。框架

四、Spiders（蜘蛛）dom

蜘蛛是有Scrapy用戶本身定義用來解析網頁並抓取制定URL返回的內容的類，每一個蜘蛛都能處理一個域名或一組域名。換句話說就是用來定義特定網站的抓取和解析規則。

蜘蛛的整個抓取流程（週期）是這樣的：

(1)首先獲取第一個URL的初始請求，當請求返回後調取一個回調函數。第一個請求是經過調用start_requests()方法。該方法默認從start_urls中的Url中生成請求，並執行解析來調用回調函數。

(2)在回調函數中，你能夠解析網頁響應並返回項目對象和請求對象或二者的迭代。這些請求也將包含一個回調，而後被Scrapy下載，而後有指定的回調處理。

(3)在回調函數中，你解析網站的內容，同程使用的是Xpath選擇器（可是你也可使用BeautifuSoup, lxml或其餘任何你喜歡的程序），並生成解析的數據項。

(4)最後，從蜘蛛返回的項目一般會進駐到項目管道。

五、Item Pipeline（項目管道）

項目管道的主要責任是負責處理有蜘蛛從網頁中抽取的項目，他的主要任務是清晰、驗證和存儲數據。當頁面被蜘蛛解析後，將被髮送到項目管道，並通過幾個特定的次序處理數據。每一個項目管道的組件都是有一個簡單的方法組成的Python類。他們獲取了項目並執行他們的方法，同時他們還須要肯定的是是否須要在項目管道中繼續執行下一步或是直接丟棄掉不處理。

項目管道一般執行的過程有：

清洗HTML數據

驗證解析到的數據（檢查項目是否包含必要的字段）

檢查是不是重複數據（若是重複就刪除）

將解析到的數據存儲到數據庫中

六、Downloadermiddlewares（下載器中間件）

下載中間件是位於Scrapy引擎和下載器之間的鉤子框架，主要是處理Scrapy引擎與下載器之間的請求及響應。它提供了一個自定義的代碼的方式來拓展 Scrapy的功能。下載中間器是一個處理請求和響應的鉤子框架。他是輕量級的，對Scrapy盡享全局控制的底層的系統。

七、Spider middlewares（蜘蛛中間件）

蜘蛛中間件是介於Scrapy引擎和蜘蛛之間的鉤子框架，主要工做是處理蜘蛛的響應輸入和請求輸出。它提供一個自定義代碼的方式來拓展Scrapy的功能。蛛中間件是一個掛接到Scrapy的蜘蛛處理機制的框架，你能夠插入自定義的代碼來處理髮送給蜘蛛的請求和返回蜘蛛獲取的響應內容和項目。

八、Schedulermiddlewares（調度中間件）

調度中間件是介於Scrapy引擎和調度之間的中間件，主要工做是處從Scrapy引擎發送到調度的請求和響應。他提供了一個自定義的代碼來拓展Scrapy的功能。

3、數據處理流程

Scrapy的整個數據處理流程由Scrapy引擎進行控制，其主要的運行方式爲：

1引擎打開一個域名，蜘蛛處理這個域名，並讓蜘蛛獲取第一個爬取的URL。

2引擎從蜘蛛那獲取第一個須要爬取的URL，而後做爲請求在調度中進行調度。

3引擎從調度那獲取接下來進行爬取的頁面。

4調度將下一個爬取的URL返回給引擎，引擎將他們經過下載中間件發送到下載器。

5當網頁被下載器下載完成之後，響應內容經過下載中間件被髮送到引擎。

6引擎收到下載器的響應並將它經過蜘蛛中間件發送到蜘蛛進行處理。

7蜘蛛處理響應並返回爬取到的項目，而後給引擎發送新的請求。

8引擎將抓取到的項目項目管道，並向調度發送請求。

系統重複第二步後面的操做，直到調度中沒有請求，而後斷開引擎與域之間的聯繫。

scrapy可以很好的處理問題，它經過幾個組件完成不一樣的部分，將相似下載網頁數據的這些通用操做封裝起來，減小了咱們編寫爬蟲時的難度，而且各個部件之間經過異步來處理，可以最大限度利用了網絡帶寬。咱們只須要按照它的要求來實現幾個模塊就能夠了。

fromscrapy.spider importBaseSpider

classtest(BaseSpider):

name ="test"

allowed_domains =["hao123.com"]

start_urls =["http://www.hao123.com"]

defparse(self,response):

printresponse.url

4、爬蟲一般的作法

一般的爬取數據的處理的流程是：

1. 將一個開始的網頁url存放到list中

2. 不斷從list中取出url進行數據獲取

3. 在獲取到的網頁數據中的連接都存放到list裏面

4. 不斷重複2、3步驟

#encoding=utf-8

__author__='dragon'

importurllib2

importos

importpymongo

importtime

importhashlib

defmyspider(startweb, keyword):

list=[startweb]

curindex =0

Keyword =keyword

#網絡上MongoHQ

#con = pymongo.Connection("paulo.mongohq.com",10042)

#db = con.mytest

#db.authenticate("dragon","dragon")

#db.urllist.drop()

#本地數據庫

con =pymongo.Connection("localhost", 27017)

db =con.mytest

whilecurindex < len(list):

url =list[curindex]

print"list count =", len(list), " curcheck ",curindex

print"try to visit ", url

headers =('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/29.0.1547.66 Safari/537.36')

try:

opener =urllib2.build_opener()

opener.addheaders =[headers]

openness =opener.open(url, None, 30)

data =openness.read()

opener.close()

except:

print"some error ..."

curindex +=1

continue

print"finish get data..."

os.remove("d:/test.txt")

file=open("d:/test.txt","a")

print>> file, data

file.close()

myfile =open("d:/test.txt", "r")

mystring =myfile.read()

myfile.close()

#找到標題

title =""

headstart =mystring.find("<head>")

headend =mystring.find("</head>")

ifheadstart < 0:

headstart =mystring.find("<HEAD>")

headend =mystring.find("</HEAD>")

ifheadstart > 0:

titlestart =mystring.find("<title>")

titleend =mystring.find("</title>")

iftitlestart < 0:

titlestart =mystring.find("<TITLE>")

titleend =mystring.find("</TITLE>")

iftitleend >titlestart andtitlestart < headend andtitleend < headend:

title =mystring[titlestart+len("<title>"):titleend]

dbdata ={"title":"", "url":"","time":""}

try:

title =title.decode("utf-8").encode("utf-8")

except:

try:

title =title.decode("gbk").encode("utf-8")

except:

pass

dbdata["title"] =title

dbdata["url"] =url

dbdata["time"] =time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

try:

db.urllist.insert(dbdata)

except:

print"insert error"

iflen(mystring) >0:

whilelen(mystring) > 0:

start =mystring.find("href=\"")

ifstart <=0:

break

substring =mystring[start+6:]

end =substring.find("\"")

weblink =substring[:end]

ifKeyword !="":

ifweblink.find(Keyword)>=0andlist.count(weblink) <=0:

list.append(weblink)

elif0>weblink.find("video.sina.com.cn") \

and0>weblink.find("video.baidu.com") \

and0<=weblink.find("http:") \

and0>=list.count(weblink):

list.append(weblink)

mystring =mystring[start+6:]

curindex +=1

if__name__ =='__main__':

myspider("http://www.hao123.com","hao123")

5、scrapy優點

scrapy結構清晰，能夠很方便得修改它來實現更復雜的需求

快速的link extracto

首先從初始 URL 開始，Scheduler 會將其交給 Downloader 進行下載，下載以後會交給 Spider 進行分析，Spider 分析出來的結果有兩種：一種是須要進一步抓取的連接，例如以前分析的「下一頁」的連接，這些東西會被傳回 Scheduler ；另外一種是須要保存的數據，它們則被送到 Item Pipeline 那裏，那是對數據進行後期處理（詳細分析、過濾、存儲等）的地方。另外，在數據流動的通道里還能夠安裝各類中間件，進行必要的處理。parse 方法是咱們須要定義的回調函數，默認的 request 獲得 response 以後會調用這個回調函數，咱們須要在這裏對頁面進行解析，返回兩種結果（須要進一步 crawl 的連接和須要保存的數據），讓我感受有些奇怪的是，它的接口定義裏這兩種結果居然是混雜在一個 list 裏返回的，不太清楚這裏爲什麼這樣設計。

Scrapy爲每個start_urls建立一個scrapy.http.Request對象，並將爬蟲的parse方法指定爲回調函數。這些Request首先被調度,而後被執行,以後經過parse()方法,將scrapy.http.Response對象被返回,結果也被反饋給爬蟲。