還沒寫過爬蟲的小白點進來，一文帶你入門python爬蟲（小白福利）

入門

準備工做

須要準備的東西： Python、scrapy、一個IDE或者隨便什麼文本編輯工具。

隨便建一個工做目錄，而後用命令行創建一個工程，工程名爲miao，能夠替換爲你喜歡的名字。

scrapy startproject miao

隨後你會獲得以下的一個由scrapy建立的目錄結構

在spiders文件夾中建立一個python文件，好比miao.py，來做爲爬蟲的腳本。內容以下：

先跑一下試試看

若是用命令行的話就這樣：

cd miao

scrapy crawl NgaSpider

你能夠看到爬蟲君已經把你壇星際區第一頁打印出來了，固然因爲沒有任何處理，因此混雜着html標籤和js腳本都一併打印出來了。

解析

接下來咱們要把剛剛抓下來的頁面進行分析，從這坨html和js堆裏把這一頁的帖子標題提煉出來。

其實解析頁面是個體力活，方法多的是，這裏只介紹xpath。

爲何不試試神奇的xpath呢

看一下剛纔抓下來的那坨東西，或者用chrome瀏覽器手動打開那個頁面而後按F12能夠看到頁面結構。

每一個標題其實都是由這麼一個html標籤包裹着的。舉個例子：

 

能夠看到href就是這個帖子的地址（固然前面要拼上論壇地址），而這個標籤包裹的內容就是帖子的標題了。

因而咱們用xpath的絕對定位方法，把class='topic'的部分摘出來。

看看xpath的效果

在最上面加上引用：

from scrapy import Selector

把parse函數改爲：

小編推薦一個學Python的學習裙【 二二七，四三五，四五零 】，不管你是大牛仍是小白，是想轉行仍是想入行均可以來了解一塊兒進步一塊兒學習！裙內有開發工具，不少乾貨和技術資料分享！但願新手少走彎路

再次運行就能夠看到輸出你壇星際區第一頁全部帖子的標題和url了。

遞歸

接下來咱們要抓取每個帖子的內容。

這裏須要用到python的yield。

yield Request(url=url, callback=self.parse_topic)

此處會告訴scrapy去抓取這個url，而後把抓回來的頁面用指定的parse_topic函數進行解析。

至此咱們須要定義一個新的函數來分析一個帖子裏的內容。

完整的代碼以下：

到此爲止，這個爬蟲能夠爬取你壇第一頁全部的帖子的標題，並爬取每一個帖子裏第一頁的每一層樓的內容。

爬取多個頁面的原理相同，注意解析翻頁的url地址、設定終止條件、指定好對應的頁面解析函數便可。

Pipelines——管道

此處是對已抓取、解析後的內容的處理，能夠經過管道寫入本地文件、數據庫。

0.定義一個Item

在miao文件夾中建立一個items.py文件。

此處咱們定義了兩個簡單的class來描述咱們爬取的結果。

寫一個處理方法

在miao文件夾下面找到那個pipelines.py文件，scrapy以前應該已經自動生成好了。咱們能夠在此建一個處理方法。

在爬蟲中調用這個處理方法

要調用這個方法咱們只需在爬蟲中調用便可，例如原先的內容處理函數可改成：

在配置文件裏指定這個pipeline

找到settings.py文件，在裏面加入

ITEM_PIPELINES = {

'miao.pipelines.FilePipeline': 400,

}

這樣在爬蟲裏調用的時候都會由經這個FilePipeline來處理。後面的數字400表示的是優先級。

能夠在此配置多個Pipeline，scrapy會根據優先級，把item依次交給各個item來處理，每一個處理完的結果會傳遞給下一個pipeline來處理。

能夠這樣配置多個pipeline:

Middleware——中間件

經過Middleware咱們能夠對請求信息做出一些修改，好比經常使用的設置UA、代理、登陸信息等等均可以經過Middleware來配置。

Middleware的配置

與pipeline的配置相似，在setting.py中加入Middleware的名字，例如

DOWNLOADER_MIDDLEWARES = {

"miao.middleware.UserAgentMiddleware": 401,

"miao.middleware.ProxyMiddleware": 402,

}

破網站查UA, 我要換UA

某些網站不帶UA是不讓訪問的。

在miao文件夾下面創建一個middleware.py

這裏就是一個簡單的隨機更換UA的中間件，agents的內容能夠自行擴充。

破網站封IP，我要用代理

好比本地127.0.0.1開啓了一個8123端口的代理，一樣能夠經過中間件配置讓爬蟲經過這個代理來對目標網站進行爬取。

一樣在middleware.py中加入：

不少網站會對訪問次數進行限制，若是訪問頻率太高的話會臨時禁封IP。

若是須要的話能夠從網上購買IP，通常服務商會提供一個API來獲取當前可用的IP池，選一個填到這裏就好。

一些經常使用配置

在settings.py中的一些經常使用配置

就是要用Pycharm

若是非要用Pycharm做爲開發調試工具的話能夠在運行配置裏進行以下配置：

Configuration頁面：

Script填你的scrapy的cmdline.py路徑，好比個人是

/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py

而後在Scrpit parameters中填爬蟲的名字，本例中即爲：

crawl NgaSpider

最後是Working diretory，找到你的settings.py文件，填這個文件所在的目錄。

示例：

按小綠箭頭就能夠愉快地調試了