ubuntu14.04安裝Scrapy爬蟲

官網：http://scrapy.org/

https://pypi.python.org/pypi/Scrapy

根據官方文檔說明，安裝scrapy須要如下程序或者庫：

python 2.7
lxml
OpenSSL
pip

Ubuntu14.04已經自帶了前三者。經過如下命令能夠驗證：

python -V

在python命令行下：

import lxml
import openSSL

若是沒有報錯，那就說明已經有這兩個庫了。若是沒有，能夠使用第四個工具（pip）進行下載和安裝。

安裝pip：

sudo apt-get install pip

安裝scrapy：

sudo pip install Scrapy

注意S是大寫的。而後pip就會自動安裝了（注意要添加sudo命令，不然就會報寫入被禁止的錯誤。）

可是在安裝過程當中，出現了一個錯誤：

twisted/runner/portmap.c:10:20: fatal error: Python.h No such file or directory.

咱們須要安裝一個叫python-dev的包。因而，咱們在終端輸入：

sudo apt-get install python-dev

安裝結束後，再次輸入：

sudo pip install Scrapy

就能夠正常安裝scrapy了。

安裝結束後，在終端輸入scrapy來驗證咱們是否安裝成功而且可否正常運行。答案是不能。會出現提示：

UserWarning: You do not have the service_identity module installed.

這個簡單，在終端輸入：

sudo pip install service_identity

等它安裝結束以後，就OK了。

最後在終端驗證一下：

scrapy

會打印出版本號等信息。

Scrapy 0.24.1 - no active project
Usage:
    scrapy <command> [options]  [args]
Available commands:
    bench
    ...
    ...