Windows下安裝Scrapy

這幾天正好有需求實現一個爬蟲程序，想到爬蟲程序立馬就想到了python，python相關的爬蟲資料好像也特別多。因而就決定用python來實現爬蟲程序了，正好發現了python有一個開源庫scrapy，正是用來實現爬蟲框架的，因而果斷採用這個實現。下面就先安裝scrapy，決定在windows下面安裝。

 

Scrapy簡介

Scrapy是一個快速,高效的網頁抓取python框架。主要用於Web抓取&提取信息&格式化數據。常常用此作數據挖掘、檢測、測試等。

安裝所需軟件

安裝步驟

一、安裝Python

官網下載python（http://www.python.org/ftp/python/2.7.5/python-2.7.5.msi），雙擊msi文件便可直接安裝， 將python路徑(D:\Python27;D:\Python27\Scripts;)加入環境變量 
驗證是否安裝ok

C:\Users\admin>python Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win 32 Type "help", "copyright", "credits" or "license" for more information. >>>

二、安裝setuptools

官網下載setuptools（http://pypi.python.org/pypi/setuptools），能夠下載相關的ez_setup.py文件，而後直接執行該文件即能自動完成安裝：

python  ez_setup.py

三、安裝Zope.Interface

官網下載Zope.Interface（http://pypi.python.org/pypi/zope.interface/）到官網下載與python版本對應的安裝文件msi文件，雙擊也能夠自動完成安裝，驗證是否安裝ok

C:\Users\admin>python
Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win 32 Type "help", "copyright", "credits" or "license" for more information. >>> import zope.interface >>>

四、安裝Twisted

官網下載Twisted（http://twistedmatrix.com/trac/wiki/Downloads）下載對應版本的msi文件，雙擊直接安裝便可。

五、安裝w3lib

官網下載w3lib（http://pypi.python.org/pypi/w3lib） 安裝，下載w3lib-1.9.0.tar.gz文件，解壓，

#進入插件目錄並執行命令安裝
>D:\python-plugin\w3lib-1.3>python setup.py install

驗證

D:\python-plugin\w3lib-1.3>python
Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win 32 Type "help", "copyright", "credits" or "license" for more information. >>> import w3lib >>>

六、安裝libxml2

官網下載libxml2（http://users.skynet.be/sbi/libxml-python/）& 下載對應python版本的exe文件，雙擊便可

七、安裝pyOpenSSL

官網下載pyOpenSSL（https://pypi.python.org/pypi/pyOpenSSL）& 下載pyOpenSSL-0.14.tar.gz文件，而後解壓文件，並進入目錄

接着執行命令：

python setup.py build

python setup.py install

 

這個時候報錯：

error: Unable to find vcvarsall.bat

這是由於pyOpenSSL編譯須要藉助VC++編譯，因此若是這個時候已經安裝了visual studio，就須要執行visual studio的路徑：

 若是安裝了 Visual Studio 2010，則執行以下命令：

 SET VS90COMNTOOLS=%VS100COMNTOOLS%

若是安裝了 Visual Studio 2012 (Visual Studio Version 11)，則執行以下命令：

 SET VS90COMNTOOLS=%VS110COMNTOOLS%

若是安裝了 Visual Studio 2013  (Visual Studio Version 12)，那麼執行下面命令

 SET VS90COMNTOOLS=%VS120COMNTOOLS%

 能夠參考文章：http://blog.csdn.net/secretx/article/details/17472107

 這個時候，仍是報錯：

Cannot open include file: 'openssl/asn1.h': No such file or directory

這是由於須要在windows下安裝openssl這個庫，能夠到http://slproweb.com/products/Win32OpenSSL.html地址下載：

Win32 OpenSSL v1.0.1i

而後再製定目錄：

> set LIB=C:\OpenSSL-Win32\lib\VC\static;%LIB%

> set INCLUDE=C:\OpenSSL-Win32\include;%INCLUDE%

則這個時候編譯經過

 

 

 

八、安裝scrapy

官網下載scrapy（https://pypi.python.org/pypi/Scrapy） 安裝

#進入scrapy目錄並執行安裝
>D:\python-plugin\Scrapy-0.16.5>python setup.py install

驗證

D:\python-plugin\Scrapy-0.16.5>scrapy
Scrapy 0.16.5 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy [ more ] More commands available when run from project directory Use "scrapy <command> -h" to see more info about a command D:\python-plugin\Scrapy-0.16.5>

安裝完畢 OK