Scrapy,一個網絡爬蟲的框架,首先第一步確定是安裝。css
參考網上的文章。html
安裝過程當中須要用到pip工具,請自行安裝。python
1.安裝pythonweb
這個是必須的,既然都用到scrapy了,確定已經安裝了python,這個略過。網絡
2.安裝pywin32框架
下載地址:http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/scrapy
根據系統的不一樣,選擇32位或者64位的。而後直接運行下載的exe就行ide
3.Visual C++ 2008 Redistributables和Win32OpenSSL_Light-1_0_2a的安裝工具
下載地址:http://slproweb.com/products/Win32OpenSSL.htmlui
下載下來exe文件,直接執行安裝就能夠了。把OpenSSL的bin目錄添加到環境變量(C:\OpenSSL-Win32)
4.1.安裝twisted依賴zope.interface
下載地址:https://pypi.python.org/pypi/zope.interface#download
下載下來是個egg文件,直接安裝就能夠了。
4.2.安裝twisted依賴pyopenssl
下載地址:https://www.egenix.com/cryptodownload/?python=2.7+installer&file=egenix-pyopenssl-0.13.8.win32-py2.7.msi
下載下來是個egg文件,直接安裝就能夠了。
4.3.安裝twisted依賴安裝lxml
下載地址:https://pypi.python.org/pypi/lxml/
直接運行下載的exe就行
5.安裝w3lib
下載地址:https://pypi.python.org/pypi/w3lib#downloads
下載下來安裝包,使用python setup.py install命令進行安裝
6.cssselect
直接使用pip安裝就能夠了
pip install cssselect
7.安裝twisted
下載地址:http://twistedmatrix.com/trac/wiki/Downloads
直接運行下載的exe就行
8.安裝service_identity
下載地址:https://pypi.python.org/pypi/service_identity#downloads
下載下來安裝包,使用python setup.py install命令進行安裝
9.安裝cryptography
下載地址:https://pypi.python.org/pypi/cryptography
直接使用命令安裝下載下拉的whl文件
10.安裝cffi
下載地址:https://pypi.python.org/pypi/cffi
直接使用命令安裝下載下拉的whl文件
11.scrapy
直接使用pip安裝就能夠了
pip install scrapy
最後大功告成,