本文分爲兩個部分,前大半部分說的都是Windows下手動安裝Scrapy,文末給初學編程的童鞋或者不想這麼手工安裝的童鞋推薦了Scrapy中文網,直接使用其推薦的Anaconda安裝Scrapy便可啦!html
Scrapy依賴的庫比較多,在安裝以前,你須要確保如下庫已經安裝:wheel、lxml、pyOpenSSL、Twisted、pywin32,若是沒有,先裝完,再裝Scrapy。python
pip安裝當然方便,但有時候會遇到安裝失敗的問題。wheel和egg都是打包的格式,支持不須要編譯或製做的安裝過程。wheel如今被認爲是Python標準的二進制打包格式。git
pip install wheelgithub
注意:若是你是剛剛安裝過python而且從沒有安裝過wheel,你能夠直接運行上述命令。但若是你的pip版本不夠新,你須要在執行install命令以前更新一下pip,在命令行中輸入:python -m pip install --upgrade pip更新pip,再輸入安裝命令便可。編程
python的一個解析庫,支持HTML和XML的解析,支持XPath解析方式,並且解析效率很是高。服務器
pip install lxml網絡
python自己不提供interface的實現,須要經過第三方擴展庫來使用相似interface的功能,通常都是zope.interface。框架
注意:不安裝zope.interface可能會出現pyOpenSSL安裝失敗。scrapy
一、進入網址工具
[https://pypi.org/project/zope.interface/#files]:
下載最新版本.whl文件(cp後跟着的是對應的python版本號),個人python是3.7.2版本,所以下載zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
二、下載完成後拷貝文件到python安裝目錄下(或者cd命令進入。whl文件所在路徑皆可),執行安裝命令。
pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
讓python支持SSL通訊協議,簡單來講就是加密解密等這系列操做。
一、進入網址
[https://pypi.org/project/pyOpenSSL/#files]:
下載最新版本.whl文件,好比我下載的是pyOpenSSL-18.0.0-py2.py3-none-any.whl
二、下載完成後拷貝文件到python安裝目錄下(或者cd命令進入。whl文件所在路徑皆可),執行安裝命令。
pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl
此處摘自網絡
[http://www.javashuo.com/article/p-rwdamfyd-ex.html]:
:Twisted是用Python實現的基於事件驅動的網絡引擎框架,Twisted支持許多常見的傳輸及應用層協議,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python同樣,Twisted也具備「內置電池」(batteries-included)的特色。Twisted對於其支持的全部協議都帶有客戶端和服務器實現,同時附帶有基於命令行的工具,使得配置和部署產品級的Twisted應用變得很是方便。
一、進入網址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:
下載最新版本.whl文件,好比我下載的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl
二、下載完成後拷貝文件到python安裝目錄下(或者cd命令進入。whl文件所在路徑皆可),執行安裝命令。
pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
python不自帶訪問Windows API的庫,須要下載這個庫作支持。
一、進入網址(pywin32從Build 222開始把全部的下載放在了github上面,python3.7版本的就從這裏下載)
[https://github.com/mhammond/pywin32/releases]:
二、下載pywin32-224.win-amd64-py3.7.exe
雙擊運行不須要解釋,安心繫咯。(我是沒出現not found in the registry等等問題...咳咳...)
你能夠進入地址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:
去下載Scrapy,而後用前面安裝.whl文件的方式安裝。
命令:pip install scrapy
搞定收工!YOHO~
其實,你還能夠登陸Scrapy中文網,使用Anaconda進行安裝,這個方式可能更適合初學編程的童鞋。地址以下:
[http://www.scrapyd.cn/doc/124.html]:
表打我... 咳咳...
命令行:pip list
列表中出現了Scrapy,安裝成功。
命令行:scrapy
正確執行命令,安裝成功。