Python_爬蟲 Scrapy 安裝報錯一整套處理流程

 

安裝順序

　　scrapy 須要的依賴不少。首先須要   twisted  若是沒有這個 直接安裝  scrapy  會報錯 要求你安裝一個 vis 14 仍是什麼的環境，那個東西若是真的要裝要 6g 

　　可是用 twisted 能夠繞過，所以須要先把 twisted 裝上 ，可是 twisted  的安裝不支持 pip 咱們只能用下載下來本地安裝 

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 　　twisted  的安裝須要裝 wheel 

pip3 install wheel 

　　要想本地安裝 twisted 必需要裝 pywin32 的支持才能夠 

pip3 install pywin32

　　而後才能夠安裝 twisted 在這裏會有一些其餘的報錯 

pip install Twisted‑18.4.0‑cp36‑cp36m‑win_amd64.whl

　　最後安裝 scrapy 

pip3 install scrapy

 

 

 

報錯彙總 

 

直接安裝 scrapy 報錯 

 　　若是會有這樣的報錯要求你裝  Visual C++ 14.0 所以咱們須要用到 twisted 

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

 

 

 安裝 twisted 報錯 

 

　　這個報錯意味着你下錯包了。或者你的環境不支持你的下載包類型 

　　 

　　若是是你的python 是 win32 要用這個方式查看一下支持的類型 

>>> import pip
>>> print(pip.pep425tags.get_supported())

 　　若是是有報錯說明你的不是 win32 而是 amd64 

 

　　

　　 amd64 的查看方式是

>>> import pip._internal
>>> print(pip._internal.pep425tags.get_supported())

　　因而可知確實沒有 cp36，可是是支持 cp37，所以從新下載 cp37 便可 

 

 

　　這樣就安裝成功了

 

　　而後再安裝 scrapy 就基本上沒有問題了