使用python的爬蟲框架scrapy,在windows上搭建環境時候,使用pip install scrapy 命令安裝Scrapy爬蟲框架時,出現了很讓人頭疼的錯誤,錯誤截圖以下:python
在網上查找解決方法時,大體知道了問題的緣由。是由於缺乏C語言的編譯環境,其中一種解決方法就是安裝相對應版本的Visual Studio,可是安裝VS自己就極其麻煩,因此這種方法是不推薦的。第二種方法就是下載已經編譯好的安裝包。windows
1. 下載.whl安裝包
能夠到下面這個網址中下載與python版本以及系統(32位或64位)相匹配的Twisted版本,好比我下載的就是Twisted-17.9.0-cp35-cp35m-win_amd64.whl(個人python是3.5版本的),經過該網站:http://www.lfd.uci.edu/~gohlke/pythonlibs/ 來下載所須要的版本。框架
2. 安裝下載的.whl安裝包
在命令行中使用如下命令:pip install C:\Users\Administrator>pip install C:\Users\Administrator\Downloads\Twisted-17.9
.0-cp36-cp36m-win_amd64.whl的命令來安裝Twistedscrapy
出現以上信息,則代表已經Twisted安裝成功,ide
3. 安裝Scrapy
此時在命令行中使用pip install scrapy來安裝Scrapy就會提示安裝成功了。網站
查看版本:ui
4. 運行本身的第一個腳本:
報錯信息爲:.net
此時要繼續第五步的操做,插件
5. windows下繼續安裝py32的插件:
Srapy已經安裝成功,還要下載pywin32,找到對應版本下載,一路下一步安裝便可。安裝完成後,就能夠正常使用Scrapy了。命令行
URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
選擇對應版本的pywin32程序,不然版本不對容易出問題。
安裝成功後,運行命令:
D:\python_code\Spider\part12\myfirstpjt\myfirstpjt>scrapy runspider --loglevel=I
NFO first.py,終於出現結束畫面: