在windows下如何新建爬蟲虛擬環境和進行scrapy安裝

Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy吸引人的地方在於它是一個框架，任何人均可以根據需求方便的修改。Scrapy用途普遍，能夠用於數據挖掘、監測和自動化測試。

一、關於虛擬環境的建立能夠參考以前發佈的兩篇博文，在Windows下如何建立指定的虛擬環境和在Windows下如何建立虛擬環境（默認狀況下）。下面在指定的文件夾下，直接先建立環境，在命令行輸入環境建立命令「virtualenv --python=C:Python34python.exe scrapy_demo」，指定Python的版本和路徑，以及虛擬環境的名字scrapy_demo，其中虛擬環境能夠本身進行修改，這裏命名爲scrapy_demo。

二、爾後進入到scrapy_demo文件夾下，找到Scripts文件夾，輸入activate.bat以激活虛擬環境，步驟以下圖所示。以後能夠看到scrapy_demo被括號括起來了，說明進入了環境，在命令行中輸入python，能夠看到直接彈出Python3的環境。

三、新建完虛擬環境以後，接下來就開始安裝Scrapy，輸入安裝命令「pip install Scrapy」或者「pip install -i https://pypi.douban.com/simple/ Scrapy」，後面這個命令是經過豆瓣源鏡像進行下載，速度會快不少，並且較爲穩定，建議使用該方法進行安裝，Python中的其餘庫也建議用該命令進行安裝，十分的方便快捷。輸入命令以後，等待Scrapy的安裝，以下圖所示。

四、能夠看到Scrapy的安裝速度很是快，由於咱們使用了鏡像進行下載。不過稍等片刻以後可能會碰到timeout的問題，這是因爲Scrapy安裝的過程當中須要不少依賴包，致使下載過程當中會遇到網絡延時的問題，此時只須要從新輸入安裝命令進行安裝便可。除了timeout的問題以外，可能還會碰到下圖這個問題。

五、這個問題的出現是由於缺少Twisted依賴包，此時經過「pip install twisted」可能有問題，這裏給你們介紹一個很是實用的Python包網站https://www.lfd.uci.edu/~gohlke/pythonlibs/，裏邊的Python包專門用於Windows下的安裝的。在網頁中找到Twisted安裝包，而後選擇本機Python對應版本和電腦系統位數的安裝包，小編的電腦是64位的，並且Python版本是Python3.4，因此下載的包以下圖紅色框框所示。

六、下載完成以後，直接進入到下載的目錄，由此進入命令行窗口，輸入安裝命令「pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl」，通常是能夠安裝上的，可是有時候會出現下面的錯誤提示「Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.」，表示該平臺不支持這個安裝包，以下圖所示。

七、此時不用慌，在這裏小編給你們介紹一個小技巧，專門用來應對這樣的問題的。進入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安裝包目錄下，通常下載以後將其放到虛擬環境的site-packages文件夾下面，爾後將後綴.whl更改成.zip，有木有以爲很熟悉？對，它就是個壓縮文件，如今將壓縮包裏邊的內容所有解壓到當前文件夾，以下圖所示。

八、以後在虛擬環境下輸入pip list命令查看安裝包，能夠看到Twisted安裝包已經在裏邊了，以下圖所示。第一個pip list命令的時候還沒有解壓Twisted安裝包，此時並無Twisted庫；第二個pip list命令是在Twisted安裝包解壓以後執行的，能夠看到Twisted庫已經在裏邊了。

九、爾後咱們再次輸入Scrapy的安裝命令，「pip install -i https://pypi.douban.com/simple/Scrapy」，等待安裝完成，此時能夠看到沒有任何的報錯了。

十、最後經過pip list查看Scrapy是否安裝成功，能夠看到Scrapy已經在list以內了，以下圖所示。

至此，Scrapy的安裝已經順利完成。文中記錄的部分bug解決方法是不少小夥伴們都會遇到的問題，但願你們往後在安裝Scrapy的時候有章可循。最後，祝你們安裝Scrapy一切順利~~