Python3 Scrapy 安裝方法

 

 

轉自:https://blog.csdn.net/zjiang1994/article/details/52689144

寫在前面

最近在學習爬蟲，在熟悉了Python語言和BeautifulSoup4後打算下個爬蟲框架試試。 
沒想到啊，這坑太深了。。。

看了看相關介紹後選擇了Scrapy框架，而後興高采烈的打開了控制檯，

pip install Scrapy

• 1

坑出現了。。。。

運行報錯

error: Unable to find vcvarsall.bat

• 1

開始上網查解決方法。。 
看了大多數方法，基本上的解決方法就是下載版本對應的visual studio,可是也太大了。。。。。。並且網速看不下去啊。。。

最後花費了將近一天的時間，終於找到了解決方法。

使用wheel安裝。

這個網站裏邊是編譯好的各類庫的 
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同時，推薦一篇個人Scrapy入門實例博客：

scrapy爬蟲框架入門實例

但願能夠幫到剛接觸python和scrapy的同窗。

安裝方法

首先安裝wheel

pip install wheel

• 1

安裝完成後驗證是否成功

wheel

• 1

安裝成功是這樣 

而後去上邊的網站下載Scrapy庫， 
進到網站=>搜索’Scrapy’=>下載

把下載的.whl文件放在一個容易尋找的地址（我放在了D:\） 
而後在控制檯進入該地址 
在該地址下輸入

pip install [whl]

• 1

注：[whl]表示你的.whl文件，必定要全名，XXXX.whl

而後，並無結束。。。。。

安裝過程仍是有可能失敗

可能會出現

Failed to build XXXX 

• 1

之類的提示一閃而過（好比說我提示的 twisted），最後安裝失敗仍是提示

error: Unable to find vcvarsall.bat

• 1

爲何會這樣那，由於Scrapy框架基於Twisted

因此，要作的就是去網站下載Twisted之類的安裝文件，先把它們裝上，安裝方法和上邊的相同。

最後終於成功了。 
建個項目測試一下

scrapy startproject pyjy

• 1

注：pyjy爲項目名

成功了，撒花～～