這幾天,不少朋友在羣裏問Scrapy安裝的問題,其實問題方面都差很少,今天小編給你們整理一下Scrapy的安裝教程,但願往後其餘的小夥伴在安裝的時候再也不魂飛魄散,具體的教程以下。python
Scrapy是Python網絡爬蟲的一個框架,十分好用,深得你們的青睞,其工做原理,在在此就不贅述了。網絡
一、正常咱們在Python庫的時候,只須要利用cmd命令打開命令行窗口,而後輸入pip install 庫,就能夠正常安裝了,可是在安裝Scrapy的時候,輸入pip install scrapy以後每每會碰到下圖的問題。框架
二、這個問題的出現,是由於咱們缺少libxml2安裝包。如今只要咱們安裝這個包以後,就能夠順利安裝scrapy了。給你們安利一個福利,介紹給你們一個很是實用的Python包網站,這個網站很神奇,裏邊的Python包專門用於Windows下的安裝的,以下圖所示。scrapy
三、以後在該網站上查找lxml,也能夠輸入Ctrl+f進行查找,找到以後以下圖所示。學習
四、點擊「lxml」,找到lxml安裝包,以下圖所示。找到對應本身Python版本的lxml安裝包,小編的電腦是64位的,並且Python版本是Python3.4,因此找到下圖紅色框框的安裝包,點擊便可進行下載。同理,其餘的Python3.五、Python3.六、Python3.7的安裝包根據本身的狀況一一對應便可。網站
五、而後去下載的目錄,將lxml進行安裝便可,輸入安裝命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl便可。ui
六、lxml-4.2.1-cp34-cp34m-win_amd64.whl環境安裝完成以後,再從新輸入pip install scrapy便可順利安裝了,不會再報錯了,以下圖所示。this
七、輸入pip list能夠查看已經安裝的scrapy包,以下圖所示。命令行
八、以後咱們就能夠正常使用scrapy了,能夠建立scrapy項目等等。3d
九、還有一些小夥伴遇到的問題是這個:
raise distutils.errors.DistutilsPlatformError(err)
distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)
----------------------------------------
Command "python setup.py egg_info" failed with error code 1
這個是由於本機缺少visual C++的安裝環境,此時只須要進入landinghub.visualstudio.com/visual-cpp-…這個網站,下載對應電腦版本的visual C++環境,進行安裝以後便可解決問題。
這個安裝包比較大,等scrapy安裝好以後再刪除便可。
十、還有的小夥伴可能會遇到下面的錯誤提示「Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.」,表示該平臺不支持這個安裝包,以下圖所示。
以前的lxml安裝包不是直接安裝就成功了嗎?爲什麼這個安裝包會出現這個問題呢?此時,首先須要檢查該安裝包的Python版本和電腦位數是否和本機都對應上,若是確認沒有問題,再繼續往下看。
在這裏小編給你們介紹一個小技巧,專門用來應對這樣的問題的。進入到所下載的安裝包,這裏以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安裝包爲例,進入到下載目錄下,通常下載以後將其放到虛擬環境的site-packages文件夾下面,爾後將後綴.whl更改成.zip,將後綴.whl更改成.zip,將後綴.whl更改成.zip,重要的事情說三遍,有木有以爲很熟悉?對,它就是個壓縮文件,如今將壓縮包裏邊的內容所有解壓到當前文件夾,以下圖所示。
以後在虛擬環境下輸入pip list命令查看安裝包,能夠看到Twisted安裝包已經在裏邊了,以下圖所示。第一個pip list命令的時候還沒有解壓Twisted安裝包,此時並無Twisted庫;第二個pip list命令是在Twisted安裝包解壓以後執行的,能夠看到Twisted庫已經在裏邊了。
Twisted庫安裝好以後,再安裝其餘的庫,如Scrapy、Pandas等就如魚得水了。
這裏列出了幾個Scrapy安裝過程當中常見的問題及其解決方法,但願對你們往後安裝Scrapy的時候有所幫助,可能每一個人的平臺和環境都不太同樣,確定會碰到其餘的安裝問題,歡迎你們一塊兒學習交流~~