Python3網絡爬蟲(五)：Python3安裝Scrapy

1、Scrapy簡介

    Scrapy是一個爲了爬取網站數據提取結構性數據而編寫的應用框架，能夠應用於數據挖掘，信息處理或存儲歷史數據等一些列的程序中。Scrapy最初就是爲了網絡爬取而設計的。如今，Scrapy已經推出了曾承諾過的Python3.x版本。

    爲何學習Scrapy呢？它能咱們更好的完成爬蟲任務，本身寫Python爬蟲程序比如孤軍奮戰，而使用了Scrapy就比如手底下有了千軍萬馬。Scrapy能夠起到事半功倍(甚至好幾倍*.*)的效果。因此，學習Scrapy也就顯得頗有必要了。

2、Scrapy安裝

    1.直接使用指令pip3 install scrapy，發現有諸多錯誤。

• Failed building wheel for lxml
• Microsoft Visual C++ 10.0 is required
• Failed building twisted
• Unable to find vcvarsall.bat

    遇到的錯誤，以下圖所示：

2.解決辦法

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/有不少用於windows的編譯好的Python第三方庫，咱們下載好對應本身Python版本的庫便可。

    (1)在cmd中輸入指令python，查看python的版本，以下：

    從上圖能夠看出能夠看出個人Python版本爲Python3.5.2-64bit。

    (2)登錄http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對應的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本爲3.7.3，對應的python版本爲3.5-64bit。我下載的版本以下圖所示：

    (3)在cmd中輸入DOS指令，進入下載好的whl文件夾下，例如個人三個whl文件放在了Scrapy文件夾下：

    (4)依次執行以下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

    這樣Scrapy的安裝就完成了，請忽略最後兩行讓我升級pip的信息。*.*

    (5)Srapy已經安裝成功，還要下載pywin32，找到對應版本下載，一路下一步安裝便可。安裝完成後，就能夠正常使用Scrapy了。

    URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

    至此，大功告成，咱們能夠愉快的使用Scrapy了。