win7 下安裝scrapy遇的坑

一. 安裝

因爲scrapy進行網絡抓取的便捷與強大功能，準備在win7下安裝該框架，但遇到不少麻煩。 開始時安裝的是Python3.5 ，利用pip工具安裝，但老是遇到各類下載不下來的問題，懷疑版本太高，scrapy的安裝依賴太多其餘基礎庫，而基礎庫某些可能沒有最近版本，故從新安裝Python2.7 安裝完Python2.7後，直接執行pip install scrapy 會發生以下錯誤： Cannot open include file: 'libxml/xpath.h': No such file or directory 解決方法： 一、安裝wheel，在cmd中輸入：pip install wheel 二、下載依賴庫，能夠在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下載　 　我下載的是lxml-3.6.0.win32-py2.7.exe，直接執行便可，也下載了其餘版本，均不成功，是到這個纔算能夠。每一個人的版本需求可能有所差別 再次執行 pip install scrapy 便可完成安裝。

二. 使用

在初步使用scrapy框架時，也出現一些問題： scrapy startproject tutorial 創建初始框架，編寫好基本文件後，執行 scrapy crawl dmoz 遇到問題報錯以下： no module named win32api 既然缺乏，那就添加上，鏈接以下 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 我下載的版本爲pywin32-220.win32-py2.7.exe（也是試出來的），直接執行，以前的報錯即消失