Python+Scrapy

準備作一個爬蟲，看了一下Python比較合適，花了一天時間學了一下語法，又找了一下有專門的爬蟲框架Scrapy。如下是學習過程。

1. 安裝Scrapy

　　中文說明：http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html

    Required：

        （1） Python2.7。

        （2） lxml.

 　　　　　　這個中直接有各類版本的lxml，包括windows中的exe格式的。https://pypi.python.org/simple/lxml/

　　　　　　 安裝完後在Python IDLE 中經過"import lxml"試試，若是沒有報錯，那就是安裝好了！

　　　（3） OpenSSL

　　　　　　 參看平臺安裝指南。其中須要將C:\python27\Scripts 和 C:\python27 添加到系統路徑中。而個人Python文件夾中沒有Script文件夾，看了一下發現是easy_install相關的內容。直接安裝setuptools便可自動生成Script文件夾。

　　　　　　Tips：注意路徑跟本身安裝的路徑相同，不必定跟此處列出來的一致。

　　　　其餘python的包按照平臺安裝指南就能夠了。　　

　　直接經過在cmd中輸入「easy_install Scrapy」 就自動安裝Scrapy了。

在運行的過程當中發現，還須要安裝service_identity。具體參見：http://blog.csdn.net/niying/article/details/27103081