1、自學Scrapy：Scrapy環境安裝

你們好，出於興趣，最近在看Scrapy，之前也學習過其餘的一些知識，可是由於沒有記錄，本身學過了，過一段時間就忘記了，原先發現的一些問題，在未來又從頭處理了一遍，另外我也看了不少網友分享的文章和代碼，決定仍是要下決心，堅持學習，堅持記錄，不斷分享，不斷提升。

閒話很少說，以上文字主要是自勉。

開始學習之前，先聲明件事情：如下內容及之後的內容，均是我本身學習的理解，必定會有些地方寫的不對，或者有歧義，可能和你的認識矛盾或者衝突，勿噴，喜歡看，接着看，不喜歡看，右上角有一個×，點擊，就不會看到我了。謝謝！

一、Scrapy是什麼？

官網說明我就不翻譯了，由於英語很爛。網友說明我也不翻譯了，抄來抄去的，你們看着就想噴。

就我我的以爲，Scrapy就是一個工具，這套工具很強大，很自由，用起來很爽，由於你能夠發揮你的創造力用好這個工具。那麼這個工具是幹什麼呢？我如今用它學習的時候就是從網站上爬取我想要的數據，畢竟不是全部網站都提供數據調用接口的，更多的網站數據想要獲取下來，要麼付費，要麼獲取不到全部，因此這個工具出現了，一個爬取網頁的工具。

二、Scrapy須要什麼樣的環境？

目前，最新版本是1.2.1。運行於Python2.7和Python3（更高）。由於Scrapy須要依賴於Twisted，而Twisted不支持Windows環境的Python3，因此在Windows的Python3是不能用Scrapy。

三、Linux安裝Scrapy。

Scrapy對於python來講，就是一個module。因此安裝方式和安裝module同樣的，也是經過pip和easy_install。

我用的Linux Mate。系統是基於Ubuntu的，官方文檔中建議不要使用系統中的python-scrapy，由於版本太老了，因此須要先更新系統的依賴包。$

$ sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
$ sudo pip2 install scrapy

pip之因此用pip2，是由於個人系統中pip默認是使用Python3。

四、Windows安裝Scrapy。

這個安裝就很是複雜了，由於單純的pip會提示不少錯誤，缺這個缺那個。不過有牛人寫的一篇文章很不錯，你們看看http://blog.csdn.net/simple__happyness/article/details/52056486

我轉載的地址：https://my.oschina.net/namespace/blog/777694

五、測試環境安裝成功打開終端，進入python環境，輸入import scrapy沒有提示錯誤即安裝成功。

$ python

Python 2.7.12 (default, Jul  1 2016, 15:12:24) 

[GCC 5.4.0 20160609] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> import scrapy

>>>