Scrapy爬蟲的安裝

打算用scrapy這個東西抓點磁力連接回來。結果安裝途中路漫漫，踩了不少坑，網上有各類各樣的安裝教程，也按照他們的試了，結果就是不一樣的時間、不一樣的環境遇到了不一樣的問題，不能保證一步一步操做就能安裝成功，因此在此大體記錄個思路，絕對能成功的。

 

以前安裝成功過一次，不過雲主機過時之後就沒有了。當時的安裝思路是從官網上下了scrapy的安裝包，缺哪一個依賴就去python的官網上找，中間還有須要設置環境變量等等的坑。最後終於安裝成功了，重新機到安裝完畢，裝了28個依賴包，壓根兒不靠譜。

 

此次來到新公司，有個很牛逼的技術大牛，按照他的思路很容易就安裝成功了，記錄一下：

1. 申請一個全新的VPS，我用的阿里雲；

2. 使用CentOS 7.0版本，不是說6.5很差，媽的帶的Python版本是2.6.6，非主流，會出不少坑；

3. 從https://pip.pypa.io/en/stable/installing/ 上下載geg-pip.py的安裝腳本，不要用yum或者pip的安裝包，每個版本的pip對應的python版本都不同，這個腳本會幫助自動匹配，因此不要本身亂下。而後安裝pip；

4. 執行pip install scrapy，中間會報一些依賴包下載超時的錯誤。不要緊，多試幾回，已經下載下來的依賴包不會重複下載；

5. 都下來之後，會報一些安裝錯誤，可能是缺一些比較基礎的依賴包好比：openSSL、libffi、libxml二、libxslt等，只要使用yum安裝這些依賴包以及他們的devel開發包便可。而後不要忘記使用yum安裝python-devel；

6. 而後重複地執行pip install scrapy就行了，直到安裝成功。

 

以上是使用了多種安裝方法報錯最少，最簡便的安裝方式。