python安裝scrapy/Twisted碰見的坑

入門python，一直聽聞有一款很是出門的爬蟲框架scrapy，很是想嘗試一下，因而經過pip install安裝，無奈各類報錯（的確是各類報錯！！），由於scrapy主要依賴的幾個庫並不支持python3.x。最後通過我不懈的努力，終於經過各類途徑在win10 64位 python3.6的環境下成功安裝scrapy。固然，若是經不起折騰經過python2.7安裝是最簡單的，在這裏請容許我吐槽一下python的版本兼容性，已經被不止坑了一次了！下面大概介紹碰見的幾個大坑，及解決方法：

1. lxml等包安裝報錯，這些能夠經過去pip官網下載whl而後本地安裝就能夠解決，網上的討論不少也頗有效就很少提
2. twisted安裝異常，這個是最坑的，我嘗試了好久才解決。首先，twisted不支持python3.x，因此經過官方途徑下載的包能夠歇了。我找了一些攻略，終於活捉到改版後的野生twisted，連接https://pan.baidu.com/s/1sle2CmL?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0&traceid=#list/path=%2FPython%2Ftwisted-for-python3&parentPath=%2FPython 

        按照本身系統版本下載安裝，安裝完成後能夠經過命令行測試一下(若是連接失效，請留言)

    

python
>>> import twisted

沒有報異常應該就是成功

而後就能夠快樂得使用pip install scrapy 來安裝，若是你看見Successfully，那麼就能夠恭喜你別高興得太早了

scrapy框架會提供一個shell供開發者測試，咱們能夠拿來實驗一下安裝成果

scrapy shell

若是執行命令行後沒有異常，那就纔是Successfully

不過遺憾的是，又又又又報異常

ModuleNotFoundError: No module named 'win32api'

你一個爬蟲框架到底要依賴多少個庫啊😭

嗯，不過這個好解決

pip install pypiwin32

安心等吧，下載速度仍是挺慢的，至少在它下載的過程當中，我就把這個博文寫了...( ＿ ＿)ノ｜

再次調用

scrapy shell

大功告成！！！！！！！！！！

撒花~~~~