安裝pyspider遇到的坑

pyspider是國人寫的一款開源爬蟲框架，我的以爲這個框架用起來很方便，至於如何方即可以繼續看下去。 
做者博客：http://blog.binux.me/

安裝pyspider
安裝pyspider：pip install pyspider
因爲pyspider目前只支持32位系統，由於安裝pyspider前須要先安裝一個依賴庫：pycurl，而pycurl只支持32位系統
若是你是32位系統，就這樣安裝：

pip install pycurl
pip install pyspider

cmd後輸入：pip install pyspider

Windows下可能會出現這樣的錯誤提示：

Command "python setup.py egg_info" failed with error code 10 in C:\Users\temp1\AppData\Local\Temp\pip-build-w161jmxk\pycurl\

 

這是PyCurl安裝錯誤，此時須要安裝PyCurl庫。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對應的Python版本，而後下載相應的wheel文件便可。好比Windows 64位、Python 3.7，則須要下載pycurl-7.43.1-cp37-cp37m-win_amd64.whl，隨後用pip安裝便可，命令以下：

 pip install d:\pycurl-7.43.1-cp37-cp37m-win_amd64.whl 

運行:pyspider all 而後又報錯：

 

 從（https://blog.csdn.net/qq_26261381/article/details/86514138 ） 哪裏獲得解決辦法。

是由於async從python3.7開始不能用做參數名了，將全部腳本里面的async換一個名字便可，腳本很少，一共兩個腳本

１　ffk_py/lib/python3.7/site-packages/pyspider/run.py

２　ffk_py/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py　

修改完成後，運行以下：

 

 仍是沒有運行起來，phantom.js exited 

從https://blog.csdn.net/weixin_44103733/article/details/86491497 那裏得知能夠這樣解決：

在webui這個文件夾下app.py應該是開始端口服務的而後在咱們的命令行裏啓動的服務卻沒有webui running on 0.0.0.0:5000的提示，這個時候找到找到pyspider文件下的webui文件打開app.py搜索async果真仍是出現了關鍵詞，修改。
運行pyspider all  結果以下：仍是報錯。

 

 從https://blog.csdn.net/SiHann/article/details/88239892  博客上面發現一個解決方法，嘗試一下果真能夠。

Deprecated option 'domaincontroller': use 'domain_controller' instead的問題。（https://segmentfault.com/q/1010000015429020?utm_source=tag-newest 上面的解釋） wsgidav發佈的3.x版本目前仍然是測試版，相對於2.x(例如2.4.1)更改了一些用法，上面報錯的兩個部分就是的。pyspider的3.0及以上版本在安裝時，會默認安裝wsgidav的3.x版（具體的版本可能會有誤差）。其實上面錯誤信息已經提示該如何改了，不過那樣改比較麻煩。能夠換個方法，換回wsgidav的2.x版本就不會報錯了。先把3.x版卸載，再裝2.x版（pip安裝wsgidav會默認安裝2.x版 個人是2.4.1版）。下面是具體的卸載安裝的命令 windows下進入cmd,(linux下打開終端）,輸入： pip uninstall wsgidav pip install wsgidav 若是報錯失敗，按照下面的再試一次，（通常linux不會出錯，windows下可能輸入下面的命令） python -m pip uninstall wsgidav python -m pip install wsgidav 若是安裝的wsgidav版本仍是3.x版本,能夠在卸載這個版本以後， 在安裝命令後面加上具體版本 例如 python -m pip install wsgidav==2.4.1

安裝好 wsgidav 後，運行以下：

 

 感謝網友分享。