windows,python3.x下安裝pyspider

因爲是初學者,業餘學習,習慣使用windows,初次瞭解到pyspider寫代碼和調試代碼很是簡便;做者binux是在Ubuntu下部署測試的。在做者的博客看到windows下安裝的討論。windows直接安裝失敗主要是lxml、pycurl安裝失敗,須要用第三方的庫安裝

pycurllxml等第三方包能夠在這裏下載css

http://www.lfd.uci.edu/~gohlke/pythonlibshtml

  1. 安裝lxml-xx.whl、pycurl-xx.whl,先下載lxml-xx.whl,而後切換到下載目錄,用pip安裝,命令pip install xx.whlxx.whl改成 實際文件名
  2. pip install pyspider。若是遇到提示缺乏依賴包,請到這裏找 http://www.lfd.uci.edu/~gohlke/pythonlibs/,而後pip install xx.whl (xx.whl改成實際文件名),而後重試。
  3. 完成後,請耐心看做者博客和文檔學習。

文檔 http://doc.scrapy.org/en/latest/python

做者博客 http://binux.me/ajax

pyspider 爬蟲教程(一):HTML 和 CSS 選擇器windows

pyspider 爬蟲教程(二):AJAX 和 HTTPcurl

pyspider 爬蟲教程(三):使用 PhantomJS 渲染帶 JS 的頁面scrapy

相關文章
相關標籤/搜索