windows下安裝python+scrapy

最近突然有了想要學習python爬蟲的想法,可是首先須要安裝工具。python安裝卻是很輕鬆,只要傻瓜式一鍵安裝便可,可是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳,說下我從昨天下午到今天上午安裝的步驟:html

一、python的安裝

進入python的官網https://www.python.org/,點擊downloads選項進入下載頁,如圖:python

圖片描述

根據本身的機型,選擇下載對應的安裝包,我下載的是python 3.5.3版本的:segmentfault

圖片描述

選定下載位置,傻瓜式一鍵安裝便可。實際上,32位和64位的版本安裝起來沒有區別,雙擊打開後,第一步要記得勾上add python to Path 選項,這樣的好處是自動配置環境變量api

clipboard.png

可在命令提示符中用命令python --version,驗證安裝是否成功:python爬蟲

clipboard.png

到此,python已經安裝好了!!!是否是hin簡單~接下來安裝scrapy吧^-^框架


二、scrapy的安裝

先安裝pywin32,進入https://sourceforge.net/proje...,下載與已安裝python版本對應的pywin64安裝包,例如python3.4 64位對應的安裝包爲pywin32-218.win-amd64-py3.4.exe,下載完成後一直next安裝,依然是傻瓜式安裝法scrapy

clipboard.png

檢查安裝結果,在python命令行輸入import win32api,若是沒有報錯說明安裝完成,若是報錯說明PYTHONPATH環境變量沒有配置工具

clipboard.png

配置PYTHONPATH環境變量,將python安裝目錄下lib目錄中的site-packages路徑添加到PYTHONPATH環境變量,再次檢驗安裝結果學習

clipboard.png

安裝Twisted,進入http://www.lfd.uci.edu/~gohlk...下載對應twisted和lxml測試

clipboard.png

clipboard.png

打開命令提示符窗口,輸入命令:
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下載好的twisted模塊的whl文件路徑),盜一下別人的圖

clipboard.png
再輸入命令:pip --version,檢查安裝是否成功

clipboard.png

三、pip的安裝,估計由於我安裝的版本自動配置環境變量,因此我好像沒有下載pip,就能夠用pip命令

如圖:

clipboard.png

可是,若是安裝pip的話,一樣要去python的官網下載,下載地址是https://pypi.python.org/pypi/... ,選擇相應版本下載,下載完成以後,解壓到文件夾。在該文件夾的目錄下使用控制檯命令:輸入python setup.py install;並添加入環境變量。

clipboard.png


好啦!一切準備工做就緒,如今開始安裝scrapy~

twisted庫安裝成功後,安裝scrapy就簡單了,在命令提示符窗口直接輸入命令: pip install scrapy 回車

clipboard.png

如今一切都搞定了,能夠新建一個Scrapy測試,敲一個基於Scrapy框架的爬蟲程序咯。

心得:Windows下的安裝過程仍是很麻煩的,由於有不少依賴要添加,不過在各方查找資料之後彷彿就不是那麼難了!一步一步在cmd中運行測試,還要看錯誤提示,少哪個依賴就下載哪個安裝哪個!環境框架已經搭好,接下來就是學習如何寫爬蟲程序了。
再貼兩個連接吧:
一、 https://segmentfault.com/a/11...
二、 http://jingyan.baidu.com/arti...

相關文章
相關標籤/搜索