抓取網站的代碼實現不少,若是考慮到抓取下載大量內容scrapy框架無疑是一個很好的工具。Scrapy = Search+Pyton。下面簡單列出安裝過程。PS:必定要按照Python的版本下載,要否則安裝的時候會提醒找不到Python。建議你們安裝32位是由於有些版本的必備軟件64位很差找。(個人是xp系統)python
1.安裝Pythonapi
安裝完了記得配置環境,將python目錄和python目錄下的Scripts目錄添加到系統環境變量的Path裏。在cmd中輸入python若是出現版本信息說明配置完畢(以下面截圖)。python下載地址。網絡
2.安裝lxml框架
lxml是一種使用 Python 編寫的庫,能夠迅速、靈活地處理 XML。點擊 這裏選擇對應的Python版本安裝。驗證是否安裝成功,以下圖。能夠使用第三步下載的setuptools來安裝egg文件,如今也有exe版本,點擊這裏下載。python2.7
5.安裝Twistedscrapy
Twisted是用Python實現的基於事件驅動的網絡引擎框架,點擊這裏下載。工具
6.安裝pyOpenSSL網站
pyOpenSSL是Python的OpenSSL接口,點擊 這裏下載。8.安裝Scrapy.net
終於輪到安裝scrapy了,直接在cmd中輸入easy_install scrapy回車便可。安裝後在cmd命令行進行成功與否的驗證如圖所示。命令行
安裝完成,開始使用吧!