django-dynamic-scraper(DDS)網頁抓取環境安裝搭建

       以前瞭解了scrapy的強大和速率的驚人，django的便捷，苦於沒有機會真正的接觸，前幾天大哥讓研究一下這個框架，wow，DDS強大的把這兩個得力的工具整合到了一塊兒，這樣只需簡單的安裝和配置，就能夠順利的爬網抓取頁面了。廢話很少說將環境搭建過程整理出來，以做備份，但願也能幫助到一些人；

搭建django環境

查看前一篇博客 搭建Django開發環境

安裝scrapy

最新版本是0.18，能夠經過命令  easy_install Scrapy or pip install Scrapy，可是dds暫不支持0.18，

這裏要安裝0.16，是經過命令」pip install scrapy==0.16」

測試安裝成功

scrapy shell http://www.baidu.com

若是是windows系統，須要預先安裝一些額外的插件：

win32api

Zope.Interface

Twisted

w3lib

libxml2

pyOpenSSL

lxml

安裝django-Celery，設置調度計劃任務

pip install django-celery

或者經過解壓包文件(下載)安裝」Python setup.py install」

安裝PIL（Python Imaging Library）

點擊下載安裝包，解壓後經過命令「python setup.py install」安裝

裝完之後，系統可能仍是缺乏一些圖片處理的擴展包，以jpeg爲例：

brew search jpeg     查找

brew install jpeg      安裝

安裝South

經過執行命令安裝 「easy_install South」

經過下載解壓包文件安裝「Python setup.py install」

安裝DDS

ok,主角終於登場了

pip install django-dynamic-scraper

或者用git獲取項目安裝

git clone https://github.com/holgerd77/django-dynamic-scraper.git
pip install -r requirements.txt
python setup.py install

到此爲之，該安裝的東西都差很少安裝完畢。剩下的就能夠按照官方文檔作一些簡單的配置就能夠抓取想要的網站啦

注意

在高級主題配置中

http://django-dynamic-scraper.readthedocs.org/en/latest/advanced_topics.html

要求安裝kombu要安裝上一個版本2.5.7(最新版本的上一版)，不然當執行命令時會報next模塊找不到的錯誤