服務器上部署scrapy爬蟲項目

爬爬們，若是你已經開始部署項目了，那麼你確定也已經寫好了完整的爬蟲項目，恭喜你，你很優秀！
**今天忙了小半天的服務器部署，跟你們分享一些心得～

1. 首先咱們要有一臺服務器，很差意思，這是廢話，略過。。。。。

2. 安裝python

   # 下載安裝包，好習慣能夠本身建立文件夾/home/download/
      $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
      # 解壓
      $ tar zxvf Python-3.4.1.tgz /us
      3進入解壓後的目錄，執行安裝配置
      $ ./configure
      #或指定安裝目錄
      $ ./configure --prefix=/opt/python3
      $ make
      $ make install
      #安裝後創建一個連接，這樣咱們能夠用python3直接運行程序，和python2區別開來。
      $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意：1.在安裝以前最好要安裝各類依賴包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已經安裝python3並改軟連接了，請修改/usr/bin/yum文件中的第一行python後加2.？版本號，還有一個文件須要修改叫什麼我忘記了，同理

注意：2.pip3安裝以前要創建pip3軟鏈接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安裝scrapy

在這裏咱們先安裝scrapyd避免手動安裝scrapy須要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若沒有在第二步安裝依賴環境 sqlite-devel，那麼在啓動scrapyd的時候會報錯。
安裝各類依賴包最好建立虛擬環境，

#安裝
pip3 install virtualenv
#創建軟鏈接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#進入項目目錄建立虛擬環境
$ virtualenv venv
# 在venv/bin目錄下
source activate