CentOS部署pyspider

0x00 環境

阿里雲ECS雲服務器

CPU：1核

內存：2G

操做系統：Centos 7.3 x64

地域：華北 2（華北 2 可用區 A）

系統盤：40G

0x01 安裝依賴

yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

0x02 升級 pip

pip install --upgrade pip

0x03 用 pip 安裝 pyspider

pip install pyspider

0x04 安裝 mysql

mysql安裝及配置過程能夠查看
nginx + php + mysql + wordpress 搭建簡單站點 安裝及配置過程

0x05 安裝 redis 並啓動

yum install redis
pip install redis

systemctl start redis

0x06 安裝 mysql-connector

pip install mysql-connector

0x07 編輯 pyspider 配置文件

vim /etc/pyspider/pyspider.conf.json

內容以下

其中mysqlUser爲mysql用戶名，mysqlPasswd爲mysql密碼，webuiUser爲登陸控制檯的用戶名，webuiPasswd爲登錄控制檯的密碼

{
  "taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",
  "projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",
  "resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",
  "message_queue": "redis://127.0.0.1:6379/db",
  "webui": {
    "username": "webuiuser",
    "password": "webuipasswd",
    "need-auth": true
  }
}

0x08 啓動 pysqpider

pyspider -c /etc/pyspider/pyspider.conf.json

後臺運行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也能夠將以上命令寫進bashrc裏，直接使用pyspider命令在後臺啓動

vim .bashrc

添加以下內容

alias pyspider = 'nohup pyspider -c /etc/pyspider/pyspider.conf.json &'

0x09 訪問控制檯

地址:5000