centos7.2(1511版本）上安裝pyspider

centos7.2(1511版本）上安裝pyspider

censtos是服務器經常使用的操做系統，本例以centos7.2最小化版安裝爲例安裝

yum 更新

yum update

安裝wget命令

yum install wget

首頁安裝擴展源

yum -y install epel-release

國內yum源：
http://mirrors.163.com/.help/CentOS7-Base-163.repo

安裝開發編譯工具

yum install gcc gcc-c++

安裝依賴庫 系統自帶版本爲python2.7.5

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

升級pip

install --upgrade

安裝pyspider

1 在線方式
pip install pyspider

2 文件包下載到 本地安裝
建議先創建 /www /data 目錄 便於之後項目及數據庫文件都丟到對應目錄
從git上下載文件包pyspider-master到/www目錄下

cd pyspider-master
python setup.py install

安裝後提示版本爲pyspider-0.3.7

設置防火牆

開放5000（pyspider默認打開5000端口，若是啓動指定了其它端口請對應修改）端口並重啓防火牆。若是防火牆是關閉狀態請跳過下面兩步

firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload

訪問控制檯

安裝完成直接執行pyspider以默認配置運行pyspider，訪問http://localhost:5000訪問控制檯

MYSQL 數據庫安裝

系統默認是 mariadb-server 替換mysql 因此命令以下：
'yum install mariadb mariadb-server'

安裝完依賴包後 默認自動安裝

安裝完成後 啓動mariadb
'systemctl start mariadb'

設爲開機啓動
'systemctl enable mariadb'

mysql的默認安全檢查 設置mysql 的root密碼等相關
'mysql_secure_installation'

完成後 輸入以下命令，測試數據庫服務：
'mysql -uroot -p'

＃ phantomjs腳本安裝
官網網址：http://phantomjs.org/
軟件列表地址:https://bitbucket.org/ariya/phantomjs/downloads

phantomjs介紹：PhantomJS是一個基於WebKit的服務器端JavaScript API，它無需瀏覽器的支持便可實現對Web的支持 ＃－－ 沒有瀏覽器的實現瀏覽器功能的js功能模塊

一：git方法 安裝以下：

ubentu 及Debin系統

1 安裝git軟件
'apt－get install git'

2 前置安裝

'apt-get install build-essential g++ flex bison gperf ruby perl 
libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev 
libpng-dev libjpeg-dev python libx11-dev libxext-dev'

3 安裝phantomjs
'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 1.9
./build.sh'

二：軟件下載後解壓到服務器安裝

https://bitbucket.org/ariya/phantomjs/downloads

cnetos安裝方法

1 安裝git軟件
'yum install git'

2 前置安裝
'yum -y install gcc gcc-c++ make flex bison gperf ruby 
openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel 
libpng-devel libjpeg-devel'

3 安裝phantomjs2.1

'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 2.1.1
git submodule init
git submodule update

python build.py'

編譯時間超長 半小時到2～3小時不等，看虛擬機的配置了