原創 linux 爬蟲撥號服務器完整設置

[root@cloud ~]# cat /home/bh.sh 
#!/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/sbin/ifconfig

/usr/sbin/adsl-stop
sleep 5
/usr/sbin/adsl-start
sleep 2
while true
do
if [ `/sbin/ifconfig|egrep ppp0|/usr/bin/wc -l` -gt 0 ];then
    echo "start php" >>/root/bh.log
    /usr/bin/php   /home/aa.php >>/root/bh.log
    echo "stop" >>/root/bh.log
    exit
else
    echo "$(date) wait" >>/root/bh.log
    sleep 1
fi
done

第一步設置撥號

CENTOS 系統 ADSL 撥號鏈接教程

1, 先鏈接進入到服務器

 

 

2. 設置ADSL 撥號

 

adsl-setup   輸入回車

 

 

 

 

seth0   輸入回車

 

 

 

 

DNS 直接回車就行, 如何知道也能夠寫上

 

密碼直接輸入兩次

 

這裏是否容許其它用戶鏈接,輸入 no

 

防火牆爲裏輸入0

 

開機自動鏈接 yes

 

確認剛纔全部的信息,沒問題直接輸入y回車

 

 

 

3 啓動ADSL鏈接

 

adsl-start   回車

 

 

 

 

4. 簡單驗證下是否是能上外網

 

ping -c 3 www.baidu.com

 

第二步設置:安裝代理軟件.端口要和php的端口一致.默認8888,防火牆可開可不開

35 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
36 yum install -y tinyproxy
37 ls
38 vim /etc/tinyproxy/tinyproxy.conf
39 service tinyproxy restart
40 service tinyproxy enable
41 service enable tinyproxy
42 iptables -nL
43 service
44 service enable tinyproxy
45 service tinyproxy enable
46 chkconfig tinyproxy on
47 chkconfig --list-all|egrep proxy
48 chkconfig --list|egrep proxy

Allow 127.0.0.1   能夠註釋表明任意機器能夠連,實際寫爬蟲服務器機器.

因爲機器周換防火牆可開可不開.

 

curl -x 服務器ip:8888 httpbin.org/get 

返回origin的值爲代理IP地址,代表tinyPoxy設置成功了.

 

 

[root@cloud home]# cat aa.php <?php$url = 'http://xx.xx.xx.xx:端口/ip?s=8888&p=8888';file_get_contents($url);