常常採集一頁兩頁就停下來了php
完整的解決方案以下:nginx
php.ini 中 max_execution_time = 0 的設置只針對PHP自己起做用
php-fpm 模式下 須要修改的參數是 php-fpm.conf (ubuntu 中的配置文件爲 /etc/php5/fpm/pool.d/www.conf) 中 request_terminate_timeout = 0
safe_mode 配置已經於PHP5.4取消,無需配置
接下來不報502錯誤了,開始報504錯誤;繼續搜尋在線支持,未找到相關信息只提到了nginx容器可能有問題。其實504錯誤主要因爲nginx超時形成的,修改其配置文件便可ubuntu
編輯 /etc/nginx/nginx.conf 在 http 段添加以下代碼,若是有這些設置了就更改對應的值
...
http{
...
fastcgi_connect_timeout 1800;
fastcgi_send_timeout 1800;
fastcgi_read_timeout 1800;
fastcgi_buffer_size 1024k;
fastcgi_buffers 32 1024k;
fastcgi_busy_buffers_size 2048k;
fastcgi_temp_file_write_size 2048k;
...
至此解決了報錯的問題,採用批量採集源方式,手工更新採集 20頁*25篇 = 500篇文章正常執行,耗時2個小時。php-fpm