基於PHP/CURL/codeIgniter的Spider Webbot爬蟲[8]-預判網站支持壓縮，使用壓縮和數據庫保存數據

時間 2019-12-13

標籤基於 php curl codeigniter spider webbot 爬蟲網站支持壓縮使用數據庫保存數據欄目 PHP 简体版

原文原文鏈接

預判壓縮，若是支持壓縮則優先使用php

$header[]="Accept-Encoding:compress,gzip";
curl_setopt($curl_session,CURLOPT_HTTPHEADER,$header);html

捕捉檔案而且壓縮範例web

include("LIB_http.php");session

// define the page
$target="http://xxx";
$ref="";
$method="GET";
$data_array="";
$web_page=http_get($target,$ref,$method,$data_array,EXCL_HEAD);curl

// 獲得捕捉到的檔案，而且進行壓縮，而且輸出壓縮先後的大小
$unzip_size=strlen($webpage['FILE]);
$zip_size=strlen(gzcompress($web_page['FILE'],$compression_value=9));
//$noformat_size=strlen(strip_tags($web_page['FILE']));//strip_tags移除HTML標籤
// 還能夠添加trim移除全部空格url

輸出一張顯示用的HTML表格(size)spa

<!DOCTYPE html>
<html lang="en">
<head>

<title>Welcome to Omoikane</title>
</head>
<body>orm