php curl模擬post請求提交數據

　　最近在作校園圖書館圖書信息的採集程序，既然是圖書館圖書的採集，確定有提交搜索的頁面，無非是post提交，讓我想到了curl模擬提交，首先經過firebug進行抓包查詢下post提交後的格式以下：

txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm=%D2%F4%C0%D6&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=10&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7；搜索的關鍵字name=txtTm，隨後代碼以下：


 

<?php 
$keyword="音樂";$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";
$url = "http://210.30.68.130/wxjs/tmjs.asp";
//查詢地址
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //模擬來源  
curl_setopt($ch, CURLOPT_URL, $url);//URL  
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_POST, 1);  //模擬POST  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  
curl_exec($ch);  
$output = curl_close($ch); 
echo $output;
 ?>

 

但返回的頁面老是顯示沒有相關內容，若是把關鍵字改爲英語或者數字就能夠正常顯示了，因而想到這應該是編碼問題，而後在post上面能夠看到txtTm=%D2%F4%C0%D6通過查詢得知這是url編碼，漢字會進行轉化，若是是英語則不會發生任何改變，因而就把頭信息也加了部份內容進去以下：

$header = array();
$header[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0';
$header[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';
$header[] = 'Connection: keep-alive';
$header[] = 'Content-Type:application/x-www-form-urlencoded';
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header ); 

其實主要是$header[] = 'Content-Type:application/x-www-form-urlencoded';再次加載頁面後若是是漢字顯示仍是沒有相關的內容，隨後想到了一個很簡單的問題所在，php程序是utf8的，然而圖書館的網站是gb2312，好吧，再加上一句，$keyword =  iconv('UTF-8', 'GB2312', $keyword);再次加載成功，這個應該纔是問題關鍵所在，而後我把頭信息刪除後添加一句$keyword = urlencode($keyword);再次加載也就是下面的代碼：

<?php 
$keyword="世界";
$keyword =  iconv('UTF-8', 'GB2312', $keyword);
$keyword = urlencode($keyword);
$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";
$url = "http://210.30.68.130/wxjs/tmjs.asp";
//查詢地址
$ch = curl_init();
curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //模擬來源  
curl_setopt($ch, CURLOPT_URL, $url);//URL  
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_POST, 1);  //模擬POST  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  
curl_exec($ch);  
$output = curl_close($ch); 
echo $output;
 ?>

不出所料，正常顯示了，隨後就是頁面內容的採集排版問題了。無非是正則了。（因爲是校園網只能咱們內網訪問）