PHP經過CURL模擬登陸並獲取數據

<?php
/*經過CURL模擬登陸並獲取數據
一些網站須要權限認證,必須登陸網站後,纔能有效地抓取網頁並採集內容,
這就須要curl來設置cookie完成模擬登陸網頁,php的curl在抓取網頁內容方
面效率是比較高的,並且支持多線程,而file_get_contents()效率就要稍低
些。模擬登陸的代碼以下所示:
*/
function login_post($url, $cookie, $post){
$ch = curl_init(); //初始化curl模塊
curl_setopt($ch, CURLOPT_URL, $url); //登陸提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否顯示頭信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); //是否自動顯示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //設置cookie信息保存在指定的文件夾中
curl_setopt($ch, CURLOPT_POST, 1); //以POST方式提交
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));//要執行的信息
curl_exec($ch); //執行CURL
curl_close($ch);
}
/*
上例中聲明的函數login_post(),須要提供一個url地址,一個保存cookie文
件,以及post的數據(用戶名和密碼等信息),注意php自帶的http_build_query()
函數能夠將數組轉換成相鏈接的字符串,若是經過該函數登陸成功後,咱們要獲取
登陸成功個頁面信息。聲明函數的代碼以下所示:
*/
function get_content($url, $cookie){
$ch = curl_init(); //初始化curl模塊
curl_setopt($ch, CURLOPT_URL, $url); //登陸提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否顯示頭信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //是否自動顯示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);//設置cookie信息保存在指定的文件夾中
$rs = curl_exec($ch); //執行curl轉去頁面內容
curl_close($ch);
return $rs; //返回字符串
}
/*
get_content()中用curlopt_cookiefile能夠讀取到登陸保存的cookie信
息 最後講頁面內容返回.咱們的目的是獲取到模擬登陸後的信息,也就是
只有正常登陸成功後菜能獲取的有用的信息,下面舉例代碼
*/
$post = array(
'_username' => 'g@ydma.cn',
'_password' => '123456',
'_submit' => '登陸'
);
$url = "http://www.ydma.cn/login/check"; //登陸地址, 和原網站一致
$cookie = dirname(__FILE__).'/cookie_ydma.txt'; //設置cookie保存的路徑
$url2 = "http://www.ydma.cn/course/59"; //登陸後要獲取信息的地址

login_post($url, $cookie, $post); //調用模擬登陸
$content = get_content($url2, $cookie); //登陸後,調用get_content()函數獲取登陸後指定的頁面信息

@unlik($cookie); //刪除cookie文件
file_put_contents('save.txt', $content); //保存抓取的頁面內容php

相關文章
相關標籤/搜索