什麼是user agent
User Agent中文名爲用戶代理,簡稱 UA,它是一個特殊字符串頭,使得服務器可以識別客戶使用的操做系統及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。
網站能夠經過判斷不一樣UA來呈現不一樣的網站,例如手機訪問和PC訪問顯示不一樣的頁面。
PHP在用file_get_contents函數採集網站時,有時會明明用瀏覽器能夠看,但就是採不到任何內容。
這頗有多是服務器上作了設置,根據 User_agent判斷是否爲正常的瀏覽器請求,由於默認PHP的file_get_contents函數是不發送ua的。
若是要採集這樣的網站,咱們就必需要讓PHP模擬瀏覽器發送UA,欺騙網站返回正常內容。瀏覽器
實現以下:
服務器
ini_set('user_agent', 'Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19');
這裏 我模擬的是谷歌瀏覽器.函數