python使用pycurl獲取web鏈接信息

#!/usr/bin/python
# _*_ coding:utf-8 _*_
import sys,os
import time
import pycurl

url = "http://www.qq.com"   #探測的目標URL
c = pycurl.Curl()   #建立一個Curl對象
c.setopt(c.URL,url)    #定義請求的URL常量
c.setopt(c.CONNECTTIMEOUT,5)   #定義請求鏈接的等待時間
c.setopt(c.TIMEOUT,5)      #定義請求超時時間
c.setopt(c.NOPROGRESS,1)       #屏蔽下載進度條
c.setopt(c.FORBID_REUSE,1)     #完成交互後強制斷開鏈接,不重用
c.setopt(c.MAXREDIRS,1)        #指定HTTP重定向的最大數爲1
c.setopt(c.DNS_CACHE_TIMEOUT,30)       #設置保存DNS信息的時間爲30秒
#建立一個文件對象,以"wb"方式打開,用來存儲返回的http頭部及頁面內容
indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")
c.setopt(pycurl.WRITEHEADER, indexfile)     #將返回的HTTP HEADER定向到indexfile文件
c.setopt(pycurl.WRITEDATA, indexfile)       #將返回的HTML內容定向到indexfile文件對象
try:
    c.perform()                            #提交內容
except Exception as e:
    print ("connection error:"+str(e))
    indexfile.close()
    c.close()
    sys.exit()

NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME)  #獲取DNS解析時間
CONNECT_TIME = c.getinfo(c.CONNECT_TIME)    #獲取創建鏈接時間
PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME)    #獲取從創建鏈接到準備傳輸所消耗的時間
STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME)    #獲取從創建鏈接到傳輸開始消耗的時間
TOTAL_TIME = c.getinfo(c.TOTAL_TIME)    #獲取傳輸的總時間
HTTP_CODE = c.getinfo(c.HTTP_CODE)      #獲取HTTP狀態碼
SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD)      #獲取下載數據包的大小
HEADER_SIZE = c.getinfo(c.HEADER_SIZE)      #獲取HTTP頭部大小
SPEED_DOWNLOAD = c.getinfo(c.SPEED_DOWNLOAD)    #獲取平均下載速度
#打印輸出相關數據
print ("HTTP狀態碼:%s" % (HTTP_CODE))
print ("DNS解析時間:%.2f ms" % (NAMELOOKUP_TIME*1000))
print ("創建鏈接時間:%.2f ms" % (CONNECT_TIME*1000))
print ("準備傳輸時間:%.2f ms" % (PRETRANSFER_TIME*1000))
print ("傳輸開始時間:%.2f ms" % (STARTTRANSFER_TIME*1000))
print ("傳輸結束總時間:%.2f ms" % (TOTAL_TIME*1000))
print ("下載數據包大小:%d bytes/s" % (SIZE_DOWNLOAD))
print ("HTTP頭部大小:%d bytes/s" % (HEADER_SIZE))
print ("平均下載速度:%d bytes/s" % (SPEED_DOWNLOAD))
#關閉文件及curl對象
indexfile.close()
c.close()

pycurl官網地址html

相關文章
相關標籤/搜索