python2 urllib 筆記

python2 urllib 筆記

import urllib

base='http://httpbin.org/'
ip=base+'ip'
r=urllib.urlopen(ip)
print r.geturl()
print r.read()


#get
get=base+"get"
parms=urllib.urlencode({"name":"tom","age":18})
r=urllib.urlopen("%s?%s"%(get,parms))
print r.geturl()
print r.read()


#post
post=base+"post"
parms=urllib.urlencode({"name":"tom","age":18})
r=urllib.urlopen(post,parms)
print r.geturl()
print r.read()

#代理請求
proxies = {'http': 'http://proxy.example.com:8080/'}
opener = urllib.FancyURLopener(proxies)
f = opener.open("http://www.python.org")
f.read()


#下載網頁數據 
#urllib.urlretrieve()

 

文件和網頁下載

'''
Created on 2014年9月18日

@author: cocoajin

文件下載程序

'''


import urllib
import urlparse


qihu360='http://dl.360safe.com/mac/safe/360InternetSecurity_1.0.75.dmg'
gitRF='http://gitref.org/zh/index.html'

url=qihu360

#截取文件名，並設置保存路徑爲桌面
desk='/Users/teso/Desktop/'
up=urlparse.urlsplit(url)
fname=up.path.split('/')[-1]
path=desk+fname

#下載回調
def showDN(dataNums,oneData,totalData):
    '''
    在下載過程之中的回調函數，回調下載的進度
    dataNums:已下載的數據塊
    oneData:一個數據塊的大小
    totalData:總共的數據量
    '''
    download=100.0*dataNums*oneData/totalData
    if download >= 100:
        download=100.0
        print 'download finished'

    print 'downloading %.2f%% ' % (download)


re=urllib.urlretrieve(url, path,showDN)
print re