Python使用又拍雲進行第三方文件拉取

在爬蟲過程當中,須要將圖片或其餘文件進行存儲到雲上,但在下載圖片時,看官方文檔,貌似須要先下載到後再上傳又拍雲,感受效率很低下。經查找資料實現Python直接對第三方資源進行文件拉取操做,即不須要下載到本地,代碼以下:python

 

import upyun
up = upyun.UpYun('xxxxx', 'xxxxx', 'xxxxx')  # 您又拍雲登陸信息
img_url = 'https://desk-fd.zol-img.com.cn/t_s1144x1190c5/g5/M00/04/0C/ChMkJlYzFaeIX4_zAAP4WqNwUMMAAESqgI3OA8AA_hy369.jpg'  # 須要拉取的url
notify_url = 'http://httpbin.org/post' # 回調地址
fetch_tasks = [
{
'url': img_url, # 須要拉取文件的 URL
'random': False, # 是否追加隨機數, 默認 false
'overwrite': True, # 是否覆蓋,默認 true
'save_as': '/text/0.jpg', # 保存路徑
}
]

print up.put_tasks(fetch_tasks, notify_url, 'spiderman')
上傳成功後會返回 [u'a319f9d4abc629001']], 表示上傳成功
注意:
fetch_tasks 內能夠多條進行上傳,經過[{},{},{}]的方式
而後在您的瀏覽器輸入: 您又拍雲的http地址 + save_as 的保存地址 進行測試查看是否上傳成功

參考GitHub文檔:https://github.com/upyun/python-sdk
參考upyun官方文檔:http://docs.upyun.com/cloud/spider/
相關文章
相關標籤/搜索