抖音很火,樓主使用python隨機爬取抖音視頻,而且無水印下載,人家都說天下沒有爬不到的數據,so,樓主決定試試水,純屬技術愛好,分享給你們。。python
1.樓主首先使用Fiddler4來抓取手機抖音app這個包,具體配置的操做,網上有不少教程供你們參考。android
上面得出抖音的視頻的url,這些url均能在網頁中打開,樓主數了數,這些url的前綴有些不一樣,一共有這4種類型:git
v1-dy.ixigua.comgithub
v3-dy.ixigua.comweb
v6-dy.ixigua.com緩存
v9-dy.ixigua.comapp
樓主查看這四種類型得知,v6-dy.ixigua.com 這個前綴後面的參數其中有一個是Expires(中文含義過時的意思)ide
Expires=1536737310,這個是時間戳,標記的是過時的時間以下圖所示,過了15:28分30秒,則表示url不能使用,樓主算了一下,url有效期是一個小時。函數
看到這些url,樓主不能手動一個一個粘貼,so樓主須要在+Fiddler4中(在Fiddler4使用script代碼網上有大量詳細教程)使用以下代碼,自動保存到一個txt文檔中。url
//保存到本地添加開始
//這是抖音的地址||"v1-dy.ixigua.com"||"v3-dy.ixigua.com"||"v6-dy.ixigua.com"||"v9-dy.ixigua.com"||
if (oSession.fullUrl.Contains("v1-dy.ixigua.com")||
oSession.fullUrl.Contains("v3-dy.ixigua.com")||
oSession.fullUrl.Contains("v6-dy.ixigua.com")||
oSession.fullUrl.Contains("v9-dy.ixigua.com")){
var fso;
var file;
fso = new ActiveXObject("Scripting.FileSystemObject");
//文件保存路徑,可自定義
file = fso.OpenTextFile("H:\\Request.txt",8 ,true);
//file.writeLine("Request-url:" + oSession.url);
file.writeLine("http://"+oSession.url)
//file.writeLine("Request-host:" + oSession.host);
//file.writeLine("Request-header:" + "\n" + oSession.oRequest.headers);
//file.writeLine("Request-body:" + oSession.GetRequestBodyAsString());
//file.writeLine("\n");
file.close();
}
//保存到本地添加結束
把上邊的代碼插入到以下圖所示的地方便可。
2.上面的url是樓主手動點擊一個個刷新抖音app出現的,so樓主使用appium來自動刷新抖音app,自動得到url,自動保存到txt文檔中。
首先須要在appium中獲得抖音這個app包的一些用的信息,以下圖所示
樓主使用的是紅米手機,至於appium怎麼安裝配置,你們可參考網上相關教程,appium客戶端鏈接上手機(須要數據線鏈接)後,在控制檯打印出log日誌文件,在日誌文件中找到這四個參數便可,而後保存
到appium客戶端中便可,就能在appium客戶端中操做抖音app。
{
"platformName": "Android",
"deviceName": "Redmi Note5",
"appPackage": "com.ss.android.ugc.aweme",
"appActivity": ".main.MainActivity"
}
appPackage這一項com.ss.android.ugc.aweme 則表示抖音短視頻。
樓主使用以下代碼來實現無限刷新抖音app,前提是須要手機連着數據線連在電腦上而且開啓appium客戶端的服務和打開Fiddler4抓包(配置好環境手機)。
from appium import webdriver from time import sleep ##如下代碼能夠操控手機app class Action(): def __init__(self): # 初始化配置,設置Desired Capabilities參數 self.desired_caps = { "platformName": "Android", "deviceName": "Mi_Note_3", "appPackage": "com.ss.android.ugc.aweme", "appActivity": ".main.MainActivity" } # 指定Appium Server self.server = 'http://localhost:4723/wd/hub' # 新建一個Session self.driver = webdriver.Remote(self.server, self.desired_caps) # 設置滑動初始座標和滑動距離 self.start_x = 500 self.start_y = 1500 self.distance = 1300 def comments(self): sleep(3) # app開啓以後點擊一次屏幕,確保頁面的展現 self.driver.tap([(500, 1200)], 500) def scroll(self): # 無限滑動 while True: # 模擬滑動 self.driver.swipe(self.start_x, self.start_y, self.start_x, self.start_y - self.distance) # 設置延時等待 sleep(5) def main(self): self.comments() self.scroll() if __name__ == '__main__': action = Action() action.main()
樓主運行次代碼就能在Fiddler4中獲得無限量的url。
3.樓主拿到url後,會發現有些url會重複,so樓主加入了去重的功能,爲了好看樓主也加入了進度條花裏花哨的功能,運行代碼最終會下載下來。
# _*_ coding: utf-8 _*_ import requests import sys headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36" } ##去重方法 def distinct_data(): ##讀取txt中文檔的url列表 datalist_blank=[] pathtxt='H:/Request.txt' with open(pathtxt) as f: f_data_list=f.readlines()#d獲得的是一個list類型 for a in f_data_list: datalist_blank.append(a.strip())#去掉\n strip去掉頭尾默認空格或換行符 # print(datalist) data_dict={} for data in datalist_blank: #print(type(data),data,'\n') #print(data.split('/'),'\n',data.split('/').index('m'),'\n') #url中以/爲切分,在以m爲切分 ##把m後面的值放進字典key的位置,利用字典特性去重 if int(data.split('/').index('m'))==4 :#此處爲v6開頭的url #print(data,44,data.split('/')[5]) data_key1=data.split("/")[5] data_dict[data_key1]=data elif int(data.split('/').index('m'))==6: #此處爲v1或者v3或者v9開頭的url #print(data,66,data.split('/')[7],type(data.split('/')[7])) data_key2=data.split("/")[7] data_dict[data_key2] =data #print(len(data_dict),data_dict) data_new=[] for x,y in data_dict.items(): data_new.append(y) return data_new def responsedouyin(): data_url=distinct_data() # 使用request獲取視頻url的內容 # stream=True做用是推遲下載響應體直到訪問Response.content屬性 # 將視頻寫入文件夾 num = 1 for url in data_url: res = requests.get(url,stream=True,headers=headers) #res = requests.get(url=url, stream=True, headers=headers) #定義視頻存放的路徑 pathinfo = 'H:/douyin-video/%d.mp4' % num #%d 用於整數輸出 %s用於字符串輸出 # 實現下載進度條顯示,這一步須要獲得總視頻大小 total_size = int(res.headers['Content-Length']) #print('這是視頻的總大小:',total_size) #設置流的起始值爲0 temp_size = 0 if res.status_code == 200: with open(pathinfo, 'wb') as file: #file.write(res.content) #print(pathinfo + '下載完成啦啦啦啦啦') num += 1 #當流下載時,下面是優先推薦的獲取內容方式,iter_content()函數就是獲得文件的內容,指定chunk_size=1024,大小能夠本身設置喲,設置的意思就是下載一點流寫一點流到磁盤中 for chunk in res.iter_content(chunk_size=1024): if chunk: temp_size += len(chunk) file.write(chunk) file.flush() #刷新緩存 #############下載進度條部分start############### done = int(50 * temp_size / total_size) #print('百分比:',done) sys.stdout.write("\r[%s%s] %d % %" % ('█' * done, ' ' * (50 - done), 100 * temp_size / total_size)+" 下載信息:"+pathinfo + "下載完成啦啦啦啦啦") sys.stdout.flush()#刷新緩存 #############下載進度條部分end############### print('\n')#每一條打印在屏幕上換行輸出 if __name__ == '__main__': responsedouyin()
運行代碼,效果圖以下
視頻最終保存到文件夾中
github地址:https://github.com/Stevenguaishushu/douyin