導語:安全
現在,移動互聯網浪潮進入白熱化競爭態勢,APP渠道傳播成爲不少企業經常使用的推廣方式,APP推廣費用也在水漲船高,從PC時代的一個裝機0.5元到1元不等,到移動互聯網時代的5元,甚至幾十元,但爲何轉化效果卻愈來愈差。在如此巨大經濟利益的驅使下,渠道推廣摻假成爲業界的廣泛認知,渠道不刷量也只存在於童話故事裏。所以,如何能減小APP推廣經費被羊毛黨消耗,便成爲了大部分互聯網企業都在思考的問題。 網絡
本報告將分享阿里巴巴集團安所有關於App流量推廣數據造假攻防的產業鏈的應對,重點介紹阿里安全首創的五層識別模型是如何在與黑產攻防轉換鬥爭中,有效識別各類刷量做弊,爲企業用戶節省開支,減小業務損失。工具
下面有請阿里巴巴集團移動安全專家馬徵,爲你們分享APP渠道推廣做弊攻防那些事兒。測試
嘉賓演講正文:大數據
剛纔一位同窗作了一個很好的分享,也介紹了一些黑科技,實際上這些黑科技在整個阿里巴巴集團安所有來說只是冰山一角,那麼咱們日常會把這些黑科技應用在哪些地方,實際上最主要的一個「戰場」就是在與黑產的對抗當中,與黑產高強的對抗,是應用咱們這些技術的主戰場。下面由我進行一些有趣的分享。網站
首先咱們先了解一下如今整個APP推廣行業的背景,看看推廣環境是怎麼樣的,2017年對移動互聯網公司來說是很是恐怖的,這是王興講過一句話。阿里雲
第一,咱們本身的大數據分析整體手機數量已經不漲了,智能手機已經走過10個年頭的發展,新增量和淘汰量是持平的,整體智能手機的數量已經再也不增加了。加密
第二,競品太多,消費者卸載,同一類型的APP最終留在咱們客戶的手機裏面的基本上都分一個類型或者一個類型裏面留一款,我用了高德都不會再用百度,用了餓了麼就再也不用美團,因此基本上最終留下來的只有一個,因此競品太多,消費者初期可能會裝,可是後期的卸載率是很高的。插件
第三,由於前面咱們說過「盤子」已經固定了,「蛋糕」已經這麼大了,再也不漲了,並且競品這麼多,致使如今總體的推廣費用漲了近30%,這是進您上半年的一個數據。這張圖能夠直觀看到APP的推廣費用,直播行業價格還算低一點。下一個緯度就是在遊戲行業裏面,大部分推廣費用就已經上升到20塊到30塊一個新增,那麼到了金融領域就是跟錢相關的這些APP當中,像平安銀行信用卡一個新增到的55塊錢,價格很是高,並且咱們經過其餘渠道看到,包括我本身接觸的一些用戶咱們也看到,甚至咱們接觸過一個新增100塊錢也是很多見的,因此整體的推廣費用會一直漲,並且這個數量在將來幾年以內它不會中止它漲的趨勢。因此總體的外在環境仍是比較惡劣的。htm
那除了外部的環境以外,一本財經有一個報告,1000萬流量推廣預算的60%是被內鬼、中介、羊毛黨吞噬,利潤的分紅是四六分,我六,你四,其實受損的是企業。那隻要有利益存在的地方,就必定會成爲黑客的攻擊目標,必定會成爲黑客的重點,黑客利用病毒天天能夠獲利300萬到500萬美圓,整個APP渠道推廣的市場是多麼的誘人,會有愈來愈多的黑產來分這個「蛋糕」。
下面簡單看一下目前企業常見的幾種推廣方式。
第一種企業會選擇大的渠道商,好比說應用市場或者微博、頭條這種大的渠道商去作推廣,會在內部作廣告,而後去作APP上架包括排名,包括下載推薦等等。那麼在作這種大型的渠道商推廣的時候,咱們常面臨幾個比較麻煩的問題。首先大型的渠道商通常比較強勢,咱們真正去作APP推廣大部分是中型的企業或者小型的創業企業。咱們跟你們談的時候是很難拿到一個合理的價格,他們比較強勢,因此咱們性價比不是很高,雖然大型渠道商周邊量不多,可是它信用很高,可是一個APP的推廣成本很高,那麼在這樣的渠道里面咱們即便抓到一個刷量,或者一個有問題的量,那咱們所爲用戶節省資金實際上不小於小的這種渠道商的。
第二個緯度就是手機廠商預裝的方式來作APP推廣,目前來說手機廠商預裝這種方式比較混亂,就是沒有一個特別好的規範或者沒有一個特別好的管理,那麼以前就有新聞報道過,就是某個國產的手機廠商,具體名字不談了,當年它的出貨量是100萬臺左右,可是它給某APP作推廣報了500萬的數量,這個事情比較尷尬了。一臺手機難道要裝5個如出一轍的APP嗎?這也是一種很是不規範的,就是沒有經過強管理的渠道。
第三種利用廣告聯盟小型或者種型的渠道進行推廣,這種方式也是多數的企業所採用的一種方式,可是問題也是最大的,體積越龐大,問題越多,存在的刷量越多,市場一樣是不規範的,雖然咱們看到廣告聯盟推廣的時候可能費用會比較低,但實際上存在的刷量仍是很是高的,最後用三個詞來形容就是「水太深」。那基本上廣告聯盟的結算方式會配渠道號去作結算。
下面進入正式的攻防對抗了,只要有利潤黑客就會追逐利潤,只要有資金,黑客就會去刷,就會去吃這塊「蛋糕」,下面簡單介紹一下黑客發現這塊「蛋糕」,他們是怎麼去吃這個「蛋糕」了。
首先咱們發現黑客採用比較常見的方式是叫衆籌刷,這是一款衆籌刷的一個軟件,裏面集成了很是多須要作推廣的安裝包,我把這個裝在個人手機上面,一個兩三毛,作這種衆籌刷的黑產在從中獲利。它的特色比較明確,這些全部作APP激活或者安裝的都是真人,地理位置都是不一樣的,全國的任何一個位置都有可能。第二沒有很明顯的做弊特徵,識別難度比較大,這些實際上仍是經過咱們真實的用戶在去作點擊去作安裝,實際下載到也是用戶的手機上面,沒有明顯做弊的特徵。可是面臨的問題也很明顯,它須要綁定銀行卡去提現,做爲我來說去作這件事情,自己的金額又不大,對我來說誘惑不是很高。它本身衆籌刷軟件自己的推廣也是一個比較大的問題,我怎麼讓人知道我這款軟件來作這個事情,這個也是比較大的難點,因此總體來說衆籌刷的方式不太多,佔必定部分的比例。
第二種比較厲害,是作病毒刷,根據2016年獵豹發佈的報告,他們發現了一款叫作「悍馬」的一個病毒,在全球,天天能達到140萬的日活,他們也作了一個測試,在兩到三個小時以內這個病毒就安裝了200個應用,消耗掉用戶的容量達到2個G,一個APP0.5美圓成本,一天就能夠賺50萬美圓,這個很是誘人。講一下它的特色,首先利用病毒款是在比較老的設備上進行,這種比較容易種這種病毒。同時這個病毒可以自動激活,激活設備也是真人真機,我不知道個人手機中了病毒了,也不能在默默的安裝應用。這兩個面臨比較大的難點,首先病毒開發自己是須要必定的技術門檻的,並且將來隨着安卓6.0版本以上,iOS10版本以上,對於開發的難度會愈來愈大,那麼傳播的難度也就愈來愈大,如今大多數人的安全意識已經在慢慢提升,咱們都知道可能在一些不明連接下下載的APP是不安全的,包括一些釣魚網站國家進行大力的打擊,你們都會在正規的應用市場上面去作下載,因此它的傳播難度仍是蠻大的。
第三種方式是人肉刷,這就是咱們的設備牧場,我不知道在座的各位有沒有見過這個場景?實際上仍是比較壯觀的,在一個房間裏面,多的用書架,很是很是多的設備,而後經過一到兩我的挨個點擊進行安裝,恢復設置而後進行下一批的安裝,這個就是設備牧場。這個是咱們發現的一個設備牧場的廣告,擁有粉絲就擁有勞斯萊斯,這個話和阿里客戶第一的價值觀比較相符,可是不一樣點在於它是用粉絲來換取「勞斯萊斯」的,阿里是把咱們的粉絲當作勞斯萊斯對待,這是咱們之間的區別。 那麼這種人肉刷的方式特色比較明確,首先設備要有越獄的權限,這是須要一個最基礎的條件。第二,它一般安裝有修改設備信息的軟件,由於我刷完一批之後,我經過修改設備信息的軟件要進行修改,而後再安裝另一批軟件,或者次日一樣安裝第一天安裝過的軟件,算一個新量。因此它須要修改設備信息的文件保持安裝量。可是激活IP和地理位置比較統一了,設備牧場集中在一個環境裏面,那麼比較大的缺點或者比較大的問題就是它做弊成本相對偏高,須要購入真實的機器去作人肉刷。
最後一種是機器刷,就是電腦運行的模擬器,進行安裝各個APP,如今主流的做弊設備吃的大部份內存比較嚴重,由於CPU和硬盤資源足夠用了,那麼瓶頸是在內存。一臺實際內存設備爲某一個模擬器分擔20兆的內存,一臺這樣的設備也就是幾千塊錢,能跑51臺模擬設備。機器刷的特色也比較明確,首先用到99%以上是模擬器,這些模擬器大多數擁有越獄的權限,擁有修改設備信息的軟件,好比定位軟件,我但願定位到北京,刷一批,再定位到其餘的城市刷一批,做弊的成本相對比較低,幾千塊錢模擬出不少的設備。
那針對以上刷量的威脅,咱們看一下被刷的危害。
首先第一個金錢成本,這個不用說了,咱們花了1000萬去作推廣,但真實安裝到個人APP的用戶只佔了50%,那我至關用500萬打了水漂。
第二個是信用成本,每一年咱們申請一兩千萬的預算,最終爲公司所帶來真實的用戶量其實是刷出來的,是很是少的,說嚴重一點老闆會不會懷疑咱們是跟刷量的作勾結,而後把錢款吞掉了,說得再輕一點,即便老闆不懷疑咱們的人品,不懷疑咱們去內外勾結分錢,那會對個人工做能力作質疑。
第三機會成本,由於通常的用戶在作推廣的時候,是在幾個關鍵業務節點,包括上市以前包括某一個風口,若是在這個節點上面作推廣,有一大部分是被機器刷掉了,頗有可能錯過了一個很是好的機會,錯過一個很好的風口,也有可能失去了下一個10億美圓的獨角獸。
第四數據不靠譜,我以爲這個超越前三個危害,如今這個時代已經進入數據時代,全部的公司都是以數據來講話,用數據規劃咱們將來的業務方向,咱們在對傳統的門戶網站去作安全服務的時候,今年春節後忽然發現業務PC訪問量爆增,按照正常的邏輯來說在這個時代,咱們PC業務是呈一個緩慢降低的趨勢,可是它從3月份開始發現他們的PC訪問是呈直線上升的趨勢,他們慌了,由於他們原本已經轉型字移動端了,看到這個訪問量不知道下一步整個公司該怎麼投資,業務重心怎麼偏斜,那這個究竟是來自真實的用戶,仍是被一些黑產盯上了,在刷咱們,通過排查是被刷了。咱們以用戶基礎作的數據分析、業務分析,假如只參進10%的水分,最終致使咱們的用戶畫像不許確,將來業務發展的方向頗有可能受到影響,這個是被刷的危害。
下面進入攻防轉換,前面企業發現被刷的危害,咱們怎麼去處理這個方式,咱們有了第一代反做弊的手段。第一咱們收集檢測是否安裝了做弊工具,好比像模擬器,首先檢測安裝了APP的設備是否存在做弊工具,若是存在的話就處理掉。第二檢測ROOT、越獄權限,咱們發現是大量存在越獄的權限,我就要報高風險,而後進行分析判斷是否是做弊的設備。第三,如今有不少用戶仍然用到的一個方式,就是作具體業務的分析,7日留存或者自定義事件觸發等等,這個用戶首先安裝客戶端,天天還要有啓動,天天要有點擊進行搜索連接, 在某些真實的頁面要停留5秒以上,這個纔算一個活躍,就是結合咱們的業務邏輯去判斷他是一個活躍用戶仍是一個刷量。這是咱們爲了應對前面說的這種方式來想出的反做弊的技術。
黑產當發現咱們進行對旁的時候,它也會跟咱們作對抗,它是在攻守轉換,黑產也會看咱們的檢測技術,咱們前面說了檢測修改設備信息的分享工具,黑產如今作得更加高明,會用一些工具反進程枚舉,會自動屏蔽掉一些進程,讓咱們檢測不到這臺設備安裝了黑產軟件,前面咱們說會去檢測ROOT、檢測越獄的狀況,黑產會利用一些插件去屏蔽掉個人越獄痕跡,檢測不到個人越獄項。包括如今也在用到業務數據去作渠道推廣的反做弊,如今黑產只要摸清咱們業務數據的點,只要用很短期抓住咱們這些數據曲的緯度利用腳本很輕鬆的做出一套很是完美的報表,這是一個例子,僞造日活和業務數據,24小時有監控,並且他們有本身的團隊,價格優惠力度很大,這個咱們也作過調研,幾千塊錢能夠送10萬的裝機量,很是很是便宜,並且報表呈現的很是完美,這個也是咱們不少企業很是頭疼的一個問題,就是我在作推廣的時候,你要什麼樣的數據,你要什麼樣的報表我均可以給你,可是隻要我跟你進行錢的結算,只要結算完超過一週甚至短的幾天你的數據直線下來了,這是很是頭疼的,只要咱們的業務邏輯被黑產拿到,他就模擬咱們的點,利用手機腳本新一代神器,你們能夠搜一下,這種工具很是多,利用腳本進行刷量。
下面繼續進行攻防轉換,剛纔是黑產向咱們進攻,但如今咱們針對黑產這幾個方式咱們有什麼新的解決方案呢?最新的阿里雲渠道反做弊解決方案當中,咱們引入了客戶端和服務端去作檢測,咱們利用大數據分析識別各類數據狀況,咱們會有一個安全組件去識別和獲取客戶端APP運行的環境信息、系統信息、設備信息等等,咱們會取100多個緯度的信息,那中間經過咱們的白盒加密的方式進行輸出。咱們渠道的信息在中間傳輸的過程中被黑產截獲,黑產經過分析發現的咱們的緯度而後進行破解和模擬,整個過程變得沒有意義。因此咱們在傳輸的過程中,利用白盒加密的方式,這是一種沒有密鑰的加密方式,很是安全,利用設備指紋,利用設備基礎信息的查詢,最終到安全智能識別引擎去作綜合的分析,最後輸出結果來識別它究竟是不是一臺模擬器,它是否是設備牧場。
咱們用了哪些黑科技,最核心是五層識別模型。
最底層是黑名單過濾層,這也是一個比較簡單的一層,阿里巴巴利用了10年的技術沉澱,由於每一年的雙十一我相信既是咱們各位剁手族的盛宴,也是黑產的盛宴,黑產也是在雙十一的時候借這個機會去刷咱們的量,接受雙十一的洗禮,咱們沉澱了大量的黑名單,咱們知道哪些設備是做弊設備,哪些是正常設備,剛纔提到了設備牧場更換設備的成本是比較高的,黑產在雙十一的時候能夠去刷淘寶、天貓,它已經在其餘時候是刷咱們合做夥伴。因此咱們經過設備指紋進行黑名單的判斷,只要發現有做弊行爲的,咱們都會報高風險。
上面一層就是咱們的設備信息緯度的識別層,咱們會檢測100多個緯度,這裏面就不一一列出了,包括IP包括CPU都會進行檢測,咱們會進行單一屬性的輸出,就是咱們每個檢測都對應一個輸出結果,有可能他的CPU是正常的,IP地址是正常的,可是IP信息是異常的,最後經過咱們綜合分析會去報這個設備究竟是正常仍是不正常的設備,這是設備信息的識別層。
下面一層咱們除了設備信息緯度的識別,除了黑名單以外,還會去作大數據的分析,前面兩層說的是單一設備,這個會結合另外的一些信息,舉個例子,咱們判斷了某一個設備是疑似做弊的設備,咱們再作校驗,咱們看一週有沒有過支付寶的付款行爲,有沒有淘寶的購物行爲,有沒有太高德的地圖導航的行爲,有沒有UC的搜索行爲,咱們根據各類行爲發現一臺徹底的設備沒有任何剛纔說的那些緯度的信息,咱們就有理由相信是一個做弊設備。即便前面疑似有可能做弊設備,可是咱們經過大數據的分析發現近三天有過購物記錄和導航的應用,就是人經常使用的一些行爲的話,咱們也會判斷他有多是一個真機,那經過大數據分析把咱們的前面判斷的緯度更加準確。
下面一層就是羣體性分析層,咱們會分析網絡類型以及它的分佈特徵,看是否是在同一個IP的安裝,看看是否是同一個地點位置,這個就會屏蔽掉一些利用設備牧場去進行刷量的行爲。
最上面是結合全部層的數據進行綜合的判斷,最終告訴咱們的客戶這是否是一個真實的設備,仍是一個刷量的設備,這就是咱們整個最新的五層識別模型。
最後看一個案例,這是某個業務方60天的新增,這是業務方全球的業務,最誇張是在西班牙,總的新增量是610多萬,咱們檢測出來的做弊380多萬,做弊的佔比是92.5%,若是按照海外一美圓一個來計算的話,60天就爲用戶節省了600多萬推廣費用的開支,這是一個真實的案例。
最後說一下我本身的感想,我作了安全不少年了,安全這個東西不是特別好界定它的效果,何時作的效果還不錯,何時作的效果通常,很難有一個量化的指標評估,不出事,沒有效果就是安全作得還不錯的標準,很難有量化的。可是整個渠道推廣反做弊的技術顛覆了咱們這個概念,整個渠道推廣的反做弊它是真實能夠從用戶的資金層面進行反饋,好比我投入了千萬的推廣費用,我刪除了10%的做弊量,就是真真事實能爲用戶節省10%的開支,那這100萬就是咱們阿里聚安全給你創造的價值,這就是咱們整個移動推廣反做弊的一個產品和技術。謝謝你們。
——————————————————————
本文由阿里聚安全編寫,轉載請註明出處,更多安全資訊(嘉賓演講PPT等)請關注阿里聚安全官方博客。