揭祕一個大數據應用是怎樣煉成的

　　經歷了多年的BI專題應用建設，有幸能在一個傳統企業裏探索大數據應用的建設過程，發現了不少不同的地方，得到了不一樣的感覺，下面是尚學堂的張老師以他參與過的一個真實的案例建設過程來品味其中的不一樣，也許能得到一些啓示。
課題是怎麼來的?
　　大數據應用最大的挑戰，就是將來的不肯定性，所以，傳統公司動輒提早半年進行投資預算規劃的方式是不太適合大數據的。
　　作大數據幾年，雖說如今靠譜的大數據的商業模式也就在廣告、金融、公益等方面，但真要下決心幹某個大數據應用項目，其突發性、偶然性也很是強，由於對於大數據這個不成熟事物，不管是哪類公司，觀望佔了很大部分，對大數據的質疑有之，對於大數據安全的惶恐有之，對於合做模式的疑惑有之，更多的是不停的提出想法，不停的被否認。
　　企業順應大勢成立了大數據團隊，最痛苦的是不知道幹什麼，什麼能幹，什麼不能幹，也沒啥可借鑑的經驗，這跟當前創業公司也相似吧，不知道哪一種模式是靠譜的。
　　大數據幾乎無所不能，但真要作起來，其實當前是能者寥寥，雖然趨勢不可擋，但這一波搞大數據應用的，彷佛大多要死在黎明前，一個概念從提出到最終普世大衆，的確路慢慢兒修遠兮。
　　今天要聊的，是個公益課題，電話反欺詐，課題有必定的偶然性，安所有門提到了，問咱們能不能作作看，感受社會意義很大，好比騰訊有反欺詐盒子，360有攔截系統，原本某公司但願來作這個課題，但綜合各方面因素，仍是決定本身作。

　　做出這個決策的實際一天不到，因此決定本身作，基於如下幾個因素：
　　一是這個大數據應用是有顯著效益的。
　　二是很好評估，不像不少BI應用產出沒法評估，備受質疑。
　　三是公司大數據平臺創建了，提供了基礎條件。
　　四是自主建模團隊創建了一年多了，不須要太依賴合做夥伴，所以也無需走那套冗長的招標流程，失敗的代價也會小。
團隊如何組建?
　　跟傳統的安排不一樣，拋出這個課題後，主動接受這個挑戰的，倒是一名從一線剛過來的同事，面對不肯定性，想來大多數有資歷的員工也會猶豫老半天吧，這個也有必定偶然性。
　　谷歌講到了招聘人才，提到了不管多大代價也要找到創意精英，而作大數據，更加須要，須要主動型的創意精英，若是傳統企業每一個人仍然像傳統那樣侷限在本身一畝三分地，很難有創新突破。
　　很幸運，咱們有一隻黑天鵝。
　　這種自願組隊模式的確有很大的好處，不按計劃分配，尊重我的的意願，更能激發人的主動性，團隊組建也很是快，當天組隊，次日就開幹，不存在相似項目的繁瑣流程。
　　雖然團隊成立有必定的偶然性，但的確與與企業近年來在大數據組織創新、人才引進和人員流動上的努力分不開。
　　假如沒有大數據組織的成立，誰牽頭都是個問題;假如不扔掉傳統的包袱，很難有人專心作這個;假如沒有企業內的人才流動和外部人才的引入，咱們也幹不了這個事。
平臺資源如何解決?
　　在那個傳統BI小型機時代，要作一個項目，拋開硬件資源環境的投資立項過程不說，光是一個新項目的集成估計也不止一個月。
　　而這個項目不一樣之處是：
　　一是基於大數據平臺的租戶能力，資源申請所見即所得，加上流程，一週內所有搞定。
　　二是提供的組件較爲豐富，特別是流處理資源的快速提供，爲反欺詐的實時性提供了堅實的基礎，換在幾年前基本不可能。
　　三是公司技術團隊的保障，使得大多技術問題得以儘快解決，這也有賴於公司在大數據平臺上的末雨綢繆。
　　某人說過，凡是能用錢解決的問題都不是問題，但技術這個東西，雖然用錢的確可能解決，但對於大多數公司，錢都是個大問題，所以技術問題的解決又是何其艱難。
　　好比咱們碰到Kafka的一些問題，長期難解決，大多企業的機制流程恐怕也不容許隨便開價100萬招個技術專家來解決吧，傳統企業的自我技術進步是部血淚史，外面的專家開價開不起，本身的專家起來了，又怕被人家挖。
項目開發歷程
　　敏捷開發如今提得不少了，但感受之前BI的建設就是最大的敏捷，最極致的狀況，一我的搞定需求、開發、上線和維護，固然，如今軟件工程的確仍是要靠分工協做，須要一套方法論來解決顯性迭代和維護配合的問題。
　　大數據創新太特殊了，不必循規蹈矩，拋開所有的束縛，一切要爲速度讓步。緣由是失敗可能性很大，速度越快成本越低，同時既然對於公司原有業務沒有影響，所以能夠放手去幹，什麼文檔均可以不要，什麼既定流程均可以不遵照，反正光腳不怕穿鞋的。
　　所以，這個課題作的很是快。
　　第10天，作出一個反欺詐簡單模型，包括了案例分析、數據準備、數據建模及驗證等，咱們的觀點是第一個版本能夠粗糙一點，但願儘快驗證這個事情的可行性，不然一切都是徒勞，所以就是討論和驗證數據。
　　當時規定兩個禮拜若是出不告終果，就會放棄，這類應用失敗可能性很高，但船小好調頭，之後作一些創新，都建議給創新作個時間止損點。
　　第25天，生產完成部署，也就是具有系統支撐能力，除了系統部署方案須要專業部門把關，其餘基本是能省就省，當時的想法是，這類創新項目最好一個月就能搞上線，起碼能測試吧，相對之前BI應用項目動輒半年甚至1年的節奏，的確大不一樣。
　　創新，速度始終是王道，所以日報變成剛需，也回憶起了某位離職運營商去創業的一個領導，他說天天凌晨就要看昨天的日報，以便安排當天的工做，咱們可能作不到這麼瘋狂，但日報的節奏是對的。
　　第30天，一直在外呼現場進行驗證迭代，直到36天，得到承認爲止，之後就是持續調優，但這個數據已經能夠投入生產了。通常電話詐騙很難在事中干預，但這個模型作到了，準確度達到90%以上，經過實時事中干預挽回收入損失超千萬。
　　這個應用就是中國移動的天盾大數據反欺詐系統，它就是這麼誕生的，沒有什麼大彙報，沒有什麼流程，就是很輕很輕的來了。
　　如今算法還有不少問題，反欺詐矛與盾的爭奪是很艱辛的，面上的風光底下是天天建模師的堅苦卓絕的努力，上了不少新算法，不少不少失敗，拉低了成功率，對於這個你們是異常焦慮的，羣里老是不停的討論，你們都知道這個是核心競爭力，路還很長，還須要堅持。
　　這個應用還難言成功，只是傳統企業在大數據應用上的一次不一樣的嘗試，但無論怎樣，互聯網快速迭代的那套的確是給了很大的啓示，本身作了，才知道原來的差距是如此巨大，本身的能力是如此脆弱。
　　從課題的角度講，要認識到大數據這個事物的不肯定性，選擇它具備偶然性，沒有規劃能預料到這個，當前大數據變現商業模式也並不成熟，不要奢望投資大數據立刻有產出，也許能力儲備是第一位的。
　　從組織的角度講，大數據人才屬於稀缺人才，要麼打破原有框架，不拘一格外部找人才，要麼充分企業內挖潛，讓人員能流動起來。流動的人才有一個特色，即至少有一顆騷動的心，主動性對於作成功一件事極爲重要。
　　從能力的角度講，假如要向大數據轉型，則仍是要對「沒有一個大數據公司，能依靠合做夥伴得到成功」這句話有所敬畏，大數據的核心能力要掌握在本身手裏。
　　從平臺的角度講，若是沒有大數據平臺的創建，這個項目可以有效果也許是半年之後的事情，但機會稍縱即逝，沒人會等你這麼久，所以此類基礎設施建設不能猶豫，「書到用時方恨少」。
　　從開發的角度講，先設定一個小目標，搞他個十萬八萬的，只要有點看得見的產出就行啊，快速迭代，始終是王道，失敗了也沒什麼大不了，咱們缺的就是經驗，多頭並行也不是不能夠，只要有足夠的創意精英。
　　固然說易行難，以上幾點對於大多數公司來講是如此不易，也不能以一個應用的成功與否說明任何問題，大數據要成功，就像黑天鵝，有必定偶然性，但若是連準備的勇氣都沒有，沒有一點實質改革的動做，就沒有任何成功的可能了。