用數據找機會—《決戰大數據》精粹

將來是大數據的時代，將來的競爭就是數據的競爭。之前，咱們都是有問題找數據，而大數據時代，其最核心的特質則是「用數據找機會」。——車品覺

《決戰大數據：駕馭將來商業的利器》是我在兩年前接觸到的第一本關於大數據的書籍，由阿里巴巴集團副總裁車品覺所著。此書不是講具體的大數據處理技術，而是從一個大數據運營踐行者的角度來說大數據的本質、數據處理的核心思想以及阿里巴巴數據運營的「內外三板斧」。文章並不是枯燥的學術性論文，做者在文中加入不少工做小案例對觀點進行引出、闡述或佐證，過渡天然，即便讀者毫無大數據運營經驗，亦能輕鬆把握關鍵思想。本文將對書中的關鍵思想進行提取，刪繁就簡，以便讀者以最快最方便的途徑獲取書中的精華。

第一部分 從數據化運營到運營數據

大數據，爲何不少人只會談，不會作

如今網絡上不少人都在談大數據，可是那些所謂的「大數據專家」只會談，不會作，由於他們根本就沒有作過。目前，在大數據方面，沒法深刻應用的緣由在於，從收集到使用的大數據價值鏈出現了問題。只有先數據化運營，而後才能運營數據。而如今的狀況是，用數據的人不知道大數據從哪裏來，作數據的人不知道大數據如何使用。

收集數據的人並不知道將來使用數據的人要作什麼，這是目前大數據的一大關鍵命門。此外，使用數據建模的人也有可能不清楚數據是如何獲取的。舉個例子，好比我在搜索引擎裏發現某個地方搜索「感冒藥」的頻率很是高，因而我就判定這個地方可能出現了流行性感冒。然而這個數據是從何而來的呢？我徹底不知道搜索這個詞的人是誰，提供數據的人也沒有必要告訴我數據的來源和質量。當建立模型的人可能不知道模型的效果如何，致使使用模型的人也不知道該怎麼去反饋使用的結果。這樣一來，信息的不對稱會原來越嚴重。這正是體現了大數據實踐過程當中很是嚴重的斷層問題。

數據化運營就是用數據去解決問題，可是若是咱們用數據去解決更多的問題或者提早發現問題，就要運營數據。要使大數據產生真正的商業價值，咱們關注的內容並不是僅僅4個V,而應該將焦點放在如何真正讓數據落地之上.

 

大數據的本質就是還原用戶的真實需求

在思考數據的價值時，能夠從三個維度來考慮：

• 你是否能夠清楚地識別（Identity）用戶的身份？
• 你可否搞清楚收集的數據對你的價值（Value）是什麼？
• 收集數據時的場景（Situation）是什麼？

首先來講識別。如今不少人同時擁有手機、PC和平板等多個設備，這我的天天都登陸你的網站。這種狀況下你可否知道是同一個用戶？如今分辨用戶並不是難事，可是還有一些狀況須要考慮，好比你會將手機借給別人用嗎？是否知道用戶是誰，決定了企業數據收集行爲的意義大小。

數據收集的價值包含兩個維度:

• 企業價值：你不會將用戶的全部行爲都記錄下來，而是記錄對企業自身有幫助的數據。數據收集能夠實現企業對資源的合理分配。
• 客戶價值：數據如何幫助企業爲客戶提供更好的服務。數據收集能夠實現顧客體驗的提高

當咱們談大數據價值的時候，第一點要注意的就是角色不同，對於數據價值的見解也不一樣，因此在衡量價值的時候要考慮到受衆和給予者這兩個對立面的不一樣見解。以電子商務推薦系統爲例，從企業考覈的角度來講，他們想要的是如何讓用戶跟多地點擊本身的產品，而對於消費者來講，他們想的倒是有一個很想買的東西能不能快速買獲得。

在準確識別和衡量了數據價值以後，咱們再看一下數據收集的場景。大量的碎片化數據是噪音，讓事實串聯起來的行爲變得很是困難，而且當咱們把這些枯燥的數據串聯起來的時候，就必定能表明事實嗎？

早上你在路上看到一我的穿了件很好看的T恤，你心動了，到公司後立刻搜索T恤，而後電商網站給你推薦了10W個相關商品。當你猶豫怎麼挑選的時候忽然要開會。會議中無聊你打開手機應用，繼續搜索T恤，可是依然沒有找到那件T恤。最後，手機彈出一個手機促銷廣告，你發現了一款價格便宜的品牌手機，你絕不猶豫買下了。

一家公司到底有多大的能力，才能還原用戶所處的場景呢？

當你搜索T恤時，跟電商的第一個接觸點出現，電商還原的場景是「你搜索了T恤，搜出10W個結果，可是你一個都沒點擊進入」。電商徹底不知道你不點擊的緣由是你要開會。會議中你打開手機應用再次搜索T恤，有了第二次接觸，可是你爲何最後卻買了一部手機？有誰知道你爲何這麼選擇？最後你買手機選擇了上海賣家，事實上你只是去過上海出差幾個月，如今卻在杭州。

如你看到的，在本應有那麼多鏈接的數據裏面，在購買T恤的案例中卻沒有了任何鏈接，那麼企業該如何實現還原呢？天天都有大量的碎片化數據產生，那麼這種狀態下分析數據能有多可靠？因此說，企業在手機數據的時候，必定要明確本身是否有能力去收集用戶在你的網站中發生的全部行爲。

正如前面分析的，數據的價值必須來自於場景。

 

「活」的數據纔是大數據

「死」數據就是單純存在數據庫中，沒法進行分析和使用，並不能產生價值的數據。大數據的真正價值就是將數據用於造成主動收集數據的良性循環中，以帶動更多的數據進入這個自循環中，並應用於各個行業。好比不少網站的推薦系統，無論是音樂、視頻仍是商品，均可以讓用戶來選擇「喜歡」或「不喜歡」，這樣一來企業就能夠經過用戶的選擇基於後臺算法爲用戶從新推薦。多樣的自循環方式打開了大數據之門，而關鍵就是從解決問題出發。在數據的        自循環中，有兩個核心關鍵點：

• 「活」作數據：就是要跳出既定思惟的框架，從相關聯的行業和業務中去收集可以爲如今所用的數據。
• 「活」看數據指標，動態使用數據：收集到的數據，必需要用場景去驗證，靈活使用數據。

「活」用數據，就是看你可否看出這個數據自己的侷限是什麼。一方面，是咱們的數據爲用戶體驗改善了什麼；另外一方面，企業是使用數據時，對活數據的運用解決了什麼問題或者開創了什麼機會。要牢記，活用數據很重要。

 

無線數據，大數據的巔峯者

如今移動互聯網的主流是APP，APP數據收集的方式包括兩種：

• 手機用戶聯網時請求服務器的記錄
• 將用戶的行爲數據記錄下來以後，適時地傳給網站

但無論是什麼樣的收集方式，無線數據的最終表現是在沒有賬戶體系的狀況下，和PC的用戶行爲徹底沒有辦法進行關聯，這也覺得着用戶的數據出現了斷層。

爲此，個人見解是，保證PC和無線兩份數據的完整，經過用戶體系將兩份數據關聯起來，就能夠在分析的時候用彼此的融合來還原用戶行爲。

• 首先，須要經無線數據單獨保存起來，不能將其混入PC數據中。對於不須要還原用戶行爲的數據，好比頁面總體點擊率、用戶訪問時長等基於應用自己的數據就能夠用無線數據來分析。
• 其次，因爲PC和無線數據無關係，所以須要一套帳號體系來使二者發生關係。

 

數據分類與數據價值，什麼纔是你的核心數據

在大數據時代，首先要作的是收集大量數據，但更重要的是對數據進行分類、存放和管理。

從數據分類的角度來看，能夠分紅如下4類：

• 按照是否可再生的標準來看，可分爲不可再生數據和可再生數據。不可再生數據一般就是最原始的數據，好比用戶訪問網站時若是沒有被記錄下來，就沒法還原了。這類數據必須有完善的保護措施和權限設置。可再生數據就是可經過其餘數據生成的數據。
• 按照數據所處的存儲層次來看，可分爲基礎層、中間層和應用層。基礎層與原始數據一致，避免失真；中間層是基於基礎層加工的數據，也被認爲是數據倉庫層，會根據不一樣的業務需求進行存放；應用層則是針對具體數據問題的應用。
• 按照數據業務歸屬來看，可分爲各個數據主體，如交易類數據、會員類數據和日誌類數據等。
• 按照是否爲隱私來區分，可分爲隱私數據和非隱私數據。

數據的5大價值:

• 識別和串聯價值：在大數據時代，越可以還原用戶真實身份和真實行爲的數據，就越有價值。
• 描述價值：在負責的數據中抽象出核心點。
• 時間價值：考慮了時間的維度後，數據會產生更大的價值，對於時間的分析，可以更好的概括出用戶對於某個場景的偏好，對用戶的推薦也更加精準。
• 預測價值
• 產出數據的價值：對部分數據整合以後產生新價值

 

數據的盲點，負面數據的力量

若是數據存在盲點，核心數據就沒法輕易顯現出來。盲點能夠分爲兩類：一類是物理盲點，一類是邏輯盲點。

• 物理盲點：指數據庫中不存在這樣的數據（未收集）
• 邏輯盲點：有數據但未很好地發掘出來

對於物理盲點，若是出如今手機客戶端問題就很是大，一是無線終端的數據手機技術不是很成熟，二是彌補受限，好比發佈新版本流程耗時長、用戶安裝問題等。在邏輯盲點中，最大的盲點就是將PC數據和無線終端數據混着看。

也許對面對海量數據，咱們一般只將焦點放在正面數據上，而忽略掉負面數據。好比公司每月有10億的交易量，雖然額度已經很大了，但你是否分析過爲何還有2億可能的交易量沒有作成？由於不少人看了不買，爲何不買？經過這些「負能量」數據，你其實極可能發掘出很是有價值的平臺交易增加點。

 

第二部分 阿里巴巴的大數據祕密

混、通、曬，阿里巴巴數據化運營的內三板斧

數據化運營首先要從「人」作起，阿里巴巴數據化運營的內功就是利用好「混、通、曬」三板斧。

如今不少數據分析師缺少商業意識，每每會致使分析師不知道該用什麼樣的邏輯去分析數據，公司決策層也得不到任何有價值的參考意見。那麼數據分析師要擁有商業敏感的話，就要靠「混」，就是要常跟業務部門混在一塊兒，瞭解業務部門在作什麼，纔有可能服務於他們。
當你和業務「混」熟後，看到某些數據你就會明白它和商業決策有無關係及重要性。堅持帶着業務問題來觀察數據或者帶着數據來觀察業務，兼備兩者的敏感，就是作到了「通」。「通」有兩種場景。如如今有一個商業場景和一堆數據，這二者產生關係時，就是商業模式和數據彼此的「通」。因外一種更深刻的就是公司組織中各部門的數據交叉，好比統一各部門數據標準和接口等。

「曬是一種在「混」和「通」的基礎上產生出來的最終數據表現，經過業務和數據的結合，造成競爭力。

 

存、管、用，阿里巴巴運營數據的外三板斧

2011年開始，阿里巴巴開始從數據化運營想運營數據發展。

「存」就是把數據收集起來。關於數據收集，最重要的不是咱們收集了什麼數據，而是要思考這些數據如何使用以及到底能起到什麼做用。收集數據不是目的，產生價值纔是最終目標。

「管」就是對存儲的數據進行管理。海量數據存儲的代價是巨大的，須要考慮哪些數據能夠放冷庫，哪些數據須要先備份，是集中管理數據仍是分散運做，是封閉保密仍是開放等等問題，

「用」就是用數據解決問題。在「用」的問題上，數據分裂和重組，都能作到顛覆性創新。好比用戶的生理性別是決策的重要依據，而如今能夠從購物屬性上變成「早男晚女」，這種改變並不違背運營數據的原則。

 

大數據，將來商業的利器

今天，咱們正處於決策成本產生鉅變的爆發點，過去沒法獲取的數據現在唾手可得，而當有些表面上絕不相關的數據關聯起來時竟然產生了新的商業價值。更重要的是，過去咱們更多地是帶着問題去尋找可以驗證本身觀點的數據，現在咱們卻能夠用數據去預測將來可能出現的問題。海量數據令人的智慧獲得更大的發揮，並變得更加規模化。

假定數據是髒的。美國一家公司專一於與地理位置相關的數據收集、整理和查詢服務，它對於所收集來的數據會提供質量評分以反映數據的可信度，並且會對數據處理的每一個階段所用的算法進行評分以反映質量水平。這是大數據時代很是重要的一個趨勢。

學會淡化數據。數據是有優先級的，有些是特別核心，而有些是缺失了也可有可無的，咱們要學會認真盤點那些最有價值的數據。

數據的標籤化管理。數據的標籤屬性是人類經驗判斷的依據，是數據後的數據。這是個很是重要的趨勢，在運營數據時，應該找出一些屬性進行歸類，而後慢慢考慮如何提煉，這對於將來很是重要。

數據與數據的鏈接。大數據最重要的是數據與數據之間的關係，而不是數據自己。這就是知識圖譜。