大數據時代統計學面臨的機遇與挑戰

（2016-10-15 銀河統計）

大數據時代的到來，
使我回想起上個世紀80年代大學時期很是流行的一本書：

• 《第三次浪潮》（The Third Wave）

美國著名將來學家阿爾溫.托夫勒(Alvin Toffler)的表明做之一。闡述了由科學技術發展所引發的社會各方面的變化與趨勢。1980年3月出版後，在美國文化思想界中特別引人注目。做者認爲，人類社會正進入一個嶄新的時期。這個事情名曰「第三次浪潮文明」。

人類迄今已經歷了兩次文明浪潮：

第一次是「農業革命」，即人類從原始野蠻的漁獵時代進入以農業爲基礎的社會，歷時幾千年；

第二次是「工業革命」，歷時300年。它摧毀了古老的文明社會，工業革命在第二次世界大戰後10年達到頂峯。在第二次浪潮時期，以使用不能再生產的石化燃料做爲能源基礎，技術日新月異，出現大規模的銷售系統，家庭再也不是共同勞動的經濟單位；

第三次浪潮時期，以電子工業、宇航工業、海洋工業、遺傳工程組成工業羣。社會進步再也不以技術和物質生活標準來衡量，而以豐富多彩的文化來衡量。這個時代，鼓勵我的人性發展，但不是創造某個理想的超人，而是培養一種新的社會性格。在第三次浪潮條件下發展新的民主，唾棄謬誤和嚇人的觀念。「第三次浪潮文明」，是對將來社會設計的一種藍圖，其立足點是現代科技的發展，所闡述的內容反映了當代西方社會思潮的一些重要觀點。

托夫勒(Alvin Toffler)在書中預見的將來是：跨國企業將盛行；電腦發明使SOHO（在家工做, Small Office， Home Office）成爲可能；人們將擺脫朝九晚五工做的桎梏；核心家庭的瓦解；DIY（本身動手作）運動的興起……時過境遷，現在咱們才發現托夫勒的預言竟大多已成爲了現實。

《第三次浪潮》是1980年的一本暢銷全球的圖書，做者托夫勒。

該書將人類社會劃分爲三個階段：

第一階段爲農業階段，從約1萬年前開始；
第二階段爲工業階段，從17世紀末開始；
第三階段爲信息化（或者服務業）階段，從20世紀50年代後期開始。

托夫勒也許並無給咱們帶來直接財富，但他給了人們一個夢想，多年之後，當年閱讀托夫勒的年輕人已成爲中國經濟建設的中流砥柱，托夫勒的思想或多或少仍在指引着他們「創造將來」。

《第三次浪潮》一書持續熱銷二十年，被翻譯成三十餘種語言，全球發行上千萬冊。

「思想震撼至今不絕」。托夫勒的視角如此犀利獨特，無人可及……他的著做就是一個解讀人類如今和將來的永恆路標。

• 《大數據時代》

在「第三次浪潮」席捲全球三十年後，互聯網技術的飛速進步和普及，人類社會進入信息「爆炸」時期，從而催生大數據技術，大數據時代已經到來。

《大數據時代》（Big Data:A Revolution That Will Transform How We Live, Work, and Think）是國外大數據研究的先河之做，本書做者維克托·邁爾·舍恩伯格被譽爲「大數據商業應用第一人」，有在牛津大學、哈佛大學、耶魯大學、新加坡國立大學等多個互聯網研究重鎮任教的經歷，早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。他是十餘年潛心研究數據科學的技術權威，是最先洞見大數據時代發展趨勢的數據科學家之一，也是最受人尊敬的權威發言人之一。他的學術成果斐然，有一百多篇論文公開發表在《科學》《天然》等著名學術期刊上。

維克托·邁爾·舍恩伯格在書中前瞻性地指出，大數據帶來的信息風暴正在變革咱們的生活、工做和思惟，大數據開啓了一次重大的時代轉型，並用三個部分講述了大數據時代的思惟變革、商業變革和管理變革。

維克托最具洞見之處在於，他明確指出，大數據時代最大的轉變就是，放棄對因果關係的渴求，而取而代之關注相關關係。也就是說只要知道「是什麼」，而不須要知道「爲何」。這就顛覆了千百年來人類的思惟慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。

本書認爲大數據的核心就是預測。大數據將爲人類的生活創造史無前例的可量化的維度。大數據已經成爲了新發明和新服務的源泉，而更多的改變正蓄勢待發。書中展現了谷歌、微軟、亞馬遜、IBM、蘋果、facebook、twitter、VISA等大數據先鋒們最具價值的應用案例。

《大數據時代》目錄

引言： 正在發生的生活、工做與思惟的大變革

第一部分 大數據時代的思惟變革
第1章 更多：不是隨機樣本，而是全部數據
第2章 更雜：不是精確性，而是混雜性
第3章 更好：不是因果關係，而是相關關係

第二部分 大數據時代的商業變革
第4章 數據化：一切皆可「量化」
第5章 價值：「取之不盡，用之不竭」的數據創新
第6章 角色定位： 數據、技術與思惟的三足鼎立

第三部分 大數據時代的管理變革
第7章 風險：讓數據主宰一切的隱憂
第8章 掌控：自由與責任並舉的數據管理
結語 已經發生的將來

《促進大數據發展行動綱要》

2015年8月31日，國務院以國發〔2015〕50 號印發《促進大數據發展行動綱要》。《綱要》指出，目前我國在大數據發展和應用方面已具有必定基礎，擁有巨大市場優點和發展潛力。《綱要》明確提出5—10年大數據發展規劃整體目標，制定了加快政府數據開放共享，推進資源整合等主要任務。

爲貫徹落實黨中央、國務院決策部署，全面推動我國大數據發展和應用，不少地方政府部門大數據建設規劃紛紛出臺，人民大學、復旦大學等大學也陸續開設《數據挖掘》、《R語言》等和大數據處理密切相關的課程，並開辦數據分析、數據挖掘培訓班、頒發證書以知足社會需求。

• 機遇與挑戰

統計學(Statistics)是經過搜索、整理、分析、描述數據等手段，以達到推斷所測對象的本質，甚至預測對象將來的一門綜合性科學。其中用到了大量的數學及其它學科的專業知識，它的使用範圍幾乎覆蓋了社會科學和天然科學的各個領域。統計學從事各種科學研究工做所必須掌握的知識，是人們認識未知世界的有效工具。隨着計算機技術的迅猛發展和普及，大量數據的處理技術變得很容易實現，這就使得不少統計方法在現實中的應用也變爲可能。目前，統計學技術方法日益滲透到數據挖掘、計算機技術以及社會經濟各專業研究領域。

在網絡信息化時代，凡是人們用某種載體記錄下來的、能反映天然界和人類社會某種信息的，就可稱之爲數據。步入大數據時代，信息的種類和數量愈來愈豐富，載體也愈來愈多。數字是數據，文字是數據，圖像、音頻、視頻等都是數據，數據的含義已經大大超出傳統範疇，數據處理理論、方法、手段突飛猛進。

目前，大數據被普遍應用於醫療、通訊、互聯網企業、能源、市場營銷、金融及社交娛樂等領域。隨着大數據應用愈來愈普遍，對數據分析人才的需求也會與日俱增！

統計專業畢業不意味着你就是市場所須要的數據分析人才。實踐工做中的統計工做者或數據分析師指的是不一樣行業中，專門從事行業數據蒐集、整理、分析，並依據數據作出行業研究、評估和預測的專業人員。與傳統的數據分析相比，互聯網時代的數據分析面臨的不是數據匱乏，而是數據過剩。所以，互聯網時代的數據分析師必須學會藉助技術手段（計算機）進行高效的數據處理。

「統計學方法+計算機軟件+實踐經驗=數據分析」

這是一個用數聽說話的時代，也是一個依靠數據競爭的時代。目前世界500強企業中，有90%以上都創建了數據分析部門。IBM、微軟、Google等知名公司都積極投資數據業務，創建數據部門，培養數據分析團隊。各國政府和愈來愈多的企業意識到數據和信息已經成爲企業的智力資產和資源，數據的分析和處理能力正在成爲日益倚重的技術手段。

「得數據者得天下！」

近年來在我國和大數據產業密切相關的網絡通信基礎建設飛速發展，國內涌現出百度、阿里、騰訊等帶有鮮明大數據特點的大型數據公司。金融、商業、生物、地理信息、天氣預報大數據服務平臺紛紛出現，微信、QQ、百度雲、阿里雲、地圖導航、微博、博客、郵箱等大數據時代所催生的軟硬件產品使人迎接不暇。信息傳遞、數據交換和存儲已經如此容易！各個生產和科學領域都在大量地產生和收集數據，天然科學領域收集着從宏觀的天文數據到微觀的基因數據，經濟、金融和人文社會科學收集着大量的觀察和調查數據。隨着計算機互聯網、搜索引擎、電子商務、多種傳感器和多媒體技術的發展和普遍使用，各類形式的數據如江河流水般地涌來。

一樣的模型、一樣的數據處理方法在大樣本面前必須藉助於各類工具和軟件進行處理。懂理論不懂編程、懂編程不懂方法，教師和學生動手能力差、數據處理技術水平低，課堂教學內容和社會需求漸行漸遠，在大數據時代來臨之際，幾乎全部國內大學都面臨嚴峻挑戰。以筆者所在學校統計專業爲例，學生來源爲理工科考生，數學功底較好，在校通過一系列高等數學和統計專業課學習，瞭解、掌握了許多建模和數據處理方法，但實用工具類軟件課程幾乎沒有，學生數據處理能力極差，不要說處理大數據，就連最基本的系列辦公軟件OFFICE（WORD、POWERPOINT、EXCEL）都用很差。毫無疑問，大數據時代統計學依然是數據分析的靈魂，但只會統計學方法不懂工具和編程的學生很難發揮專業特長，學生「高分低能」、「眼高手低」這種現象亟待改變。

過去十幾年社會經濟和技術發生了翻天覆地的變化，大學的教學方式又改變了多少？咱們培養出的學生的技能和社會實際需求的差距在不斷拉大。不少企業早已經行動起來，政府也已經動員起來，大學的教學和科研思路也該調整了。哈商大面臨這樣的問題，北大、人大等衆多國內名校亦是如此。大學的辦學目標在很大程度上是培養社會須要的複合型實用型人才，「輕學歷、重能力」愈來愈成爲現實社會的用人標準。

在咱們這個社會中，有「文祕」、有「生活祕書」，還有相似的「領導助理」工做，目前爲止這都是些使人羨慕的、有前途的工做。大數據時代催生「數據祕書」，其不一樣之處在於：

工做（服務）對象不一樣
工做環境、範圍不一樣
要求的技能不一樣

合格的「數據祕書」必須具有處理這些複雜數據的技能。具體來講涉及如下幾個方面：

辦公自動化（Microsoft Office，Word、PowerPoint 、Excel）；
信息傳遞和數據交換（微信、QQ、郵箱、視頻聊天和電話等、數據交換格式）；
打字、複印、電傳等辦公設備
數據展現（微信、博客、網頁、統計圖表和公式）；
數據收集（網絡、網頁數據抓取、Python）；
數據處理（Office、R語言、VBA等軟件）；
數據存儲（數據庫、數據倉庫、百度雲）

在大數據時代，統計學待處理的數據類型、質量和數量產生根本變化，統計學方法和手段亟待更新和擴展。網絡統計學(Network Statistics) 是一門新興的、拓展了的統計學，是在計算機網絡和相關軟件支持下收集、整理、儲存、傳遞、顯示、分析和解釋數據，從而反映和揭示天然、社會現象數量特徵和數量規律的方法論科學。在分析手段和技術方法上，既重視和繼承傳統的統計分析方法，更突出現代計算機網絡條件下的不一樣分析手段和技術。隨着網絡技術的發展和大數據時代的到來，構建網絡統計學的技術條件和時機已經成熟，網絡統計學必將迎來新的發展機遇。