數據挖掘與商業智慧：華通二十年專題----臺灣輔仁大學謝邦昌教授訪談（轉載）

 轉自：http://www.emarketing.net.cn/magazine/adetail.jsp?aid=2247

        從醫療到氣象，再到金融，在謝邦昌看來，數據挖掘對於各個行業的重要性不言而喻，從數據挖掘衍生出的客戶關係管理、風險分析等手法更是超乎想象。大數據時代，軟硬件技術與統計方法上已經不存在障礙，關鍵是要解決什麼問題。以雲端爲例，若是說它是數據挖掘的筋斗雲，那麼駕馭這座雲的即是商務智能。其實所謂的商務智能並沒有玄機，它只不過是紮紮實實地在行業知識基礎上進行的以解決問題爲導向的數據整理與分析。人工智能縮短學習的過程，可是離不開人類智慧；數據挖掘依靠統計技術，但又遠遠超出統計的範疇。數據挖掘的最終目標是實現Data Value（數據價值），在這個過程當中，嚴謹的數據整合，準確的問題與目標識別，深刻的行業認知，缺一不可。 做爲華通公司的首席統計顧問及人民大學等高校的客座教授 ，謝教授每月都要從臺灣來到大陸，源源不斷地將學術界的技術和人才輸入企業端。幫助企業成長的同時，他也實踐着本身學以至用的理念，傳播着學術分享的精神。

        Data Mining一直很重要：矗立在行業知識上的商務智能解決方案

       早在學生時代，謝教授就將統計知識與實踐密切結合。在協助醫院、企業處理數據的過程當中他發現，「數據分析纔是統計的真諦」，因而，在數據分析的道路上，他走得愈來愈遠。1995年左右，剛剛開始接觸數據挖掘，2001年就在臺灣成立了中華資料採礦協會（繁體中文受微軟影響將Data Mining譯爲資料採礦），正式從事數據挖掘工做。 謝教授舉了一個臺灣大哥大的案例。大哥大在接到客服電話後，會在幾秒鐘以內經過配套程序分析數據，識別出客戶的級別。若是是VIP投訴，那麼這條線立刻會從接線員轉到他的上級主管，針對客戶的意見，上級有權利提出免費更換手機的補償服務。大哥大的客戶忠誠度正是由於這樣一個基於統計或者說數據挖掘的客戶關係管理流程而獲得了有效的保障，這讓謝教授對數據挖掘的重要性留下了深入印象。 至於操做上如何實現數據挖掘，他認爲首先仍是要用到統計的抽樣方法，以便迅速瞭解數據的Pattern（模式）。「這就像開發油礦同樣，必定得先抽幾個口，看看這裏的油氣值不值得開採。」接下來很重要的一點就是對資料感受，要找到這種感受，就要深刻探尋資料之間的結構與關聯性。在瞭解資料特性的過程當中，Business Understanding（行業理解）和Data Understanding（數據理解）是關鍵，由於數據挖掘所面對的行業十分多變，「今天是醫藥、明天是汽車、金融。若是沒有行業知識作基礎，頗有可能挖到了寶玉，還覺得是一塊石頭。」 學習和應用行業知識的過程，甚至整個數據挖掘過程，其實就是智慧的造成和累積。「智慧，也就是所謂的商務智能。」過去的市場研究大多隻能挖掘到當下的現象跟意識，卻告訴不了人們將來的狀況，這也是致使客戶滿意度下降的一個主要緣由，「就好像調查了半天，最後得出結論：煤球是黑的。」可是大互聯網時代不一樣了，它的發展可能在短短一個月內就顛覆傳統模式，若是市場研究永遠只能告訴客戶這個是什麼，或者過去什麼，都是沒有用的。只有利用商務智能，或MI（Market Insight，市場洞察），去挖掘根本性的東西，把握趨勢，把握將來，纔是對於客戶來講最有價值的。 「數據挖掘就像衛星導航，技術雖然簡單，可是能夠經過測試駕駛情況進行危機預警，這就是所謂的智慧腦。未來，Data Mining一個很重要的做用就是協助產生人工智能。」人們學習所需的時間將會愈來愈短，當短到必定程度時，人工智能也就造成了。「因此如今人們常常講的Data Mining的其餘形式，好比Machine Learning（機器學習）或Statistic Learning（統計學習），這些技術方面的進展將會愈來愈快。」 在大數據時代，技術已經不成問題。一方面，因爲有了快速雲端的大量扶持，數據挖掘的應用範圍也越發普遍，挖掘的對象不止是數字，還包括了聲音、圖片等全部媒體形式，所以也有人將它稱做Media Mining。另外一方面，隨着數據變更速度加快，相應的統計思路也有所轉變。以往的統計理論探討的是如何追求完美的無偏、最小變異等等，「如今不須要精細到這種程度，只要看到一個趨勢，知道個大概的情形就能夠。偏差甚至不須要在可控制的範圍，更不須要去推導一個理想的境界。由於數據時刻在變，好比人們的網購行爲，天天每一個時段都會產生大量不一樣的數據，將來更會如此。」謝教授說，他如今正在教學生用Excel做數據挖掘，本來不少人都不知道Excel也能夠拿來作統計。「其實用什麼樣的統計軟件和技術愈來愈不重要了，關鍵仍是怎麼去用。」 不管如何，有一點是不能否認的，那就是數據挖掘的前景將超乎想象。技術方面，與文本挖掘的配合已經造就了許多成功案例，從期貨分析到售後統計，在電信、銀行、保險等各個行業都亟待推廣。應用方面，臺灣房地產的有關部門已經實現房屋的三維模擬，而且將氣象資料和工程資料結合起來告訴買主，這間房子的噪音是多少分貝，光照程度如何。另外臺灣也有私人氣象公司，能夠將預測細化到小區層面，這實際上也是經過對氣象局的資料進行數據挖掘後實現的。「全部這些基於數據挖掘的預測預警，不管針對的是地質災害仍是金融危機，整合起來就會造成一個風險預測體系，若是再將這個經驗擴展到全球範圍，風險管理也就呼之欲出了。

        爲企業輸血：搭建技術平臺，培養人才團隊

       1996年開始，謝教授就已經在幫助大陸的高校和企業創建研究中心。最初在人大創建了CATI實驗室，實驗室成立後的第一件事情就是爲教育部調查大學生對於校內設施的滿意度，CATI的高效性和便捷性使得校方的工做績效有了極大的提高。此後，他又陸續在廈大、中財、南開、首經貿等學校成立了數據挖掘中心。廈大的數據挖掘中心發展到今天已經成爲學校訂式的一級單位。 1998年，華通的高總一行人到臺灣參觀了謝教授開拓的華人地區首套CATI，深受震撼。後來，高總臨時有事要離開，謝教授親自送他。本來覺得緣分就到機場爲止，高總一路上卻始終如有所思，直到上飛機前，他對謝教授說：「假設華通要創建CATI，大家能不能幫忙？」謝教授立即回答到：「沒問題，一句話。」後來，謝教授無償幫助華通建起了10條線的CATI。「等因而看着他們慢慢成長，愈來愈好，鼎盛期的CATI作了800多條，」謝教授說，「800多條，都不敢想象！在臺灣作五六十條線就OK了，由於咱們的量就是這樣。中國大陸實在是發展太快了！」後來，雙方又在數據挖掘的基礎上合做了網民數據挖掘項目、城市消費力模型、中小企業發展指數、能源預測預警系統等課題，華通的數據分析在此基礎上提高了一個臺階，數據挖掘的服務領域也更加普遍。 在謝教授幫助進行數據挖掘的企業應用中，康師傅的冰糖悉尼成爲你們津津樂道的案例。今年年初，統一推出冰糖悉尼飲品後，康師傅也跟着作了一樣的嘗試，雖然口味測試的效果通常，可是產品卻大賣，因而就請來謝教授分析其中緣由。謝教授看了康師傅蒐集的全國一千多家零售商店所販賣的飲料品種及其成分、價格，用Data Mining的方法立刻得出了冰糖跟悉尼的高度相關性，答案天然就出來了，原來民間早有這樣的組合，這不是一個品牌的創舉，而是老祖宗留下的傳統。康師傅負責飲料市場的專家一看，深受啓發。另外，在擔任顧問期間，他還幫助康師傅作了城市區割的規劃，把全國7000多個小城市(鎮)的區域結構、顧客消費行爲、飲料市場行情，包括更重要的方圓20千米內的水供應這一系列資料收集起來，與產品口味測試、廣告測試，以及調研數據等宏觀資料整合在一塊兒，再作Data Mining，尋找究竟是什麼人消費了什麼樣的產品，以提供決策支持。 謝教授認爲，與企業之間分享新的知識和技術是一件頗有樂趣也有價值的事。「對我而言其實很簡單，本身的東西有人用，說明有人欣賞你，這就是好事。」實際上，這也是他的學術理念。不管是對本身仍是對學生，他的要求都是要可以學以至用，而不單純是躲在學校裏面埋頭鑽研。目前，謝教授在大陸有將近10個博士生。他說，「但願本身培養出來的學生可以對企業有用，可以獨當一面，這樣最實在」。如今一些大公司的經理或總監早前都是他的學生，學生們留在高校任教的反而愈來愈少，大都去了業界、銀行這些對數據挖掘頗有現實需求的部門。 謝教授一直在強調團隊的概念，他但願學生之間以團隊的立場相互交流、相互幫助。所謂「師傅引進門，修行在我的」，許多問題他都鼓勵學生本身去尋求解決辦法，但這並不意味着老師能夠放手無論。在臺灣的時候，每一個禮拜6、禮拜天，他都跟大陸的研究生們上網交流，除了探討研究方面的問題以外，更重要的是分享新鮮資訊。正說着，他興致勃勃地從包裏掏出一份飛機上的報紙，上面刊登了一篇題爲消費基因的文章，涉及到數據挖掘的最新應用。他說本身喜歡不斷去發現和收集一些新的東西，而且分享給學生，督促你們積極地參與討論。 在他看來，大陸的學生很用功，臺灣學生的特色則是創新，做爲老師，不能以一個單一的標準去衡量學生，而是應該引導學生，將各自的優勢融合起來。因此，他常常讓兩岸學生互相來往，交流經驗，企業對此也給予了支持。他們以爲，不管是在客戶端，仍是像華通這樣的服務公司，最根本就是人才。謝教授在學校創建數據挖掘中心也好，帶博士生和碩士生也好，兩岸交流也好，其實都是在爲這個行業輸血。包括華通本身的數據挖掘小組也常常請謝教授來授課，努力將知識跟實戰結合起來。 他同時也堅持本身的學術立場，認爲學校是一個最好的研究場所，尤爲在臺灣，學者有很大的開放空間去作研發，與業界、政府界的聯繫也十分密切，常常有機會接觸到一些最新的東西，產生出新的點子。「我常常會想爲何不這樣作，爲何不那樣作？想到這裏東西也就出來了，CATI當初就是這麼來的。之前我跟臺灣行政體系，相似於國家統計局，咱們之間很熟，我常到那裏去看他們作的調查，有了一些想法以後，再聯繫到臺灣愈來愈高的電話普及率，而後就決定把CATI作出來。」

       促進兩岸交流：放開傳統觀念，創建數據挖掘意識

      謝教授說，臺灣的數據挖掘之因此發展較快，受到歐美地區的影響是有的，應用上的迫切性也有，另外還有一點，臺灣在數據方面的開放程度很高。他一直鼓勵兩岸三地的交流與合做，不管是學術交流仍是學界與企業之間的分享。他說，中國有一句話叫作「魚幫水，水幫魚」，「學術界也不用從商業的角度來看待這件事情。就像我幫了企業，以後我在中國人民大學每辦一次研討會，都獲得了企業的支持。」他也時常推薦臺灣的廠商、企業，甚至外貿協會與華通合做。每當外界對於中國大陸統計數值的質量有所懷疑時，他都會說：「別人你不相信不要緊，若是你真的要作，就找華通。」與20年前剛到大陸時相比，謝教授感受到大陸的環境已經明顯改善。 不過，目前市場研究方面仍然有待改進。以人才的問題爲例，市場研究給人的感受老是要比諮詢低一個層次，人才的輸入也所以受到阻礙。針對這一點，謝教授說，關鍵是要從觀念上真正理解數據價值。好比大陸的CATI從10條變成800條線，就意味着已經轉變爲傳統產業，「一個大學畢業生只要10條電話線就能夠作市場調研了，你們都會了，因此纔有所謂的低一層次的說法，好像市場研究變成一個很廉價的資料蒐集。但實際上並非這樣。」市場研究與傳統的資料蒐集最大的不一樣之處就在於數據價值，也就是說，可以從數據庫，從資料上獲得價值纔是最重要的。「若是市場調查公司都能搭建起這樣的價值體系，能夠幫助客戶深刻挖掘資料信息，那麼層級天然就高一等了，假設只是搜尋數據，那麼利潤會愈來愈低，愈來愈薄，市場隨時能夠把你關掉。」雖然說這十幾年左右，大陸發展了許多新的調查技術，包括新建的CATI也不少，可是蒐集的數據良莠不齊。並且，蒐集到數據以後，如何整理的宏觀數據庫，產業、企業數據庫，以及調研所得的數據，又是對於將來發展相當重要的問題。 就像Data Mining的問題不是技術問題，中國大陸的根本問題也不在於硬件方面，而是在於管理理念和商業模式。臺灣從製造業發展到服務業爲主，從傳統的低附加值走向高附加值，一開始是受歐美經濟戰略的影響，後來的變化更多的是體如今人的素質和管理層面上。以服務業爲例，華通人去臺灣時專門去了臺北一零一大樓的「景泰豐」，回到北京後又對比了以服務着稱的「海底撈」，「海底撈用的是從農村裏來的孩子，景泰豐用的是大學教出來的，這就有差別了。」如今的領導層再去臺灣，不只僅是去學技術，更多的是學管理，學意識。「實實在在的差距，不是可以經過隨機應變來解決的，只有等到意識和管理都達到那種高度的時候，這種差距才能消除。」 比起傳統的市場調查，大陸的Data Mining尚處於探索階段，沒有徹底實現接到項目需求，當即執行，繼而完成報告的流水線模式。這裏的問題包括客戶是否放心把數據放給服務公司來作分析，以及得出的最終結果是否真正能知足客戶的要求等等。「大陸的增加空間仍是很大的，好比電話普及率，如今的家庭固定電話早已普及，手機也不止人手一臺了。」謝教授下一步的計劃就是幫助大陸企業，創建起數據挖掘意識。「經過與企業合做，整合雲端技術，尋求真正的數據價值，再去與企業分享，但願可以在大陸的數據挖掘以及商務智能的發展方面起到一些做用。」

採訪/撰文：張翕/蔡融融/劉向清

原話錄音整理：摩瑞市場研究公司

2012-11-12 16:28:27