大數據分析和人工智能科普

時間 2019-11-07

標籤大數據分析人工智能科普欄目大數據简体版

原文原文鏈接

目錄python

1、大數據

1.1 大數據（Big Data）

衆說紛紜！算法

我的認爲，大數據中的「大」，不只僅是涉及數據規模，並且包含「價值「這個層面。其實無非就是大量的信息罷了，可是咱們卻能經過各類手段從這些信息中提取出咱們所須要的東西。編程

2、數據分析、數據挖掘和推薦系統

2.1 數據分析（Data Analysis）

啤酒和尿布這個故事在歐美國家也被傳唱，出現的版本還不盡相同。但對此質疑的聲音也很多，其中有一位叫Daniel J. Power的教授特此撰文，應該是最全面地有理有據揭開這個故過後面的真相。有興趣的人能夠詳細閱讀英文全文：What is the "true story" about using data mining to identify a relation between sales of beer and diapers? 主旨內容以下：網絡

這家連鎖店不是沃爾瑪，而是Osco Drugs，一家主要在美國中西部經營的藥房和便利店。該公司於1992年就着手進行數據分析項目，算是數據分析的先驅者。當時的項目收集了來自25家分店、一千兩百多萬個購物車的信息。機器學習

數據的確發現：下午5點到7點之間，客戶購買了啤酒和尿片。便利店管理層的確對此發現表示興趣。但現實中，並無從新設計商品的擺放，沒有把啤酒和尿布進行捆綁銷售。不過，公司保守地對銷售流程進行了改造，即在正確的時間放正確數量的正確商品。編程語言

這就是啤酒和尿片的故事真相，因此，這其實並非數據分析的好故事。你們對此故事津津樂道，無外乎但願表達：數據分析技術是商業決策的好幫手。分佈式

數據分析：就是對數據進行分析，得出一些結論性的內容，用於決策。分析什麼哪？根據分析現狀、分析緣由、預測將來。分析現狀和分析緣由，須要結合業務才能解釋清楚。用的技術比較簡單，最簡單的數據分析工具就是 Excel 和 Python 了。預測將來指的是分析將來一段時間的銷售額之類的。在預測將來方面，通常用到數據挖掘的技術了。數據分析更多的是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和造成結論而對數據加以詳細研究和歸納總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們做出判斷，以便採起適當行動。ide

數據分析是以輸入的數據爲基礎，經過先驗的約束，對數據進行處理，可是不須要對結果作處理，獲得任何結果都行。例如你須要圖像識別，這個屬於數據分析，你要分析人臉，而數據經過你的先驗的方法，就是出來個貓臉。你的數據分析也沒有問題，你須要的就是默默的承受結果，而且尊重事實。所以數據分析的重點在於數據的有效性、真實性和先驗約束的正確性。函數

簡而言之：數據分析是對數據的一種操做手段。或者算法。目標是針對先驗的約束，對數據進行整理、篩選、加工，由此獲得信息。如一份用戶信息表中，某個用戶的年齡超過了200歲，這種數據明顯就是用戶惡搞的數據，咱們通常使用數據分析的手段把這種髒數據剔除掉，而咱們不須要關心處理後的數據是什麼樣子的，這就是數據分析中的一種數據預處理手段。工具

2.2 數據挖掘（Data Mining）

數據挖掘：從字面意思上看，是從數據中挖掘出有價值的信息。好比，超市經過對一段時間的客戶消費記錄能發現，哪些物品常常被顧客一塊兒購買。那麼，就能夠把這些物品擺放的位置近一些，或者一塊兒促銷。在這裏，客戶的消費記錄是「數據」，「挖掘」出的信息是哪些商品常常被一塊兒購買。「價值」指的是超市能夠據此搞促銷，提升超市的銷售額。挖掘出這些有價值信息的方法就是課程中須要學習的。數據挖掘關注的是一些方法如何在商業中應用，並非純粹的理論和學術。數據挖掘涉及到不少的算法，源於機器學習的神經網絡，決策樹，也有基於統計學習理論的支持向量機，分類迴歸樹，和關聯分析的諸多算法，值得慶幸的是 Python 中的 Scikit-learn庫中提供了以上全部的算法。數據挖掘的定義是從海量數據中找到有意義的模式或知識。

較於數據分析的簡單分析，數據挖掘則不一樣，數據挖掘是對信息的價值化的獲取。價值化天然不考慮數據自己，而是考慮數據是否有價值。由此，一批數據，你嘗試對它作不一樣的價值挖掘。評估，則就是數據挖掘。此時對比數據分析，最大的特色就是，你須要調整你的不一樣的先驗約束，再次對數據進行分析。而先驗的約束已經不是針對數據來源自身的特色，例如信噪比處理算法。而是你指望獲得的一個有價值的內容，作先驗的約束。以觀測，數據根據這個約束，是否有正確的反饋。也就是說，數據挖掘相比較數據分析看重的更是結果，而不看重過程。

舉個例子說明數據分析和數據挖掘：你揣着50元去菜市場買菜，對於琳琅滿目的雞鴨魚豬肉以及各種蔬菜，想葷素搭配，你逐一詢問價格，不斷進行統計分析，能各自買到多少肉，多少菜，大概能吃多久，內心得出一組信息，這就是數據分析；而關係到你作出選擇的時候就須要對這些信息進行價值評估，根據本身的偏好，養分價值，科學的搭配，用餐時間計劃，最有性價比的組合等等，對這些信息進行價值化分析，最終肯定一個購買方案，這就是數據挖掘。須要注意的是：雖然在此作了這樣的比較，可是數據分析的數據量通常遠遠小於數據挖掘。

2.3 推薦系統（Recommended System）——數據挖掘的應用之一

推薦系統：首先，須要申明一點的就是推薦系統!=推薦算法。推薦系統是一套完善的推薦機制，包括前期數據的準備、具體推薦的過程(這個過程多是一套複雜的算法模型，也多是一個簡單的規則，也多是多種模型的混合結果等等)、後期數據的預測、AB測試效果評估等等。

推薦系統在算法模型上大致能夠分爲基於內容的推薦、基於協同過濾的推薦，以下圖所示：

基於內容推薦：即經過內容自己的屬性，而後計算內容的類似性，找到與某物品屬性類似的物品。
基於協同過濾推薦：所謂協同過濾，即不依賴於物品自己的物品屬性，而是經過其餘相關特徵，例如人蔘與的行爲數據，來達到推薦物品的目的。關於協同過濾，又分爲如下幾個類別：
- 基於模型的協同，即ModelCF，其中基於模型的協同又能夠分爲如下幾種類型；
  - 基於圖模型協同，即Graph，也叫社會網絡圖模型；
  - 基於矩陣分解的協同過濾，即Latent Factor Model(SVD)；
  - 基於距離的協同過濾；
- 基於用於的協同，即UserCF；
- 基於物品的協同，即ItemCF；

上述講了那麼多，早期的推薦系統算法一直想解決的是超市中的長尾效應（馬太效應）。

所謂長尾效應，在推薦系統中的體現即，部分優質物品，購買的人數較多，即與其相關的的用戶行爲軌跡會較多。這樣，在協同過濾推薦中，因爲咱們主要的依據就是咱們的歷史行爲行爲數據，因此這種物品獲得推薦的機會就越多。這樣，不斷循環迭代，獲得推薦的物品都集中在少數的一些物品中，而大部分物品是沒有被推薦的機會的。這就形成了形成長尾現象。

而馬太效應的意思是，通俗點說就是，強者愈強，弱者愈弱。而長尾的直接體現就是馬太效應。一般來說(固然也有特殊狀況)，一個推薦系統，若是長時間處於長尾之中，就會形成推薦疲勞，推薦的效果就會降低。因此，不少時候，挖掘長尾是推薦系統不可缺乏的部分。即，咱們須要把尾巴部分而且是有價值的部分給適當的展現出來。挖掘長尾的方法不少，其中一種常見的方式就是給熱點物品適當的降權。好比物品，咱們爲熱點物品進行權重降低，這樣在最終推薦的結果中，非熱點物品獲得推薦的機會就增大，從而適當的挖掘了長尾。

3、人工智能、機器學習、神經網絡和深度學習

有人說，人工智能（AI）是將來，人工智能是科幻，人工智能也是咱們平常生活中的一部分。這些評價能夠說都是正確的，就看你指的是哪種人工智能。

今年早些時候，Google DeepMind的AlphaGo戰勝了韓國的圍棋大師李世乭九段。在媒體描述DeepMind勝利的時候，將人工智能（AI）、機器學習（machine learning）、神經網絡（neural network）和深度學習（deep learning）都用上了。這三者在AlphaGo擊敗李世乭的過程當中都起了做用，但它們說的並非一回事。

今天咱們就用最簡單的方法——同心圓，可視化地展示出它們三者的關係和應用。

如上圖，人工智能是最先出現的，也是最大、最外側的同心圓；其次是機器學習，稍晚一點；最內側，是深度學習，當今人工智能大爆炸的核心驅動。

五十年代，人工智能曾一度被極爲看好。以後，人工智能的一些較小的子集發展了起來。先是機器學習，而後是深度學習。深度學習又是機器學習的子集。深度學習形成了史無前例的巨大的影響。

3.1 從概念的提出到走向繁榮

1956年，幾個計算機科學家相聚在達特茅斯會議（Dartmouth Conferences），提出了「人工智能」的概念。其後，人工智能就一直縈繞於人們的腦海之中，並在科研實驗室中慢慢孵化。以後的幾十年，人工智能一直在兩極反轉，或被稱做人類文明耀眼將來的預言；或者被當成技術瘋子的狂想扔到垃圾堆裏。坦白說，直到2012年以前，這兩種聲音還在同時存在。

過去幾年，尤爲是2015年以來，人工智能開始大爆發。很大一部分是因爲GPU的普遍應用，使得並行計算變得更快、更便宜、更有效。固然，無限拓展的存儲能力和驟然爆發的數據洪流（大數據）的組合拳，也使得圖像數據、文本數據、交易數據、映射數據全面海量爆發。

讓咱們慢慢梳理一下計算機科學家們是如何將人工智能從最先的一點點苗頭，發展到可以支撐那些天天被數億用戶使用的應用的。

3.2 人工智能（Artificial Intelligence）——爲機器賦予人的智能

人工智能：縮寫是 AI，就是像人同樣的智能、會思考。人工智能更適合理解爲一個產業，泛指產生更加智能的軟件和硬件。人工智能實現的方法就是機器學習，因此談人工智能技術，實際上就是機器學習的各類算法的應用。各類智能家居、智能機器人都是人工智能產業的方向。

早在1956年夏天那次會議，人工智能的先驅們就夢想着用當時剛剛出現的計算機來構造複雜的、擁有與人類智慧一樣本質特性的機器。這就是咱們如今所說的「強人工智能」（General AI）。這個無所不能的機器，它有着咱們全部的感知（甚至比人更多），咱們全部的理性，能夠像咱們同樣思考。

人們在電影裏也老是看到這樣的機器：友好的，像星球大戰中的C-3PO；邪惡的，如終結者。強人工智能如今還只存在於電影和科幻小說中，緣由不難理解，咱們還無法實現它們，至少目前還不行。

咱們目前能實現的，通常被稱爲「弱人工智能」（Narrow AI）。弱人工智能是可以與人同樣，甚至比人更好地執行特定任務的技術。例如，Pinterest上的圖像分類；或者Facebook的人臉識別。

這些是弱人工智能在實踐中的例子。這些技術實現的是人類智能的一些具體的局部。但它們是如何實現的？這種智能是從何而來？這就帶咱們來到同心圓的裏面一層，機器學習。

3.3 機器學習（Machine Learning）—— 一種實現人工智能的方法

機器學習：是研究如何讓計算機去學習。學習什麼哪？根據一些過去的事實，學習如何適應新的環境。過小白了，嚴肅點！機器學習，是研究算法的學科，研究的是如何讓計算機根據以往的經驗去適應新的環境。這裏「以往的經驗」指的是歷史數據，「適應」指的是經過歷史數據創造一個很牛逼的函數，「新的環境」指的是把新的數據輸入到這個函數中，產生一個新的輸出。機器學習本質上是研究自學習算法的科學，這些算法是幫助軟件和機器進行自我學習解決問題的算法。

機器學習最基本的作法，是使用算法來解析數據、從中學習，而後對真實世界中的事件作出決策和預測。與傳統的爲解決特定任務、硬編碼的軟件程序不一樣，機器學習是用大量的數據來「訓練」，經過各類算法從數據中學習如何完成任務。

機器學習直接來源於早期的人工智能領域。傳統算法包括決策樹學習、推導邏輯規劃、聚類、分類、迴歸、強化學習和貝葉斯網絡等等（固然還有不少）。衆所周知，咱們尚未實現強人工智能。早期機器學習方法甚至都沒法實現弱人工智能。

機器學習最成功的應用領域是計算機視覺，雖然也仍是須要大量的手工編碼來完成工做。人們須要手工編寫分類器、邊緣檢測濾波器，以便讓程序能識別物體從哪裏開始，到哪裏結束；寫形狀檢測程序來判斷檢測對象是否是有八條邊；寫分類器來識別字母「ST-O-P」。使用以上這些手工編寫的分類器，人們總算能夠開發算法來感知圖像，判斷圖像是否是一箇中止標誌牌。

這個結果還算不錯，但並非那種能讓人爲之一振的成功。特別是遇到雲霧天，標誌牌變得不是那麼清晰可見，又或者被樹遮擋一部分，算法就難以成功了。這就是爲何前一段時間，計算機視覺的性能一直沒法接近到人的能力。它太僵化，太容易受環境條件的干擾。

隨着時間的推動，學習算法的發展改變了一切。

3.4 神經網絡（Neural network）——機器學習中的一個算法模型

神經網絡：是機器學習中的一個算法模型，指的是模擬人的神經系統。你們知道，人的神經很是複雜，因此神經網絡算法須要的計算量很大。神經網絡在之前一直不溫不火，緣由是計算機硬件不足以支撐神經網絡的計算量。如今大數據技術的發展，讓神經網絡迎來了春天。好比人臉識別、交通領域的車牌識別技術都是神經網絡的應用。

3.5 深度學習（Deep Learning）——一種實現機器學習的技術

深度學習：屬於神經網絡的一個發展分支，指的是層數不少的神經網絡，能夠簡單理解爲更加高級的神經網絡。把神經網絡比做數學學科，深度學習相似於高等數學。無人駕駛汽車屬於深度學習的典型應用。Python 中，可使用 TensorFlow2 和 PyTorch庫很是簡單的實現深度學習中的各類算法。

人工神經網絡（Artificial Neural Networks）是早期機器學習中的一個重要的算法，歷經數十年風風雨雨。神經網絡的原理是受咱們大腦的生理結構——互相交叉相連的神經元啓發。但與大腦中一個神經元能夠鏈接必定距離內的任意神經元不一樣，人工神經網絡具備離散的層、鏈接和數據傳播的方向。

例如，咱們能夠把一幅圖像切分紅圖像塊，輸入到神經網絡的第一層。在第一層的每個神經元都把數據傳遞到第二層。第二層的神經元也是完成相似的工做，把數據傳遞到第三層，以此類推，直到最後一層，而後生成結果。

每個神經元都爲它的輸入分配權重，這個權重的正確與否與其執行的任務直接相關。最終的輸出由這些權重加總來決定。

咱們仍以中止（Stop）標誌牌爲例。將一箇中止標誌牌圖像的全部元素都打碎，而後用神經元進行「檢查」：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標誌的典型尺寸和靜止不動運動特性等等。神經網絡的任務就是給出結論，它究竟是不是一箇中止標誌牌。神經網絡會根據全部權重，給出一個通過深思熟慮的猜想——「機率向量」。

這個例子裏，系統可能會給出這樣的結果：86%多是一箇中止標誌牌；7%的多是一個限速標誌牌；5%的多是一個風箏掛在樹上等等。而後網絡結構告知神經網絡，它的結論是否正確。

即便是這個例子，也算是比較超前了。直到前不久，神經網絡也仍是爲人工智能圈所淡忘。其實在人工智能出現的早期，神經網絡就已經存在了，但神經網絡對於「智能」的貢獻微乎其微。主要問題是，即便是最基本的神經網絡，也須要大量的運算。神經網絡算法的運算需求難以獲得知足。

不過，仍是有一些虔誠的研究團隊，以多倫多大學的Geoffrey Hinton爲表明，堅持研究，實現了以超算爲目標的並行算法的運行與概念證實。但也直到GPU獲得普遍應用，這些努力才見到成效。

咱們回過頭來看這個中止標誌識別的例子。神經網絡是調製、訓練出來的，時不時仍是很容易出錯的。它最須要的，就是訓練。須要成百上千甚至幾百萬張圖像來訓練，直到神經元的輸入的權值都被調製得十分精確，不管是否有霧，晴天仍是雨天，每次都能獲得正確的結果。

只有這個時候，咱們才能夠說神經網絡成功地自學習到一箇中止標誌的樣子；或者在Facebook的應用裏，神經網絡自學習了你媽媽的臉；又或者是2012年吳恩達（Andrew Ng）教授在Google實現了神經網絡學習到貓的樣子等等。

吳教授的突破在於，把這些神經網絡從基礎上顯著地增大了。層數很是多，神經元也很是多，而後給系統輸入海量的數據，來訓練網絡。在吳教授這裏，數據是一千萬YouTube視頻中的圖像。吳教授爲深度學習（deep learning）加入了「深度」（deep）。這裏的「深度」就是說神經網絡中衆多的層。

如今，通過深度學習訓練的圖像識別，在一些場景中甚至能夠比人作得更好：從識別貓，到辨別血液中癌症的早期成分，到識別核磁共振成像中的腫瘤。Google的AlphaGo先是學會了如何下圍棋，而後與它本身下棋訓練。它訓練本身神經網絡的方法，就是不斷地與本身下棋，反覆地下，永不停歇。

3.6 深度學習，給人工智能以璀璨的將來

深度學習使得機器學習可以實現衆多的應用，並拓展了人工智能的領域範圍。深度學習摧枯拉朽般地實現了各類任務，使得彷佛全部的機器輔助功能都變爲可能。無人駕駛汽車，預防性醫療保健，甚至是更好的電影推薦，都近在眼前，或者即將實現。

人工智能就在如今，就在明天。有了深度學習，人工智能甚至能夠達到咱們暢想的科幻小說通常。你的C-3PO我拿走了，你有你的終結者就行了。

3.7 小結

綜上，人工智能就是一個產業，人工智能的實現手段主要靠機器學習的各類算法。在機器學習的算法中，深度學習是一個智能化程度很是高的算法。如今雲計算和大數據技術的發展，讓神經網絡和深度學習得以在實際中應用。

大數據時代，數據是企業的最值錢的財富，但海量的數據並不是都是有價值的，如何挖掘出有用的數據變成商業價值，就須要機器學習算法。大數據和機器學習勢必顛覆傳統行業的運營方式，必將驅動公司業務的發展。目前，愈來愈多的機器學習/數據挖掘/深度學習算法被應用在電商、搜索、金融、遊戲，醫療等領域中的分析、挖掘、推薦上。

但懂機器學習算法的人才卻少之又少，物以稀爲貴，導致這個行業的工資奇高。