Data - 大數據分析學習之路

1、大數據分析的五個基本方面

1. 可視化分析
   大數據分析的使用者有大數據分析專家，同時還有普通用戶，可是他們兩者對於大數據分析最基本的要求就是可視化分析，由於可視化分析可以直觀的呈現大數據特色，同時可以很是容易被讀者所接受，就如同看圖說話同樣簡單明瞭。

2. 數據挖掘算法
   大數據分析的理論核心就是數據挖掘算法，各類數據挖掘的算法基於不一樣的數據類型和格式才能更加科學的呈現出數據自己具有的特色，也正是由於這些被全世界統計學家所公認的各類統計方法（能夠稱之爲真理）才能深刻數據內部，挖掘出公認的價值。
   另一個方面也是由於有這些數據挖掘的算法才能更快速的處理大數據，若是一個算法得花上好幾年才能得出結論，那大數據的價值也就無從提及了。

3. 預測性分析能力
   大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特色，經過科學的創建模型，以後即可以經過模型帶入新的數據，從而預測將來的數據。

4. 語義引擎
   大數據分析普遍應用於網絡數據挖掘，可從用戶的搜索關鍵詞、標籤關鍵詞、或其餘輸入語義，分析，判斷用戶需求，從而實現更好的用戶體驗和廣告匹配。

5. 數據質量和數據管理
   大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，不管是在學術研究仍是在商業應用領域，都可以保證分析結果的真實和有價值。
   大數據分析的基礎就是以上五個方面，固然更加深刻大數據分析的話，還有不少不少更加有特色的、更加深刻的、更加專業的大數據分析方法。

2、如何選擇適合的數據分析工具

要明白分析什麼數據，大數據要分析的數據類型主要有四大類：

1. 交易數據（TRANSACTION DATA）
   大數據平臺可以獲取時間跨度更大、更海量的結構化交易數據，這樣就能夠對更普遍的交易數據類型進行分析，不只僅包括POS或電子商務購物數據，還包括行爲交易數據，例如Web服務器記錄的互聯網點擊流數據日誌。

2. 人爲數據（HUMAN-GENERATED DATA）
   非結構數據普遍存在於電子郵件、文檔、圖片、音頻、視頻，以及經過博客、維基，尤爲是社交媒體產生的數據流。
   這些數據爲使用文本分析功能進行分析提供了豐富的數據源泉。

3. 移動數據（MOBILE DATA）
   可以上網的智能手機和平板愈來愈廣泛。
   這些移動設備上的App都可以追蹤和溝通無數事件，從App內的交易數據（如搜索產品的記錄事件）到我的信息資料或狀態報告事件（如地點變動即報告一個新的地理編碼）。

4. 機器和傳感器數據（MACHINE AND SENSOR DATA）
   這包括功能設備建立或生成的數據，例如智能電錶、智能溫度控制器、工廠機器和鏈接互聯網的家用電器。
   這些設備能夠配置爲與互聯網絡中的其餘節點通訊，還能夠自動向中央服務器傳輸數據，這樣就能夠對數據進行分析。
   機器和傳感器數據是來自新興的物聯網（IoT）所產生的主要例子。
   來自物聯網的數據能夠用於構建分析模型，連續監測預測性行爲（如當傳感器值表示有問題時進行識別），提供規定的指令（如警示技術人員在真正出問題以前檢查設備）。

3、如何區分數據科學家、數據工程師、數據分析師

隨着大數據的愈演愈熱，相關大數據的職業也成爲熱門，給人才發展帶來帶來了不少機會。
數據科學家、數據工程師、數據分析師已經成爲大數據行業最熱門的職位。
它們是如何定義的？具體是作什麼工做的？須要哪些技能？讓咱們一塊兒來看看吧。

數據科學家

數據科學家傾向於用探索數據的方式來看待周圍的世界。
把大量散亂的數據變成結構化的可供分析的數據，還要找出豐富的數據源，整合其餘可能不完整的數據源，並清理成結果數據集。
新的競爭環境中，挑戰不斷地變化，新數據不斷地流入，數據科學家須要幫助決策者穿梭於各類分析，從臨時數據分析到持續的數據交互分析。
當他們有所發現，便交流他們的發現，建議新的業務方向。
他們頗有創造力的展現視覺化的信息，也讓找到的模式清晰而有說服力。
把蘊含在數據中的規律建議給Boss，從而影響產品，流程和決策。

數據工程師

分析歷史、預測將來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。
經過這三個工做方向，他們幫助企業作出更好的商業決策。
大數據工程師一個很重要的工做，就是經過分析數據來找出過去事件的特徵。
經過引入關鍵因素，大數據工程師能夠預測將來的消費趨勢。
在阿里媽媽的營銷平臺上，工程師正試圖經過引入氣象數據來幫助淘寶賣家作生意。
好比今年夏天不熱，極可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等均可能會受其影響。
那麼咱們就會創建氣象數據和銷售數據之間的關係，找到與之相關的品類，提早警示賣家週轉庫存。
根據不一樣企業的業務性質，大數據工程師能夠經過數據分析來達到不一樣的目的。

數據分析師

與傳統的數據分析師相比，互聯網時代的數據分析師面臨的不是數據匱乏，而是數據過剩。
所以，互聯網時代的數據分析師必須學會藉助技術手段進行高效的數據處理。更爲重要的是，互聯網時代的數據分析師要不斷在數據研究的方法論方面進行創新和突破。
就行業而言，數據分析師的價值與此相似。就新聞出版行業而言，不管在任什麼時候代，媒體運營者可否準確、詳細和及時地瞭解受衆情況和變化趨勢，都是媒體成敗的關鍵。
此外，對於新聞出版等內容產業來講，更爲關鍵的是，數據分析師能夠發揮內容消費者數據分析的職能，這是支撐新聞出版機構改善客戶服務的關鍵職能。

想要從事這3個職業須要掌握什麼技能？

數據科學家須要掌握的技能

1. 計算機科學
   　 通常來講，數據科學家大多要求具有編程、計算機科學相關的專業背景。簡單來講，就是對處理大數據所必需的hadoop、Mahout等大規模並行處理技術與機器學習相關的技能。

2. 數學、統計、數據挖掘等
   除了數學、統計方面的素養以外，還須要具有使用SPSS、SAS等主流統計分析軟件的技能。
   其中，面向統計分析的開源編程語言及其運行環境「R」最近備受矚目。R的強項不只在於其包含了豐富的統計分析庫，並且具有將結果進行可視化的高品質圖表生成功能，並能夠經過簡單的命令來運行。
   此外，它還具有稱爲CRAN(The Comprehensive R Archive Network)的包擴展機制，經過導入擴展包就可使用標準狀態下所不支持的函數和數據集。

3. 數據可視化(Visualization)
   　 信息的質量很大程度上依賴於其表達方式。
   對數字羅列所組成的數據中所包含的意義進行分析，開發Web原型，使用外部API將圖表、地圖、Dashboard等其餘服務統一塊兒來，從而使分析結果可視化，這是對於數據科學家來講十分重要的技能之一。

數據工程師須要掌握的技能

1. 數學及統計學相關的背景
   對於大數據工程師的要求都是但願是統計學和數學背景的碩士或博士學歷。
   缺少理論背景的數據工做者，更容易進入一個技能上的危險區域（Danger Zone）—一堆數字，按照不一樣的數據模型和算法總能捯飭出一些結果來，但若是你不知道那表明什麼，就並非真正有意義的結果，而且那樣的結果還容易誤導你。
   只有具有必定的理論知識，才能理解模型、複用模型甚至創新模型，來解決實際問題。

2. 計算機編碼能力
   實際開發能力和大規模的數據處理能力是做爲大數據工程師的一些必備要素。由於許多數據的價值來自於挖掘的過程，你必須親自動手才能發現金子的價值。
   舉例來講，如今人們在社交網絡上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就須要大數據工程師親自挖掘。
   即便在某些團隊中，大數據工程師的職責以商業分析爲主，但也要熟悉計算機處理大數據的方式。

3. 對特定應用領域或行業的知識
   大數據工程師這個角色很重要的一點是，不能脫離市場，由於大數據只有和特定領域的應用結合起來才能產生價值。
   因此，在某個或多個垂直行業的經歷能爲應聘者積累對行業的認知，對於以後成爲大數據工程師有很大幫助，所以這也是應聘這個崗位時較有說服力的加分項。

數據分析師須要掌握的技能

1. 懂業務。從事數據分析工做的前提就會須要懂業務，即熟悉行業知識、公司業務及流程，最好有本身獨到的看法，若脫離行業認知和公司業務背景，分析的結果只會是脫了線的風箏，沒有太大的使用價值。
2. 懂管理。一方面是搭建數據分析框架的要求，好比肯定分析思路就須要用到營銷、管理等理論知識來指導，若是不熟悉管理理論，就很難搭建數據分析的框架，後續的數據分析也很難進行。另外一方面的做用是針對數據分析結論提出有指導意義的分析建議。
3. 懂分析。指掌握數據分析基本原理與一些有效的數據分析方法，並能靈活運用到實踐工做中，以便有效的開展數據分析。
   基本的分析方法有：對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。
   高級的分析方法有：相關分析法、迴歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應分析法、時間序列等。
4. 懂工具。指掌握數據分析相關的經常使用工具。數據分析方法是理論，而數據分析工具就是實現數據分析方法理論的工具，面對愈來愈龐大的數據，咱們不能依靠計算器進行分析，必須依靠強大的數據分析工具幫咱們完成數據分析工做。
5. 懂設計。懂設計是指運用圖表有效表達數據分析師的分析觀點，使分析結果一目瞭然。圖表的設計是門大學問，如圖形的選擇、版式的設計、顏色的搭配等等，都須要掌握必定的設計原則。

4、從菜鳥成爲數據科學家的9步養成方案

首先，各個公司對數據科學家的定義各不相同，當前尚未統一的定義。
但在通常狀況下，一個數據科學家結合了軟件工程師與統計學家的技能，而且在他或者她但願工做的領域投入了大量行業知識。
大約90%的數據科學家至少有大學教育經歷，甚至到博士以及得到博士學位，固然，他們得到的學位的領域很是普遍。
一些招聘者甚至發現人文專業的人們有所需的創造力，他們能教別人一些關鍵技能。
所以，排除一個數據科學的學位計劃(世界各地的著名大學雨後春筍般的出現着)，你須要採起什麼措施，成爲一個數據科學家?

1. 複習你的數學和統計技能。一個好的數據科學家必須可以理解數據告訴你的內容，作到這一點，你必須有紮實的基本線性代數，對算法和統計技能的理解。在某些特定場合可能須要高等數學，但這是一個好的開始場合。
2. 瞭解機器學習的概念。機器學習是下一個新興詞，卻和大數據有着千絲萬縷的聯繫。機器學習使用人工智能算法將數據轉化爲價值，而且無需顯式編程。
3. 學習代碼。數據科學家必須知道如何調整代碼，以便告訴計算機如何分析數據。從一個開放源碼的語言如python那裏開始吧。
4. 瞭解數據庫、數據池及分佈式存儲。數據存儲在數據庫、數據池或整個分佈式網絡中。以及如何建設這些數據的存儲庫取決於你如何訪問、使用、並分析這些數據。若是當你建設你的數據存儲時沒有總體架構或者超前規劃，那後續對你的影響將十分深遠。
5. 學習數據修改和數據清洗技術。數據修改是將原始數據到另外一種更容易訪問和分析的格式。數據清理有助於消除重複和「壞」數據。二者都是數據科學家工具箱中的必備工具。
6. 瞭解良好的數據可視化和報告的基本知識。你沒必要成爲一個平面設計師，但你確實須要深諳如何建立數據報告，便於外行的人好比你的經理或CEO能夠理解。
7. 添加更多的工具到您的工具箱。一旦你掌握了以上技巧，是時候擴大你的數據科學工具箱了，包括Hadoop、R語言和Spark。這些工具的使用經驗和知識將讓你處於大量數據科學求職者之上。
8. 練習。
   在你在新的領域有一個工做以前，你如何練習成爲數據科學家?使用開源代碼開發一個你喜歡的項目、參加比賽、成爲網絡工做數據科學家、參加訓練營、志願者或實習生。
   最好的數據科學家在數據領域將擁有經驗和直覺，可以展現本身的做品，以成爲應聘者。
9. 成爲社區的一員。跟着同行業中的思想領袖，閱讀行業博客和網站，參與，提出問題，並隨時瞭解時事新聞和理論。