如何進行大數據分析及處理？

1.可視化分析 大數據分析的使用者有大數據分析專家，同時還有普通用戶，可是他們兩者對於大數據分析最基本的要求就是可視化分析，由於可視化分析可以直觀的呈現大數據特色，同時可以很是容易被讀者所接受，就如同看圖說話同樣簡單明瞭。 2. 數據挖掘算法 大數據分析的理論核心就是數據挖掘算法，各類數據挖掘的算法基於不一樣的數據類型和格式才能更加科學的呈現出數據自己具有的特色，也正是由於這些被全世界統計 學家所公認的各類統計方法（能夠稱之爲真理）才能深刻數據內部，挖掘出公認的價值。另一個方面也是由於有這些數據挖掘的算法才能更快速的處理大數據，如 果一個算法得花上好幾年才能得出結論，那大數據的價值也就無從提及了。 3. 預測性分析 大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特色，經過科學的創建模型，以後即可以經過模型帶入新的數據，從而預測將來的數據。 4. 語義引擎 非結構化數據的多元化給數據分析帶來新的挑戰，咱們須要一套工具系統的去分析，提煉數據。語義引擎須要設計到有足夠的人工智能以足以從數據中主動地提取信息。 5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，不管是在學術研究仍是在商業應用領域，都可以保證分析結果的真實和有價值。 大數據分析的基礎就是以上五個方面，固然更加深刻大數據分析的話，還有不少不少更加有特色的、更加深刻的、更加專業的大數據分析方法。

大數據的技術 數據採集： ETL工具負責將分佈的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後加載到數據倉庫或數據集市中，成爲聯機分析處理、數據挖掘的基礎。 數據存取： 關係數據庫、NOSQL、SQL等。 基礎架構： 雲存儲、分佈式文件存儲等。 數據處理： 天然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理天然語言的關鍵是要讓計算機」理解」天然語言，因此天然語言處理又叫作天然語言理解也稱爲計算語言學。一方面它是語言信息處理的一個分支，另外一方面它是人工智能的核心課題之一。 統計分析： 假設檢驗、顯著性檢驗、差別分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、迴歸分析、簡單迴歸分析、多元迴歸分析、逐步迴歸、迴歸預測與殘差分析、嶺迴歸、logistic迴歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。 數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、複雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等) 模型預測 ：預測模型、機器學習、建模仿真。 結果呈現： 雲計算、標籤雲、關係圖等。

大數據的處理

1. 大數據處理之一：採集 大數據的採集是指利用多個數據庫來接收發自客戶端（Web、App或者傳感器形式等）的 數據，而且用戶能夠經過這些數據庫來進行簡單的查詢和處理工做。好比，電商會使用傳統的關係型數據庫MySQL和Oracle等來存儲每一筆事務數據，除 此以外，Redis和MongoDB這樣的NoSQL數據庫也經常使用於數據的採集。 在大數據的採集過程當中，其主要特色和挑戰是併發數高，由於同時有可能會有成千上萬的用戶 來進行訪問和操做，好比火車票售票網站和淘寶，它們併發的訪問量在峯值時達到上百萬，因此須要在採集端部署大量數據庫才能支撐。而且如何在這些數據庫之間 進行負載均衡和分片的確是須要深刻的思考和設計。
2. 大數據處理之二：導入/預處理 雖然採集端自己會有不少數據庫，可是若是要對這些海量數據進行有效的分析，仍是應該將這 些來自前端的數據導入到一個集中的大型分佈式數據庫，或者分佈式存儲集羣，而且能夠在導入基礎上作一些簡單的清洗和預處理工做。也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來知足部分業務的實時計算需求。 導入與預處理過程的特色和挑戰主要是導入的數據量大，每秒鐘的導入量常常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析 統計與分析主要利用分佈式數據庫，或者分佈式計算集羣來對存儲於其內的海量數據進行普通 的分析和分類彙總等，以知足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可使用Hadoop。 統計與分析這部分的主要特色和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘 與前面統計和分析過程不一樣的是，數據挖掘通常沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各類算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具備Hadoop的Mahout等。該過程的特色和挑戰主要是用於挖掘的算法很複雜，並 且計算涉及的數據量和計算量都很大，經常使用數據挖掘算法都以單線程爲主。

整個大數據處理的廣泛流程至少應該知足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。