1.數據分析

數據分析
1.數據分析定義
2.數據分析的做用
3.數據分析的基本步驟
　3.1明確分析目的和思路
3.2數據收集
3.3數據處理
3.4數據分析 （過程當中的重點，必須確保正確）
3.5數據展示
3.6報告撰寫
　4.數據分析行業前景
4.1蓬勃發展的趨勢
4.2數據分析師職業要求
5.隨着科技發展帶來的挑戰
5.1分佈式系統
5.2海量數據處理

數據分析

1.數據分析定義

數據： 計量和記錄一塊兒促成了數據的誕生

數據分析：是指用適當的同級分析方法對手機來的數據進行分析，將他們加以彙總和理解並消化，以求最大化地開發數據的功能，發揮數據的做用。

數據分析的目的：是把隱藏在一大批砍死雜亂無章的數據背後的信息幾種提煉出來，總結出所研究對象的內在規律

數據分析的分類：描述性數據分析、探索性數據分析、驗證性數據分析。

2.數據分析的做用

數據分析的做用：在商業領域中，數據分析可以幫助企業進行判斷和決策，一遍採起相應的策略與行動。生活中的應用如天氣預報。

在商業領域中，數據分析的目的是把隱藏在數據背後的信息集中和提煉出來，總結出所研究對象的內在規律，幫助管理者總結出所研究對象的內在規律，幫助管理者進行有效的判斷和決策。數據分析在。數據分析在企業平常經營分析中主要有三大做用 ：

• 現狀分析：告訴你當前的情況
• 緣由分析：某一現狀爲什麼發生
• 預測分析：未來會發生什麼

3.數據分析的基本步驟

1. 明確分析目的和思路
2. 數據採集
3. 數據處理
4. 數據分析
5. 數據展示
6. 報告撰寫

　3.1明確分析目的和思路

明確數據分析目的以及肯定分析思路，是確保數據分析過程有效進行的先決條件，它能夠爲數據採集＼處理及分析提供清晰的指引方向。

• 目的明確 目的是整個分析流程的起點
• 整理分析思路，搭建分析框架，把分析目的拆解成若干個不一樣分析要點，如何具體開展數據分析，須要從那幾個角度進行分析，採用哪些分析指標，確保分析框架的體系化，使分析更具備說服力

把數據分析相關的營銷、管理等理論統稱爲數據分析方法論

常見數據分析方法：PEST分析法、5W2H分析法

3.2數據收集

數據收集是按照肯定的數據分析框架，收集相關數據的過程，它爲數據分析提供了素材和依據

數據來源：

• 數據庫
• 公開出版物
• 互聯網
• 市場調查 （費用較高）

3.3數據處理

數據處理：對手機到的數據進行加工整理，造成適合數據分析的樣式。它是數據分析前不可少的階段

數據處理的目的：從大量的、雜亂無章、難以理解的數據中，抽取並退導出對解決問題有價值，有意義的數據

數據處理包括：數據清洗、數據轉化、數據提取、數據計算等處理方法

數據處理是數據分析的基礎。經過數據處理，將收集到的原始數據轉換爲能夠分析的形式，而且保證數據的一致性和有效性

3.4數據分析 （過程當中的重點，必須確保正確）

數據分析:是指用適當的分析方法及工具，對處理過的數據進行分析，提取有價值的信息，造成有效結論的過程。

數據挖局是一種搞基的數據分析方法，從大量的數據中挖掘出有用的信息。

3.5數據展示

通常狀況下，數據經過表格和圖形的方式來呈現的。

3.6報告撰寫

數據分析報告是對整個數據分析過程的一個總結與呈現。

1. 首先須要一個好的分析框架，層次明細，主次分明。
2. 數據分析報告要有明確的結論
3. 有建議或者解決方案

　4.數據分析行業前景

4.1蓬勃發展的趨勢

中國數據分析行業前景和特色：

1. 市場巨大 但比較零碎且尚不繫統化
2. 尚沒出現平臺級公司
3. 外包的氛圍國內尚沒徹底造成
4. 整個行業很大並且需求旺盛

4.2數據分析師職業要求

• 懂業務 熟悉行業知識、公司業務及流程，對數據敏感
• 懂管理 肯定分析思路就須要用到營銷、管理等理論知識來指導 針對數據分析結論提出有指導意義的分析建議
• 懂分析 掌握數據分析的基本原理與一些有效的數據分析方法
• 懂工具 掌握數據分析相關的經常使用工具 根據研究的問題選擇合適的工具
• 懂設計 運用圖標有效表達數據分析師的分析觀點

比較好的一款數據分析圖表化工具 echarts

5.隨着科技發展帶來的挑戰

1. 爲了實現網站的高可用、易伸縮、可擴展、高安全等目標 的 單一架構向高可用架構的發展 分佈式
2. 用戶規模增大 產生的數據以指數倍增加，數據大爆炸。解決海量數據處理的場景愈來愈多，技術上如何面對

5.1分佈式系統

分佈式系統：一個硬件或軟件組件分佈在不一樣的網絡計算機上，彼此之間僅僅經過消息傳遞進行通訊和協調系統
一羣獨立計算機集合共同對外提供該服務，可是對於系統的用戶來講，就像是一臺計算機在提供服務同樣

分佈式系統的特徵：

• 分佈性 分佈式系統中的多態計算機之間在空間位置上能夠隨意分佈
• 透明性 系統資源被全部計算機共享
• 同一性 系統中的若干臺計算機能夠互相協做來完成一個共同任務，或者說一個程序能夠分佈在幾臺計算機上並行地運。
• 通訊性 系統中任意兩臺計算機均可以經過信來交換息。 系統中任意兩臺計算機均可以經過信來交換息。

經常使用分佈式方案

• 分佈式應用和服務 如dubbo
• 分佈式靜態資源 如CDN
• 分佈式數據和存儲 如Apache Hadoop HDFS
• 分佈式計算 如Apache Hadoop Mapreduce

分佈式和集羣的區別

分佈式：是指在多臺不一樣的服務器中部署不一樣的服務模塊，經過遠程調用協同工做，對外提供服務

集羣：是指在多臺不一樣的服務器中部署相同應用或服務模塊。構成一個集羣，經過負載均衡設備對外提供服務

5.2海量數據處理

1. 解決海量數據的存儲 數據分析的前提是有數據，數據存儲的目的是支撐數據分析
2. 解決海量數據的計算問題