2019 廖雪峯 數據分析全棧工程師 課程

廖雪峯 數據分析全棧工程師 百度雲 百度網盤下載

1快速入門：認知數據分析

數據分析概念

 

·數據分析是什麼：數據分析概念及應用場景

·數據分析分析什麼：分析方法、應用領域

數據分析價值

·經過數據分析發現商機：發現數據之間的關聯，預測趨勢

·經過數據分析作精準營銷：精準營銷方案設計

·經過數據分析作用戶畫像：用戶畫像、用戶行爲分析

·經過數據分析生成數據分析報告、提供決策和業務優化支持：決策支持和業務優化

.數據分析前景

·數據分析的成功案例：數據加載、數據清洗、數據展現、數據分析師必備技能

·數據分析的行業發展：數據分析行業人才需求、專門數據分析崗位需求、專門的數據分析機構

·數據分析師的職業發展：傳統行業和互聯網行業業務流程、專業技能

2材料準備：數據採集與處理

廖雪峯 數據分析全棧工程師 百度雲

認識數據

·認識數據表的字段和記錄：字段、記錄、表

·使用Excel製做數據表、指定經常使用數據類型：數值型、字符型、一維表、二維表

獲取數據

·使用Excel導入網站數據及文本數據：網站數據、定時刷新、自動刷新、文本導入

處理數據

廖雪峯 數據分析全棧工程師

·使用Excel進行數據清洗和篩選：數據導入、數據清理、數據篩選、條件格式、數據透視法

·使用Excel進行數據抽樣和計算：數據抽樣、AVERAGE函數、SUM函數、MAX函數、MIN函數、IF函數

·使用SQL實現數據操做：基礎語法、錶鏈接、普通函數、窗口函數、SQL優化

3工具準備：數據可視化工具

Tableau概述及經常使用操做

·使用Tableau進行數據加載及操做：Tableau導航、Tableau設計流程、Tableau文件類型、Tableau數據源、Tableau計算、Tableau工做表、Tableau圖表

Power BI概述及經常使用操做

·使用Power BI加載數據源及塑造數據：數據加載、塑造數據

·使用Power BI建模數據及可視化：建模數據、可視化、圖標

4案例分析：電子商務數據分析

選擇數據分析核心數據

·如何選擇核心數據：會員數據、營銷數據、行業數據、交易與服務數據

掌握核心指標

·如何掌握核心指標：轉化指標、會員指標、流量指標、運營指標、成交轉化率指標

掌握核心方法

·經常使用核心方法：二八法則、排行榜分析方法

全棧數據分析師養成記

1基於python實現自動化數據分析基礎

Python語法入門

·使用anaconda搭建Python開發環境：python、anaconda、mac、windows

·使用jupyter notebook 編寫Python程序：變量、數據類型、運算符、數據處理和輸入、分支和循環、函數

Python數據結構

·使用列表、字典和集合操做數據：列表、字典、集合

Python文件操做

·使用open、write實現文件操做：文件、open 、close、write

Python面向對象

·用Python實現面向對象編程：類、對象、方法、封裝、繼承、多態

2基於python爬蟲實現數據獲取和加載

網絡爬蟲簡介

·爬蟲原理及基本使用：爬蟲協議、HTTP、HTTPS、Requests、Session、Cookie

網頁基本組成與結構

·HTML頁面組成及結構：HTML、HTML五、CSS、CSS三、JavaScript

經常使用爬蟲庫的使用

·使用Requests爬取數據：get、post、響應內容、請求頭、響應狀態碼、重定向與請求歷史、Cookie

·使用urllib爬取數據：urlopen、urlretrieve、urlcleanup、quote、urlencode

·使用正則表達式爬取數據：正則表達式

經常使用解析庫的使用及數據存儲

·使用XPath解析數據：元素和屬性、XML、/、//

·使用BeautifulSoup解析數據：BeautifulSoup的安裝、解析庫的設置、BS的基本用法、對象的種類、遍歷文檔樹和節點、各類選擇器的使用

·使用pyquery解析數據：DOM、attrs、css

·實現txt、JSON、CSV等格式文件存儲：json格式、數據類型、json解析、CSV文件

Ajax數據爬取及API解析

·AJax解析數據方法及結果提取：Ajax、Ajax解析方法、API

Scrapy框架的使用

·使用Scrapy爬取數據：Selector、Spider、Downloader Middleware、Item Pipeline用法、Scrapy對接Selenium、Scrapy對接Splash

3基於Python科學計算包實現數據預處理和分析

NumPy建立多維數組對象

·使用NumPy生成ndarray：建立ndarray、ndarray的數據類型、數據結構多維數組對象ndarray

數組的算術運算

·使用NumPy實現數組算術運算：NumPy數組的運算

數組的索引與切片

·使用NumPy對數組進行索引與切片：索引和切片、布爾索引、神奇索引

數組轉置和換軸

·使用NumPy對數組進行轉置和換軸：T、swapaxes、ufunc通用函數、利用數組進行數據處理、數學和統計方法概覽、數組排序、惟一化

數組的文件輸入和輸出

·使用數組進行面向數組編程：文件的保存與讀取、線性代數知識回顧、多維數組對象的內部機理、數組重塑、 數組的合併和拆分、元素的重複操做、花式索引等價函數、廣播機制、ufunc高級方法、數組高級排序方法

Pandas數據結構介紹

·使用Pandas建立Series對象：建立Series





·使用Pandas建立DataFrame對象：建立DataFrame

Pandas索引對象

·使用Pandas建立索引對象：行索引和列索引、重建索引

Pandas基本操做

·使用Pandas對數據進行索引、選擇和過濾：刪除數據項、索引選取過濾、Ioc和iloc進行選取、整數索引

算術和數據對齊

·使用Pandas對數據進行算術和數據對齊：算術運算和數據對齊、DataFrame和Series的運算、函數應用和映射

排序和排名

·使用Pandas對數據進行排序和排： 排序和排名、彙總和描述性統計、相關係數和協方差、分類數據、用分類進行數據、分類方法、建立虛擬變量、 GroupBy高級應用、分組的時間重採樣、鏈式編程、管道方法

數據加載及存儲

·使用Pandas進行多種格式數據的讀寫： 用Pandas讀取文本格式的數據。read_rsv、read_table、read_excel、read_json、read_pickle、to_pickle、 逐塊讀取文本數據、將數據輸出到文本數據、處理分隔符

與數據庫進行數據加載

·使用Pandas與數據庫交互：數據庫交互（MySQL、NoSQL）、數據庫、數據表

處理缺失值及數據轉換

·使用Pandas過濾缺失值




：處理缺失數據、過濾缺失數據

·使用Pandas補全缺失值：填充缺失數據

·使用Pandas刪除重複值：去除重複數據

·使用函數或映射進行數據轉換：函數轉換數據、重命名索引、排列和隨機採樣

·使用正則表達式對數據進行操做：字符串操做、矢量化字符串函數

分層索引

·使用Pandas進行分層索引的實現

：層次化索引

·使用Pandas進行重排序和層級排序：重排與分級排序、根據級別彙總統計

·使用DataFrame的列進行索引：使用列做爲索引

聯合和合並數據集

·使用Pandas進行聯合和合並數據集：合併數據集。索引合併、軸向鏈接、合併重疊數據

數據重塑與透視

·使用多層索引進行重塑：重塑和軸向旋轉、長格式寬格式轉換

4基於繪圖庫（Matplotlib）實現數據可視化

matplotlib API使用入門

·使用matplotlib繪圖、設置顏色、標記和線類型

：Matplotlib API、Figure、Subplot、nrows、ncols、sharex、sharey

經常使用繪圖展現

·使用matplotlib對圖標進行刻度、標籤、圖例設置：註釋、子圖、圖例

經常使用可視化工具介紹

·使用Pandas和seaborn繪圖：折線圖、柱狀圖、直方圖、密度圖、散點圖

5基於聚合分組技術發現數據間的關係及價值

GroupBy機制

·使用字典和Series分組



：GroupBy機制、遍歷各分組、函數分組

·使用函數分組：len、sum、min、max

·根據索引層級分組：asix、multiIndex

數據聚合

·使用Pandas實現數據透視表與交叉表：數據聚合、透視表、交叉表

6基於時間序列操做細化數據的時間展現

日期和時間數據類型及工具

·使用datetime實現字符串與時間類型的轉換


：時間戳、時間間隔、時區、字符串與datetime互相轉換

·時間序列基礎

時間序列運算

·時間序列：索引、選擇、子集

時區處理

·使用Pandas生成日期範圍、頻率和移位：頻率和日期偏置、時區本地化和轉換

時間區間和區間算術

·使用Pandas進行時區處理：時區區間和區間算術、區間頻率轉換、季度區間頻率

7案例分析

電影評分數據分析

·涉及娛樂、金融、農業、互聯網等行業真實數據，從業務流程角度進行數據分析，加強業務與技術實戰能力： 數據清洗、時間序列、聚合與分組、柱狀圖、折線圖、熱力圖

美國農業部食品數據分析

金融數據分析

招聘網站崗位及薪資趨勢分析報告

大數據分析師晉升記

1數據倉庫

HiveQL操做數據

·基礎語法、錶鏈接、普通函數： TINYINT 、SMALLINT、 INT 、BIGINT、 FLOAT、 DOUBLE、 BOOLEAN 、STRING、STRUCT、 MAP、 ARRAY、數據表、排序和彙集

·窗口函數、SQL優化： 建立表、建立分區、重命名、增長列、刪除列、導入導出數據、數據查詢、內鏈接、左外鏈接、右外鏈接、全鏈接、子查詢、視圖、內置函數、自定義函數、窗口函數、SQL優化

2數據分析方法

描述統計分析方法

·頻數分析、集中趨勢、離散程度、數據分佈：頻數、平均數、中位數、衆數、極差、方差、標準差、變異係數、峯值、偏度

迴歸分析方法

·線性迴歸、邏輯迴歸、多項式迴歸、多元迴歸：因變量、自變量、迴歸線、迴歸係數

多元統計分析方法

·聚類分析、判別分析、主成分分析、因子分析： 聚類分析的思想、類似性度量、類和類的特徵、距離判別、貝葉斯判別、逐步判別、主成分、整體成分、因子載荷

時間序列分析方法

·自迴歸模型、季節模型： 時間序列、時間序列分析、GNAR模型

3數據可視化

可視化工具使用（Excel）

·使用Excel實現數據可視化： 條形圖&柱狀圖、餅圖&環形圖、單折線&雙摺線圖、散點圖&氣泡圖、箱線圖、雷達圖、組合圖

可視化工具使用（Tableau）

·使用Tableau實現可視化

4高級數據可視化

瀑布圖、桑基圖、漏斗圖、矩形樹圖、旭日圖

·使用Excel、Tableau實現：繪製圖表

Excel動態圖表

·使用Excel實現：組合框控件、數據源

地圖可視化

·使用Tableau實現：地圖繪製、地圖配色

echarts實現

·使用echarts實現經常使用圖表：構建echarts、數據加載

5高級數據分析師實戰

經營分析方法論

·交易分析：如何作好交易日報分析

·流量分析：渠道分析、流量漏斗分析

·用戶分析：用戶畫像、行爲分析、留存分析

行業分析方法論

·競對分析：分析方法、分析內容

·行業動態：行業分佈、行業趨勢

業務分析方法論

·產品分析：功能迭代分析、轉化率分析

·運營分析：活動運營分析、用戶運營分析

·銷售分析：業績達成分析、人效分析