Tinghua Data Mining

Learning Resources

書籍：

期刊：

業界先驅：

開闊視野，掌握業界最新動態。

工具：

數據挖掘是不少學科的綜合體：

甭管叫什麼名字，歸根到底都是數據挖掘：

Comprehensive Learning:

Learning != Listening

數據

What is Big Data?

Big Data:

Data Mning

Data Integration & Analasis

The Process of Data Mining

DM Techniques -- Classification

Classification Boundaries

Classification -- Overfitting

Confusion Matrix

Receive Operating Charactics

男人 女人 身高

DM Techniques -- Clusting

Hierrachical Clusting

不一樣層面分組

Association Rule

關聯規則

DM Techniques -- Regression

參數和變量之間是線性的 不是說最終的表達式線性的

Overfitting -- Regression

死記硬背

既沒有那麼簡單 也沒有那麼複雜

Seeing is Knowing

耳聽爲虛 眼見爲實 高維數據直接很難理解 發揮人的知識的儲備 主觀能動性 領域知識的綜合理解能力 可視化 對於用戶來講 挖掘出來的東西給 可解釋性

Performance Dashborad

Tableau

可視化工具軟件

Data Preprocessing

Gabage In Gabage Out

髒數據輸入 必定會髒數據輸出

預處理很重要 準確性 時效性 完整性

原材料要好 打地基 不然外面再modern也是豆腐渣工程

Privacy Protection

Cloud Computation

買 租 服務器

把軟硬件轉換成一種服務

Parrelal Compututing

The Big Picture

數據挖掘三要素：數據，模型，算力（支撐平臺）

No Free Lunch

分類 聚類 告訴我一個哪個算法不就好了 不行 沒有那麼好的事 參數 經驗嘗試

拿到一個問題，先找簡單的，說不定能夠，夠用就好了。沒有必要一味地去追求看起來很複雜或者很高端的算法。

量化交易：克服人內在的性格弱點。更加理性。

Grouping

正相關，負相關，可能存在內在的分組的情形。

看問題要全面