Machine Learning Basic Knowledge

經常使用的數據挖掘&機器學習知識(點)

Basis(基礎)：

MSE(MeanSquare Error 均方偏差)，LMS(Least MeanSquare 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(Maximum LikelihoodEstimation最大似然估計)，QP(QuadraticProgramming 二次規劃)， CP(ConditionalProbability條件機率)，JP(Joint Probability 聯合機率)，MP(Marginal Probability邊緣機率)，Bayesian Formula(貝葉斯公式)，L1 /L2Regularization(L1/L2正則，以及更多的，如今比較火的L2.5正則等)，GD(Gradient Descent 梯度降低)，SGD(Stochastic GradientDescent 隨機梯度降低)，Eigenvalue(特徵值)，Eigenvector(特徵向量)，QR-decomposition(QR分解)，Quantile (分位數)，Covariance(協方差矩陣)。

Common Distribution(常見分佈)：

Discrete Distribution(離散型分佈)：Bernoulli Distribution/Binomial(貝努利分步/二項分佈)，Negative BinomialDistribution(負二項分佈)，Multinomial Distribution(多式分佈)，Geometric Distribution(幾何分佈)，Hypergeometric Distribution(超幾何分佈)，Poisson Distribution (泊松分佈)

ContinuousDistribution (連續型分佈)：Uniform Distribution(均勻分佈)，Normal Distribution/GaussianDistribution(正態分佈/高斯分佈)，Exponential Distribution(指數分佈)，Lognormal Distribution(對數正態分佈)，Gamma Distribution(Gamma分佈)，Beta Distribution(Beta分佈)，Dirichlet Distribution(狄利克雷分佈)，Rayleigh Distribution(瑞利分佈)，Cauchy Distribution(柯西分佈)，Weibull Distribution (韋伯分佈)

  Three Sampling Distribution(三大抽樣分佈)：Chi-square Distribution(卡方分佈)，t-distribution(t-distribution)，F-distribution(F-分佈)

Data Pre-processing(數據預處理)：

MissingValue Imputation(缺失值填充)，Discretization(離散化)，Mapping(映射)，Normalization(歸一化/標準化)。

Sampling(採樣)：

SimpleRandom Sampling(簡單隨機採樣)，Offline Sampling(離線等可能K採樣)，Online Sampling(在線等可能K採樣)，Ratio-based Sampling(等比例隨機採樣)，Acceptance-rejection Sampling(接受-拒絕採樣)，Importance Sampling(重要性採樣)，MCMC(Markov Chain MonteCarlo 馬爾科夫蒙特卡羅採樣算法：Metropolis-Hasting& Gibbs)。

Clustering(聚類)：

K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(譜聚類)，GMM-EM(混合高斯模型-指望最大化算法解決)，K-Pototypes，CLARANS(基於劃分)，BIRCH(基於層次)，CURE(基於層次)，DBSCAN(基於密度)，CLIQUE(基於密度和基於網格)，2014年Science上的密度聚類算法等

Clustering EffectivenessEvaluation(聚類效果評估)：

    Purity(純度)，RI(Rand Index，芮氏指標)，ARI(Adjusted Rand Index，調整的芮氏指標)，NMI(NormalizedMutual Information，規範化互信息)，F-meaure(F測量)等。

Classification&Regression(分類&迴歸)：

LR(LinearRegression 線性迴歸)，LR(Logistic Regression邏輯迴歸)，SR(SoftmaxRegression 多分類邏輯迴歸)，GLM(Generalized LinearModel 廣義線性模型)，RR(Ridge Regression 嶺迴歸/L2正則最小二乘迴歸)，LASSO(Least AbsoluteShrinkage and Selectionator Operator L1正則最小二乘迴歸)， RF(隨機森林)，DT(Decision Tree決策樹)，GBDT(Gradient BoostingDecision Tree 梯度降低決策樹)，CART(Classification AndRegression Tree 分類迴歸樹)，KNN(K-Nearest Neighbor K近鄰)，SVM(Support Vector Machine，支持向量機，包括SVC（分類）&SVR（迴歸）)，KF(Kernel Function 核函數Polynomial KernelFunction 多項式核函數、Guassian Kernel Function 高斯核函數/Radial Basis Function RBF徑向基函數、String Kernel Function 字符串核函數)、 NB(Naive Bayes 樸素貝葉斯)，BN(BayesianNetwork/Bayesian Belief Network/Belief Network 貝葉斯網絡/貝葉斯信度網絡/信念網絡)，LDA(Linear DiscriminantAnalysis/Fisher Linear Discriminant 線性判別分析/Fisher線性判別)，EL(Ensemble Learning集成學習Boosting，Bagging，Stacking)，AdaBoost(AdaptiveBoosting 自適應加強)，MEM(Maximum Entropy Model最大熵模型)

Classification EffectivenessEvaluation(分類效果評估)：

ConfusionMatrix(混淆矩陣)，Precision(精確度)，Recall(召回率)，Accuracy(準確率)，F-score(F得分)，ROC Curve(ROC曲線)，AUC(AUC面積)，Lift Curve(Lift曲線) ，KS Curve(KS曲線)。

PGM(ProbabilisticGraphical Models機率圖模型)：

BN(BayesianNetwork/Bayesian Belief Network/ Belief Network 貝葉斯網絡/貝葉斯信度網絡/信念網絡)，MC(Markov Chain 馬爾科夫鏈)，HMM(Hidden MarkovModel 馬爾科夫模型)，MEMM(Maximum EntropyMarkov Model 最大熵馬爾科夫模型)，CRF(Conditional RandomField 條件隨機場)，MRF(Markov RandomField 馬爾科夫隨機場)。

NN(Neural Network神經網絡)：

ANN(ArtificialNeural Network 人工神經網絡)，BP(Error Back Propagation 偏差反向傳播)，HN（Hopfield Network），
RNN(Recurrent Neural Network，循環神經網絡），SRN（Simple Recurrent Network，簡單的循環神經網絡），ESN（Echo State Network，回聲狀態網絡），LSTM（Long Short Term Memory 長短記憶神經網絡），CW-RNN（Clockwork

 Recurrent Neural Network，時鐘驅動循環神經網絡，2014ICML）等。

Deep Learning(深度學習)：

Auto-encoder(自動編碼器)，SAE(Stacked Auto-encoders堆疊自動編碼器：Sparse Auto-encoders稀疏自動編碼器、Denoising Auto-encoders去噪自動編碼器、ContractiveAuto-encoders 收縮自動編碼器)，RBM(Restricted BoltzmannMachine 受限玻爾茲曼機)，DBN(Deep BeliefNetwork 深度信念網絡)，CNN(Convolutional NeuralNetwork 卷積神經網絡)，Word2Vec(詞向量學習模型)。

Dimensionality Reduction(降維)：                 

LDA(LinearDiscriminant Analysis/Fisher Linear Discriminant 線性判別分析/Fish線性判別)，PCA(Principal ComponentAnalysis 主成分分析)，ICA(Independent ComponentAnalysis 獨立成分分析)，SVD(Singular ValueDecomposition 奇異值分解)，FA(Factor Analysis 因子分析法)。

Text Mining(文本挖掘)：

VSM(Vector SpaceModel向量空間模型)，Word2Vec(詞向量學習模型)，TF(Term Frequency詞頻)，TF-IDF(TermFrequency-Inverse Document Frequency 詞頻-逆向文檔頻率)，MI(Mutual Information 互信息)，ECE(Expected CrossEntropy 指望交叉熵)，QEMI(二次信息熵)，IG(Information Gain 信息增益)，IGR(InformationGain Ratio 信息增益率)，Gini(基尼係數)，x2 Statistic(x2統計量)，TEW(Text EvidenceWeight文本證據權)，OR(OddsRatio 優點率)，N-Gram Model，LSA(LatentSemantic Analysis 潛在語義分析)，PLSA(ProbabilisticLatent Semantic Analysis 基於機率的潛在語義分析)，LDA(Latent DirichletAllocation 潛在狄利克雷模型)，SLM(StatisticalLanguage Model，統計語言模型)，NPLM(NeuralProbabilistic Language Model，神經機率語言模型)，CBOW(Continuous Bag of Words Model，連續詞袋模型)，Skip-gram(Skip-gramModel)等。

Association Mining(關聯挖掘)：

Apriori，FP-growth(FrequencyPattern Tree Growth 頻繁模式樹生長算法)，AprioriAll，Spade。

Recommendation Engine(推薦引擎)：

DBR(Demographic-basedRecommendation 基於人口統計學的推薦)，CBR(Context-based Recommendation 基於內容的推薦)，CF(Collaborative Filtering協同過濾)，UCF(User-based CollaborativeFiltering Recommendation 基於用戶的協同過濾推薦)，ICF(Item-based CollaborativeFiltering Recommendation 基於項目的協同過濾推薦)。

SimilarityMeasure&Distance Measure(類似性與距離度量)：

EuclideanDistance(歐式距離)，Manhattan Distance(曼哈頓距離)，Chebyshev Distance(切比雪夫距離)，Minkowski Distance(閔可夫斯基距離)，Standardized EuclideanDistance(標準化歐氏距離)，Mahalanobis Distance(馬氏距離)，Cos(Cosine 餘弦)，Hamming Distance/EditDistance(漢明距離/編輯距離)，Jaccard Distance(傑卡德距離)，Correlation CoefficientDistance(相關係數距離)，Information Entropy(信息熵)，KL(Kullback-LeiblerDivergence KL散度/Relative Entropy 相對熵)。

Optimization(最優化)：

Non-constrained Optimization(無約束優化)：Cyclic Variable Methods(變量輪換法)，Pattern Search Methods(模式搜索法)，Variable Simplex Methods(可變單純形法)，Gradient Descent Methods(梯度降低法)，Newton Methods(牛頓法)，Quasi-Newton Methods(擬牛頓法)，Conjugate GradientMethods(共軛梯度法)。

ConstrainedOptimization(有約束優化)：Approximation ProgrammingMethods(近似規劃法)，Feasible DirectionMethods(可行方向法)，Penalty Function Methods(罰函數法)，Multiplier Methods(乘子法)。

HeuristicAlgorithm(啓發式算法)，SA(Simulated Annealing，模擬退火算法)，GA(genetic algorithm遺傳算法)

Feature Selection(特徵選擇)：

MutualInformation(互信息)，Document Frequence(文檔頻率)，Information Gain(信息增益)，Chi-squared Test(卡方檢驗)，Gini(基尼係數)。

Outlier Detection(異常點檢測)：

Statistic-based(基於統計)，Distance-based(基於距離)，Density-based(基於密度)，Clustering-based(基於聚類)。

Learning to Rank(基於學習的排序)：

Pointwise：McRank；

Pairwise：RankingSVM，RankNet，Frank，RankBoost；

Listwise：AdaRank，SoftRank，LamdaMART；