機器學習技術點----apachecn的github地址

• 預處理

  • 離散化
    • 等值分箱
    • 等量分箱
    • 獨熱 one-hot
  • 標準化
    • 最小最大 min-max
    • z-score
    • l2 標準化
    • 歸一化
  • 特徵選擇
    • ANOVA
    • 信息增益/信息增益率

• 模型驗證

  • 評價指標
    • 迴歸
      • MSE
      • R 方
    • 分類
      • 準確率
      • 精確率
      • 召回率
      • F1 得分
      • 宏平均 F1
      • 微平均 F1
    • 聚類
      • 互信息
      • 輪廓距離
  • 交叉驗證
    • K 折
  • 網格搜索

• 最優化方法

  • 梯度降低
  • 隨機梯度降低 SGD
  • 牛頓法/擬牛頓法
  • 動量法
  • RMSProp
  • Adam

• 傳統機器學習

  • 基本概念
    • 欠擬合/過擬合
    • 距離
      • 漢明距離
      • 曼哈頓距離
      • 歐幾里得距離
      • 切比雪夫距離
      • 餘弦類似度
      • pearson 類似度
    • 損失函數
      • MSE
      • 交叉熵
      • Hinge
  • 線性模型
    • 線性迴歸
    • Lasso/嶺迴歸
      • 正則化
    • 邏輯迴歸
    • softmax 迴歸
  • 支持向量機
    • 拉格朗日對偶
    • 軟邊界支持向量機
    • 核方法
  • 樹和森林
    • 決策樹
    • 隨機森林
    • GDBT/XGBoost
    • LightGBM
  • 集成學習
    • Bagging
    • Boosting
      • Adaboost
    • Blending/Stacking
  • KNN
  • 聚類
    • KMenas
    • 層次聚類
      • 凝聚聚類
      • 分裂聚類
    • DBSCAN
    • 譜聚類
    • 高斯混合模型 GMM
  • 機率圖
    • 樸素貝葉斯
    • 隱馬爾科夫 HMM
  • 降維
    • PCA/SVD
    • T-SNE

• 深度學習

  • 基本概念
    • 正向傳播
    • 反向傳播
    • 激活函數
      • sigmoid
      • softmax
      • tanh
      • ReLU
      • ELU
      • Leaky ReLU
    • 丟棄 Dropout
    • 微調 Fine-Tune
    • 批量歸一化 BatchNorm
  • 前饋神經網絡 DNN/多層感知機 MLP
    • 輸入層
    • 隱層
    • 輸出層
  • 卷積神經網絡 CNN
    • 層
      • 卷積層
      • 池化層
      • 全鏈接層
    • 經典結構
      • LeNet
      • AlexNet
      • ZFNet
      • GoogLeNet
      • VGG
      • ResNet
      • DenseNet
  • 循環神經網絡 RNN
    • 循環層
    • 經典結構
      • LSTM
      • GRU
      • BiLSTM
      • 注意力
      • Seq2Seq
  • 自編碼器
    • 棧式自編碼器
    • 稀疏自編碼器
    • 去噪自編碼器
    • 變分自編碼器
  • 生成對抗網絡 GAN
    • DCGAN

• 應用領域（待擴展）

  • 推薦系統
  • 機器視覺 CV
  • 天然語言處理 NLP
  • 生物信息

• 經常使用工具

  • 數據分析
    • NumPy
    • Pandas
  • 科學計算
    • SciPy
  • 可視化
    • Matplotlib
    • Seaborn
  • 機器學習
    • scikit-learn/sklearn
    • XGBoost
    • LightGBM
  • 深度學習
    • Keras
    • TensorFlow
    • PyTorch