ApacheCN 數據科學/人工智能/機器學習知識樹 2019.2

• 【主頁】 apachecn.org
• 【Github】@ApacheCN
• 暫時下線: 社區
• 暫時下線: cwiki 知識庫

• 自媒體平臺

  • 微博：@ApacheCN
  • 知乎：@ApacheCN
  • CSDN
  • 簡書
  • OSChina
  • 博客園
• 咱們不是 Apache 的官方組織/機構/團體，只是 Apache 技術棧（以及 AI）的愛好者！
• 合做or侵權，請聯繫【fonttian】<fonttian@gmail.com> | 請抄送一份到 <apachecn@163.com>

• 預處理

  • 離散化

    • 等值分箱
    • 等量分箱
    • 獨熱 one-hot

  • 標準化

    • 最小最大 min-max
    • z-score
    • l2 標準化
    • 歸一化

  • 特徵選擇

    • ANOVA
    • 信息增益/信息增益率

• 模型驗證

  • 評價指標

    • 迴歸

      • MSE
      • R 方

    • 分類

      • 準確率
      • 精確率
      • 召回率
      • F1 得分
      • 宏平均 F1
      • 微平均 F1

    • 聚類

      • 互信息
      • 輪廓距離

  • 交叉驗證

    • K 折
  • 網格搜索

• 最優化方法

  • 梯度降低
  • 隨機梯度降低 SGD
  • 牛頓法/擬牛頓法
  • 動量法
  • RMSProp
  • Adam

• 傳統機器學習

  • 基本概念

    • 欠擬合/過擬合

    • 距離

      • 漢明距離
      • 曼哈頓距離
      • 歐幾里得距離
      • 切比雪夫距離
      • 餘弦類似度
      • pearson 類似度

    • 損失函數

      • MSE
      • 交叉熵
      • Hinge

  • 線性模型

    • 線性迴歸

    • Lasso/嶺迴歸

      • 正則化
    • 邏輯迴歸
    • softmax 迴歸

  • 支持向量機

    • 拉格朗日對偶
    • 軟邊界支持向量機
    • 核方法

  • 樹和森林

    • 決策樹
    • 隨機森林
    • GDBT/XGBoost
    • LightGBM

  • 集成學習

    • Bagging

    • Boosting

      • Adaboost
    • Blending/Stacking
  • KNN

  • 聚類

    • KMenas

    • 層次聚類

      • 凝聚聚類
      • 分裂聚類
    • DBSCAN
    • 譜聚類
    • 高斯混合模型 GMM

  • 機率圖

    • 樸素貝葉斯
    • 隱馬爾科夫 HMM

  • 降維

    • PCA/SVD
    • T-SNE

• 深度學習

  • 基本概念

    • 正向傳播
    • 反向傳播

    • 激活函數

      • sigmoid
      • softmax
      • tanh
      • ReLU
      • ELU
      • Leaky ReLU
    • 丟棄 Dropout
    • 微調 Fine-Tune
    • 批量歸一化 BatchNorm

  • 前饋神經網絡 DNN/多層感知機 MLP

    • 輸入層
    • 隱層
    • 輸出層

  • 卷積神經網絡 CNN

    • 層

      • 卷積層
      • 池化層
      • 全鏈接層

    • 經典結構

      • LeNet
      • AlexNet
      • ZFNet
      • GoogLeNet
      • VGG
      • ResNet
      • DenseNet

  • 循環神經網絡 RNN

    • 循環層

    • 經典結構

      • LSTM
      • GRU
      • BiLSTM
      • 注意力
      • Seq2Seq

  • 自編碼器

    • 棧式自編碼器
    • 稀疏自編碼器
    • 去噪自編碼器
    • 變分自編碼器

  • 生成對抗網絡 GAN

    • DCGAN

• 應用領域（待擴展）

  • 推薦系統
  • 機器視覺 CV
  • 天然語言處理 NLP
  • 生物信息

• 經常使用工具

  • 數據分析

    • NumPy
    • Pandas

  • 科學計算

    • SciPy

  • 可視化

    • Matplotlib
    • Seaborn

  • 機器學習

    • scikit-learn/sklearn
    • XGBoost
    • LightGBM

  • 深度學習

    • Keras
    • TensorFlow
    • PyTorch