學習筆記TF045:人工智能、深度學習、TensorFlow、比賽、公司

人工智能，用計算機實現人類智能。機器經過大量訓練數據訓練，程序不斷自我學習、修正訓練模型。模型本質，一堆參數，描述業務特色。機器學習和深度學習(結合深度神經網絡)。

傳統計算機器下棋，貪婪算法，Alpha-Beta修剪法配合Min-Max算法。
AlphaGo，蒙特卡洛樹搜索法(Monte Carlo tree search,MCTS)和深度卷積神經網絡(deep convolutional neural network,DCNN)。估值網絡(value network，盤面評估函數)，計算盤面分類。策略網絡(policy network)，計算每一個棋機率、勝率。訓練模型過程，分類方法獲得直接策略，直接策略對歷史棋局資料庫進行神經網絡學習(深度卷積神經網絡)獲得習得策略，強化學習自我對局(蒙特卡洛樹狀搜尋法)獲得改良策略，迴歸總體統計獲得估值網絡。谷歌《Nature》論文，《Mastering the game of Go with deep neural networks and tree search》。

深度學習。前身 是人工神經網絡(artificial neural network,ANN)，模仿人腦神經元傳遞、處理信息模式。輸入層(input layer)輸入訓練數據，輸出層(output layer)輸出計算結果，中間隱藏層(hidden layer)向前傳播數據。

數據預處理，圖片，圖像居中、灰度調整、梯度銳化、去除噪聲、傾斜度調整。輸入神經網絡第一層，第一層提取圖像特徵，有用向下傳遞，最後一層輸出結果。前向傳播(forword propagation)。分類機率向量，前5機率值。

深度學習，利用已知數據學習模型，在未知數據作出預測。神經元特性，激活函數(activation function)，非線性函數，輸入非線性變化，前向傳播；成本函數(cost function),定量評估預測值和真實值差距，調整權重參數，減小損失，反向傳播(backword propagation)。

神經網絡算法核心，計算、鏈接、評估、糾錯、訓練。深度學習增長中間隱藏層數和神經元數，網絡變深變寬，大量數據訓練。

分類(classification)。輸入訓練數據特徵(feature)、標記(label)，找出特徵和標記映射關係(mapping)，標記糾正學習誤差，提升預測率。有標記學習爲監督學習(supervised learning)。無監督學習(unsuperVised learning)，數據只有特徵沒有標記。訓練不指定明確分類，數據聚羣結構，類似類型彙集一塊兒。沒有標記數據分組合，聚類(clustering)；成功激勵制度，強化學習(reinforcement learning,RL)。延遲獎賞與訓練相關，激勵函數得到狀態行動映射，適合連續決策領域。半監督學習(semi-supervised learning)，訓練數據部分有標記，部分沒有，數據分佈必然不徹底隨機，結合有標記數據局部特徵，大量無標記數據總體分佈，獲得較好分類結果。有監督學習(分類、迴歸)-半監督學習(分類、迴歸)-半監督聚類(標記不肯定)-無監督學習(聚類)。

深度學習入門，算法知識、大量數據、計算機(最好GPU)。
學習數學知識，訓練過程涉及過程抽象數學函數，定義網絡結構，定義線性非線性函數，設定優化目標，定義損失函數(loss function)，訓練過程求解最優解次優解，基本機率統計、高等數學、線性代數，知道原理、過程，興趣涉獵推導證實。

經典機器學習理論、基本算法，支持向量機、邏輯迴歸、決策樹、樸素貝葉斯分類器、隨機森林、聚類算法、協同過濾、關聯性分析、人工神經網絡、BP算法、PCA、過擬合、正則化。

編程工具(語言)，Python解釋型、面向對象、動態數據類型高級程序設計語言，線性代數庫、矩陣操做，Numpy、Pandas第三方庫，機器學習庫sklearn，SVM、邏輯迴歸，MATLAB，R，C++，Java，Go。

經典論文，最新動態研究成果，手寫數據字識別，LeNet，物體目標檢測，MSCNN，博客、筆記、微信公衆號、微博、新媒體資訊，新訓練方法，新模型。

本身動手訓練神經網絡，選擇開源深度學習框架，主要考慮用的人多，方向主要集中視覺、語音，初學最好從計算機視覺入手，用各類網絡模型訓練手寫數字(MNIST)、圖像分類(CIFAR)數據集。

學入興趣工做領域，計算機視覺，天然語言處理，預測，圖像分類、目標檢測、視頻目標檢測，語音識別、語音合成、對話系統、機器翻譯、文章摘要、情感分析，醫學行業，醫學影像識別，淘寶穿衣，衣服搭配，款式識別，保險、通訊客服，對話機器人智能問答系統，智能家居，人機天然語言交互。

工做問題，準確率、壞案例(bad case)、識別速度，可能瓶頸，結合具體行業領域業務創新，最新科研成果，調整模型，更改模型參數，貼近業務需求。

傳統基於規則，依賴知識。統計方法爲核心機器學習，重要的是作特徵工程(feature engineering)，調參，根據領域經驗提取特徵，文字等抽象領域，特徵相對容易提取，語音一維時域信號、圖像二維空域信號等領域，提取特徵困難。深度學習，神經網絡每層自動學習特徵。TensorFlow深度學習開源工具。

TensorFlow支持異構設備分佈式計算(heterogeneous distributed computing)。異構，包含不一樣成分，異構網絡、異構數據庫。異構設備，CPU、GPU核心協同合做。分佈式架構調度分配計算資源、容錯。TensorFlow支持卷積神經網絡(convolutional neural network,CNN)、循環神經網絡(recurrent neural network,RNN)，長短時間記憶網絡(long short-term memory,LSTM,RNN特例)。

《The Unreasonable Effectiveness of Recurrent Neural Networks》。Tensor庫對CPU/GPU透明，不一樣設備運行由框架實現，用戶指定什麼設置作什麼運算。徹底獨立代碼庫，腳本語言(Python)操做Tensor，實現全部深度學習內容，前向傳播、反向傳播、圖形計算。共享訓練模型，TensorFlow slim模塊。沒有編譯過程，更大更復雜網絡，可解釋性，有效日誌調試。

研究人羣。學者，深度學習理論研究，網絡模型，修改參數方法和理論，產耱科研前沿，理論研究、模型實驗，新技術新理論敏感。算法改進者，現有網絡模型適配應用，達到更好立人日木，模型改進，新算法改進應用現有模型，爲上層應用提供優良模型。工業研究者，掌握各類模型網絡結構、算法實現，閱讀優秀論文，復現成果，應用工業，主流人羣。

TensorFlow工業優點，基於服務端大數據服務(谷歌雲平臺、搜索)，面向終端用戶移動端(Android)和嵌入式。模型壓縮、8位低精度數據存儲。

TensorFlow特性。高度靈活性(deep flexibility)，數據流圖(data flow graph)數值計算，只須要構建圖，書寫計算內部循環，自定義上層庫。真正可移植性(true portability)，CPU、GPU、臺式機、服務器、移動端、雲端服務器、Docker容器。產研結合(connect research and production)，快速試驗框架，新算法，訓練模型。自動求微分(auto-differentiation)，只須要定義預測模型結構、目標函數，添加數據。多語言支持(language options)，Python、C++、Java接口，C++實現核心，Jupyter Notebook，特徵映射(feature map)，自定義其餘語言接口。優化性能(maximize performance)，線程、隊列、分佈式計算支持，TensorFlow數據流圖不一樣計算元素分配不一樣設備，最大化利用硬件資源。

應用公司。谷歌、京東、小米、Uber、eBay、Dropbox、Airbnb。

2016.4，0.8版支持分佈式、多GPU。2016.6，0.9版支持移動設備。2017.2，1.0版Java、Go實驗API，專用編譯器XLA、調試工具Debugger，tf.transform數據預處理，動態圖計算TensorFlow Fold。

機器學習賽事。
ImageNet ILSVRC(ImageNet Large Scale Visual Recognition Challenge，大規模視覺識別挑戰賽)，對象檢測、圖像識別算法。2010年開始，最大圖像識別數據庫，1500萬張有標記高分辨率圖像數據集，22000類別，比寒用1000類別各1000圖像，120萬訓練圖像，5萬驗證圖像，15萬測試圖像。每一年邀請知名IT公司測試圖片分類系統。Top-1,預測輸出機率最高類別錯誤率。Top-5,預測輸出機率前五類別錯誤率。2016，CUImage目標檢測第一，商湯科技、香港中文大學；CUvideo視頻物體檢測子項目第一，商湯科技、香港中文大學；SenseCUSceneParsing場景分析第一，商湯科技、香港中文大學；Trimps-Soushen目標定位第一，公安部三所NUIST視頻物體探測兩個子項目第一，南京信息工程大學；Hikvvision場景分類第一，海康威視；
Kaggel，2010年成立，數據發掘、數據分析預測競賽在線平臺。公司出數據出錢，計算機科學家、數學家、數據科學家領取任務，提供解決方案。3萬到25萬美圓獎勵。
天池大數據競賽，阿里，穿衣搭配、微博互動預測、用戶重複購買行爲預測，賽題攻略。

國內人工智能公司。騰訊優圖、阿里雲ET、百度無人駕駛，搜狗、雲從科技、商湯科技、崑崙萬維、格靈深瞳。
陌上花科技，衣+(dress+)，圖像識別、圖像搜索、特體追蹤檢測是、圖片自動化標記、圖像視頻智能分析、邊看邊買、人臉識別分析。曠視科技，Face++，人臉識別精度，美顏，支付。科大訊飛，語音識別、語音合成、語言云、分詞、詞性標註、命名實體識別、依存句法分析、語義角色標註。地平線，嵌入式。

參考資料：
《TensorFlow技術解析與實戰》

歡迎付費諮詢(150元每小時)，個人微信：qingxingfengzi