學習筆記DL001:數學符號、深度學習的概念

數學符號。

數和數組。?，標量(整數或實數)。?，向量。?，矩陣。?，張量。??，?行?列單位矩陣。?，維度蘊含上下文單位矩陣。?⁽ⁿ⁾，標準基向量[0,…,0,10,…,0]，其中索引n處值爲1。diag(?)，對象方陣，其中對象元素由?給定。a，標量隨機變量。?，向量隨機變量。?，矩陣隨機變量。

集合和圖。?，集合。ℝ，實數集。{0,1}，包含0和1集合。{0,1,…,?}，包含0和?之間全部整數的集合。[?,?]，包含?和?的實數區間。(?,?]，不包含?但包含?的實數區間。??，差集，即其元素包含於?但不包含於?。?，圖。???(??)，圖?中??的父節點。

索引。??，向量?的第?個元素，其中索引從1開始。?₋?，除了第?個元素，?的全部元素。??,?，矩陣?的?,?元素。??,:，矩陣?的第?行。?:,?，矩陣?的第?列。??,?,k，3維張量?的(?,?,?)元素。?:,:,?，3維張量?的2維切片。a?，隨機向量?的第?個元素。

線性代數操做。?⫟，矩陣?的轉置。?⁺，?的Moore-Penrose僞造。?⨀?，?和?的逐元素乘積(Hadamard乘積)。???(?)，?的行列式。

微積分。??/??，y關於x的導數。∂?/∂?，y關於x的偏導。∇??，y關於x的梯度。∇??，y關於?的矩陣導數。∇??，y關於?求導後的張量。∂?/∂?，?:ℝⁿ->ℝⁿⁿ的Jacobian矩陣?∈ℝ⁽m*n⁾。∇⁽?⁾₍x₎?(x)or?(?)(x)，?在點?處的Hessian矩陣。∫?(?)??，?整個域上的定積分。∫??(?)??，集合?上關於?定積分。

機率和信息論。a⊥b，a和b相互獨立的隨機變量。a⊥b|c，給定c後條件獨立。P(a)，離散變量上的機率分佈。p(a)，連續變量(或變量類型未指定時)上的機率分佈。a~P，具備分佈P的隨機變量a。Ex~p[?(?)]or??(?)，?(?)關於P(?)的指望。Var(?(?))，?(?)在分佈P(?)下的方差。Cov(?(?),?(?))，?(?)和?(?)在分佈P(?)下的協方差。?(?)，隨機變量?的香濃熵。???(?||?)，?和?的??散度。?(?;?,∑)，均值爲?，協方差爲∑，?上的高斯分佈。?:?->?，定義域爲?值域爲?的函數?。?∘?，?和?的組合。?(?:θ)，由θ參數化，關於?的函數(有時爲簡化表示，忽略θ，記爲?(?))。log?，?的天然對數。σ(?)，Logistic sigmoid，1/(1+exp(-?))。?(?)，Softplus,log(1+exp(?))。||?||p，?的L⁽p⁾範數。||?||，?的L⁽2⁾範數。?⁺，?的正數部分，max(0,?)。1condition，若是條件爲真則爲1，不然爲0。用函數?，參數是一個標量，應用到一個向量、矩陣或張量:?(?)、?(?)或?(?)。表示逐元素將?應用於數組。?=σ(?)，對於全部合法的i、j和k，?i,j,k=σ(?i,j,k)。

數據集和分佈。?data，數據生成分佈。?train，由訓練集定義的經驗分佈。?，訓練樣本的集合。?⁽?⁾，數據集的第?個樣本(輸入)。?⁽?⁾或?⁽?⁾，監督學習中與?⁽?⁾關聯的目標。?，? x ?的矩陣，行??,:爲輸入樣本?⁽?⁾。

古希臘時期，神話人物皮格馬利翁(Pygmalion)、代達羅斯(Daedalus)和赫淮斯托斯(Hephaestus)傳說發明家。加拉蒂亞(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人類第一次構思可編程計算機，思考變智能(離造出第一計算機一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)衆多實際應用、活躍研究課題領域，蓬勃發展。智能軟件自動處理常規勞動、理解語音圖像、幫助醫學論斷、支持基礎科學研究。

早期，計算機相對簡單問題迅速解決，形式化數學規則描述問題。挑戰，很難形式化描述任務，如人說話、圖中臉。解決方案，計算機從經驗學習，根據層次化概念體系理解世界。概念經過相對簡單概念關係定義。計算從經驗獲取知識，避免人類給計算機形式化指定知識。層次化概念讓計算機構建簡單概念學習複雜概念。概念創建在彼此之上的圖，一張深(多層次)圖。AI深度學習(deep learning)。

參考資料：
《深度學習》

歡迎推薦上海機器學習工做機會，個人微信：qingxingfengzi