Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine L

 

 

未經做者容許，禁止轉載： BooTurbo https://www.cnblogs.com/booturbo/p/14124207.html

 

Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning

翻譯書名：計算機科學和機器學習中的數學——代數，拓撲，微積分及優化理論

 

目錄

 

1 Introduction

      序言

2 Groups, Rings, and Fields

      羣，環，域

2.1 Groups, Subgroups, Cosets

      羣，子羣，陪集

2.2 Cyclic Groups

      循環羣

2.3 Rings and Fields

      環，域

 

Ⅰ Linear Algebra

      線性代數

3 Vector Spaces, Bases, Linear Maps

      向量空間，基，線性變換

3.1 Motivations: Linear Combinations, Linear Independence, Rank

      動機：線性組合，線性無關，秩

3.2 Vector Spaces

      向量空間

3.3 Indexed Families; the Sum Notation

      索引族，求和符號

3.4 Linear Independence, Subspaces

      線性無關，子空間

3.5 Bases of a Vector Space

      向量空間的基

3.6 Matrices

      矩陣

3.7 Linear Maps

      線性變換

3.8 Quotient Spaces

      商空間

3.9 Linear Forms and the Dual Space

      線性泛函，對偶空間

4 Matrices and Linear Maps

      矩陣與線性變換

4.1 Representation of Linear Maps by Matrices

      以矩陣形式表示線性變換

4.2 Composition of Linear Maps and Matrix Multiplication

      線性變換與矩陣乘法的組合

4.3 Change of Basis Matrix

      基變換矩陣

4.4 The Effect of a Change of Bases on Matrices

      基變換對矩陣的影響

5 Haar Bases, Haar Wavelets, Hadamard Matrices

      哈爾基，哈爾小波，阿達馬矩陣

5.1 Introduction to Signal Compression Using Haar Wavelets

      使用哈爾小波進行信號壓縮的相關介紹

5.2 Haar Matrices, Scaling Properties of Haar Wavelets

      哈爾矩陣，哈爾小波的尺度屬性

5.3 Kronecker Product Construction of Haar Matrices

      哈爾矩陣的克羅內克積構造

5.4 Multiresolution Signal Analysis with Haar Bases

      使用哈爾基進行多分辨率信號分析

5.5 Haar Transform for Digital Images

      應用於數字圖像的哈爾變換

5.6 Hadamard Matrices

      阿達馬矩陣

6 Direct Sums

      直和

6.1 Sums, Direct Sums, Direct Products

      求和，直和，直積

6.2 The Rank-Nullity Theorem; Grassmann's Relation

      秩-零化度定理，格拉斯曼關係

7 Determinants

      行列式

7.1 Permutations, Signature of a Permutation

      排列，排列的符號

7.2 Alternating Multilinear Maps

      交替多重線性映射

7.3 Definition of a Determinant

      行列式的定義

7.4 Inverse Matrices and Determinants

      逆矩陣與行列式

7.5 Systems of Linear Equations and Determinants

      線性方程組與行列式

7.6 Determinant of a Linear Map

      線性映射的行列式

7.7 The Cayley-Hamilton Theorem

      凱萊-哈密頓定理

7.8 Permanents

      積和式

7.9 Summary

      總結

7.10 Further Readings

      深刻閱讀

7.11 Problems

      問題

8 Gaussian Elimination, LU, Cholesky, Echelon Form

      高斯消元法，LU分解法，Cholesky分解，階梯形矩陣

8.1 Motivating Example: Curve Interpolation

      動機示例：曲線插值

8.2 Gaussian Elimination

      高斯消元法

8.3 Elementary Matrices and Row Operations

      初等矩陣與行運算

8.4 LU-Factorization

      LU-分解因式

8.5 PA = LU Factorization

      PA等於LU分解因式

8.6 Proof of Theorem 8.5 

      定理8.5的證實

8.7 Dealing with Roundoff Errors; Pivoting Strategies

      處理舍入偏差，主元消去法

8.8 Gaussian Elimination of Tridiagonal Matrices

      三對角矩陣的高斯消元

8.9 SPD Matrices and the Cholesky Decomposition

      對稱正定矩陣與Cholesky 分解

8.10 Reduced Row Echelon Form

      簡化行階梯形矩陣

8.11 RREF, Free Variables, Homogeneous Systems

      簡化行階梯形矩陣，自由變量，齊次線性方程組

8.12 Uniqueness of RREF

      簡化行階梯形矩陣的獨特性

8.13 Solving Linear Systems Using RREF

      使用RREF求解線性方程組

8.14 Elementary Matrices and Columns Operations

      初等矩陣與列運算

8.15 Transvections and Dilatations

      錯切與膨脹

9 Vector Norms and Matrix Norms

      向量範數和矩陣範數

9.1 Normed Vector Spaces

      賦範向量空間

9.2 Matrix Norms

     矩陣範數

9.3 Subordinate Norms

      從屬範數

9.4 Inequalities Involving Subordinate Norms

      從屬範數相關的不等式

9.5 Condition Numbers of Matrices

      矩陣的條件數

9.6 An Application of Norms: Inconsistent Linear Systems

      範數的應用之一：不相容線性方程組

9.7 Limits of Sequences and Series

      數列與級數的極限

9.8 The Matrix Exponential

      矩陣指數

10 Iterative Methods for Solving Linear Systems

      用於求解線性方程組的迭代法

10.1 Convergence of Sequences of Vectors and Matrices

      向量和矩陣序列的收斂

10.2 Convergence of Iterative Methods

       迭代法的收斂

10.3 Methods of Jacobi, Gauss-Seidel, and Relaxation

       雅可比法，高斯-賽德爾迭代法，鬆弛法

10.4 Convergence of the Methods

       這些方法的收斂

10.5 Convergence Methods for Tridiagonal Matrices

       三對角矩陣的收斂法

11 The Dual Space and Duality

       對偶空間及對偶

11.1 The Dual Space E* and Linear Forms

       對偶空間和線性泛函

11.2 Pairing and Duality Between E and E*     

       E 和 E* 之間的配對與對偶

11.3 The Duality Theorem and Some Consequences 

       對偶定理和一些結論

11.4 The Bidual and Canonical Pairings 

       雙對偶和標準配對

11.5 Hyperplanes and Linear Forms

       超平面和線性泛函

11.6 Transpose of a Linear Map and of a Matrix

       線性映射的轉置及矩陣的轉置

11.7 Properties of the Double Transpose

       雙重轉置的屬性

11.8 The Four Fundamental Subspaces

       四個基本子空間

12 Euclidean Spaces

       歐幾里得空間

12.1 Inner Products, Euclidean Spaces

       內積，歐幾里得空間

12.2 Orthogonality and Duality in Euclidean Spaces

       歐幾里得空間中的正交和對偶

12.3 Adjoint of a Linear Map

       線性映射的伴隨

12.4 Existence and Construction of Orthonormal Bases

       標準正交基的存在與構造

12.5 Linear Isometries (Orthogonal Transformations)

       線性等距同構（正交變換）

12.6 The Orthogonal Group, Orthogonal Matrices

       正交羣，正交矩陣

12.7 The Rodrigues Formula

       羅德里格公式

12.8 QR-Decomposition for Invertible Matrices

       用於可逆矩陣的QR分解

12.9 Some Applications of Euclidean Geometry

       歐幾里得幾何的一些應用

13 QR-Decomposition for Arbitrary Matrices

       用於任意矩陣的QR分解

13.1 Orthogonal Reflections

       正交映射

13.2 QR-Decomposition Using Householder Matrices

       使用豪斯霍爾德矩陣進行QR分解

14 Hermitian Spaces

       埃爾米特空間

14.1 Hermitian Spaces, Pre-Hilbert Spaces

       埃爾米特空間，準希爾伯特空間

14.2 Orthogonality, Duality, Adjoint of a Linear Map

       線性映射的正交，對偶，伴隨

14.3 Linear Isometries (Also Called Unitary Transformations)

       線性等距同構（又稱做幺正變換）

14.4 The Unitary Group, Unitary Matrices

       酉羣，酉矩陣（幺正矩陣）

14.5 Hermitian Reflections and QR-Decomposition

       埃爾米特映射和QR分解

14.6 Orthogonal Projections and Involutions

       正交投影與對合

14.7 Dual Norms

       對偶範數

15 Eigenvectors and Eigenvalues

        特徵向量和特徵值

15.1 Eigenvectors and Eigenvalues of a Linear Map

       線性變換的特徵向量和特徵值

15.2 Reduction to Upper Triangular Form

       簡化成上三角形

15.3 Location of Eigenvalues

       特徵值的位置

15.4 Conditioning of Eigenvalue Problems

       特徵值問題的調節

15.5 Eigenvalues of the Matrix Exponential

       矩陣指數的特徵值

16 Unit Quaternions and Rotations in SO(3)

       SO(3)中的單位四元數和旋轉

16.1 The Group SU(2) and the Skew Field H of Quaternions

        SU(2)羣 和 四元數的除環H

16.2 Representation of Rotation in SO(3) By Quaternions in SU(2)    

       以SU(2)中的四元數來表示SO(3)中的旋轉

16.3 Matrix Representation of the Rotation r_q

       旋轉r_q 的矩陣表示

16.4 An Algorithm to Find a Quaternion Representing a Rotation

       一種找出一個四元數來表示旋轉的算法

16.5 The Exponential Map exp : su(2) → SU(2)

       指數映射exp: su(2) → SU(2)

16.6 Quaternion Interpolation 

       四元數插值

16.7 Nonexistence of a 「Nice」 Section from SO(3) to SU(2)       

       在SO(3)和SU(2)之間不存在優選

17 Spectral Theorems

       譜定理

17.1 Introduction

       介紹

17.2 Normal Linear Maps: Eigenvalues and Eigenvectors

       正規線性映射：特徵值和特徵向量

17.3 Spectral Theorem for Normal Linear Maps

       用於正規線性映射的譜定理

17.4 Self-Adjoint and Other Special Linear Maps

       自伴隨和其餘特殊線性映射

17.5 Normal and Other Special Matrices

       正規算子和其餘特殊矩陣

17.6 Rayleigh–Ritz Theorems and Eigenvalue Interlacing

       瑞利里茲定理和特徵值交錯

17.7 The Courant–Fischer Theorem; Perturbation Results

       最大最小定理；攝動理論

18 Computing Eigenvalues and Eigenvectors

       計算特徵值和特徵向量

18.1 The Basic QR Algorithm

       基本QR算法

18.2 Hessenberg Matrices

       黑森貝格矩陣

18.3 Making the QR Method More Efficient Using Shifts

       使用移位使QR方法更高效

18.4 Krylov Subspaces; Arnoldi Iteration

       Krylov子空間；Arnoldi迭代法

18.5 GMRES

       廣義最小殘量方法

18.6 The Hermitian Case; Lanczos Iteration

       埃爾米特情形；蘭喬斯迭代法

18.7 Power Methods

       冪迭代算法

19 Introduction to The Finite Elements Method

       介紹有限元方法

19.1 A One-Dimensional Problem: Bending of a Beam

       一維問題：梁彎曲

19.2 A Two-Dimensional Problem: An Elastic Membrane

       二維問題：彈性膜

19.3 Time-Dependent Boundary Problems

       時間依賴邊界問題

20 Graphs and Graph Laplacians; Basic Facts

       圖和圖拉普拉斯；基本事實       

20.1 Directed Graphs, Undirected Graphs, Weighted Graphs

       有向圖，無向圖，加權圖

20.2 Laplacian Matrices of Graphs

       圖的拉普拉斯矩陣

20.3 Normalized Laplacian Matrices of Graphs

       圖的歸一化拉普拉斯矩陣

20.4 Graph Clustering Using Normalized Cuts

       使用歸一化割進行圖聚類

21 Spectral Graph Drawing

       譜圖繪製

21.1 Graph Drawing and Energy Minimization

        圖繪製和能量最小化

21.2 Examples of Graph Drawings

        圖繪製的示例

22 Singular Value Decomposition and Polar Form

        奇異值分解和極式

22.1 Properties of f* ◦ f

        f* ◦ f 的性質

22.2 Singular Value Decomposition for Square Matrices

       用於方塊矩陣的奇異值分解

22.3 Polar Form for Square Matrices

       方塊矩陣的極式

22.4 Singular Value Decomposition for Rectangular Matrices

       長方陣的奇異值分解

22.5 Ky Fan Norms and Schatten Norms

       Ky Fan 範數和 Schatten範數

23 Applications of SVD and Pseudo-Inverses

       奇異值分解和僞逆的應用

23.1 Least Squares Problems and the Pseudo-Inverse

       最小二乘問題和僞逆

23.2 Properties of the Pseudo-Inverse

       僞逆的性質

23.3 Data Compression and SVD

       數據壓縮和奇異值分解

23.4 Principal Components Analysis (PCA)

       主成分分析

23.5 Best Affine Approximation

       最佳仿射逼近

 

II Affine and Projective Geometry

       仿射與射影幾何

24 Basics of Affine Geometry

       仿射幾何基礎

24.1 Affine Spaces

       仿射空間

24.2 Examples of Affine Spaces

       仿射空間示例

24.3 Chasles’s Identity

       查理特徵（定理）

24.4 Affine Combinations, Barycenters

       仿射組合，質心

24.5 Affine Subspaces

       仿射子空間

24.6 Affine Independence and Affine Frames

       仿射無關性 和 仿射標架

24.7 Affine Maps

       仿射映射

24.8 Affine Groups

       仿射羣

24.9 Affine Geometry: A Glimpse

       仿射幾何學一覽

24.10 Affine Hyperplanes

       仿射超平面

24.11 Intersection of Affine Spaces

       交叉仿射空間

25 Embedding an Affine Space in a Vector Space

       在向量空間中嵌入仿射空間

25.1 The 「Hat Construction,」 or Homogenizing

       帽構造 或 均質化

25.2 Affine Frames of E and Bases of Ê

       E的仿射標架和 Ê的基

25.3 Another Construction of Ê

       Ê 的另外一種構造       

25.4 Extending Affine Maps to Linear Maps

       將仿射映射拓展到線性映射中

26 Basics of Projective Geometry

       射影幾何基礎

26.1 Why Projective Spaces?

       爲何是射影空間

26.2 Projective Spaces

       射影空間

26.3 Projective Subspaces

       射影子空間

26.4 Projective Frames

       射影框架（座標系）

26.5 Projective Maps

       射影變換

26.6 Finding a Homography Between Two Projective Frames

       在兩個射影座標系之間找出一個單應性矩陣

26.7 Affine Patches

       仿射快

26.8 Projective Completion of an Affine Space

       仿射空間的射影閉合

26.9 Making Good Use of Hyperplanes at Infinity

       善於利用無限遠超平面

26.10 The Cross-Ratio

       交比

26.11 Fixed Points of Homographies and Homologies

       單應性和透射的不動點

26.12 Duality in Projective Geometry

       射影幾何中的對偶

26.13 Cross-Ratios of Hyperplanes

       超平面的交比

26.14 Complexification of a Real Projective Space

       復化實射影空間

26.15 Similarity Structures on a Projective Space

       射影空間上的類似結構

26.16 Some Applications of Projective Geometry

       射影幾何的一些應用

 

III The Geometry of Bilinear Forms

       雙線性型幾何學

27 The Cartan–Dieudonné Theorem

       嘉當-迪厄多內定理

27.1 The Cartan–Dieudonné Theorem for Linear Isometries

       用於線性等距同構（變換）的嘉當-迪厄多內定理

27.2 Affine Isometries (Rigid Motions)

       仿射等距變換（剛體運動）

27.3 Fixed Points of Affine Maps

       仿射映射的不動點

27.4 Affine Isometries and Fixed Points

       仿射等距變換與不動點

27.5 The Cartan–Dieudonné Theorem for Affine Isometries

       用於仿射等距變換的嘉當-迪厄多內定理

28 Isometries of Hermitian Spaces

       埃爾米特空間的等距變換

28.1 The Cartan–Dieudonné Theorem, Hermitian Case

       嘉當-迪厄多內定理，埃爾米特情形

28.2 Affine Isometries (Rigid Motions)

       仿射等距變換（剛體運動）

29 The Geometry of Bilinear Forms; Witt’s Theorem

       雙線性型幾何；維特定理

29.1 Bilinear Forms

       雙線性型

29.2 Sesquilinear Forms

       半雙線性型

29.3 Orthogonality

       正交

29.4 Adjoint of a Linear Map

       伴隨線性變換

29.5 Isometries Associated with Sesquilinear Forms

       有關半雙線性型的等距變換

29.6 Totally Isotropic Subspaces

       全迷向子空間

29.7 Witt Decomposition

       維特分解

29.8 Symplectic Groups

       辛羣

29.9 Orthogonal Groups and the Cartan–Dieudonné Theorem

       正交羣與嘉當-迪厄多內定理

29.10 Witt’s Theorem

       維特定理

 

 

IV Algebra: PID’s, UFD’s, Noetherian Rings, Tensors, Modules over a PID, Normal Forms

       代數：主理想整環，惟一分解整環，諾特環，張量，主理想整環上的模，範式（標準型）

30 Polynomials, Ideals and PID’s

       多項式，環論中的（理想）和主理想整環

30.1 Multisets

       多重集

30.2 Polynomials

       多項式

30.3 Euclidean Division of Polynomials

       多項式的歐幾里得除法

30.4 Ideals, PID’s, and Greatest Common Divisors

       理想，主理想整環及最大公約數

30.5 Factorization and Irreducible Factors in K[X]

       K[X] 中的因式分解和不可約因子

30.6 Roots of Polynomials

       多項式的根

30.7 Polynomial Interpolation (Lagrange, Newton, Hermite)

       多項式插值（拉格朗日，牛頓，埃爾米特）

31 Annihilating Polynomials; Primary Decomposition

       零化多項式；準素分解

31.1 Annihilating Polynomials and the Minimal Polynomial

        零化多項式和極小多項式

31.2 Minimal Polynomials of Diagonalizable Linear Maps

       可對角化線性映射的極小多項式

31.3 Commuting Families of Linear Maps

       線性映射的交換族

31.4 The Primary Decomposition Theorem

        準素分解定理

31.5 Jordan Decomposition

        若爾當分解

31.6 Nilpotent Linear Maps and Jordan Form

        冪零線性變換和若爾當形式

32 UFD’s, Noetherian Rings, Hilbert’s Basis Theorem

       惟一分解整環，諾特環，希爾伯特基定理

32.1 Unique Factorization Domains (Factorial Rings)

       惟一分解整環（析因環/惟一分解環）

32.2 The Chinese Remainder Theorem

       中國剩餘定理（孫子定理）

32.3 Noetherian Rings and Hilbert’s Basis Theorem

       諾特環和希爾伯特基定理

32.4 Futher Readings

        深刻閱讀

33 Tensor Algebras

       張量代數

33.1 Linear Algebra Preliminaries: Dual Spaces and Pairings

       線性代數預備知識：對偶空間和配對

33.2 Tensors Products

       張量積

33.3 Bases of Tensor Products

       張量積的基

33.4 Some Useful Isomorphisms for Tensor Products

       一些對於張量積有用的同構

33.5 Duality for Tensor Products

       用於張量積的對偶

33.6 Tensor Algebras

       張量代數

33.7 Symmetric Tensor Powers

       對稱張量冪

33.8 Bases of Symmetric Powers

       對稱冪的基

33.9 Some Useful Isomorphisms for Symmetric Powers

       一些對於對稱冪有用的同構

33.10 Duality for Symmetric Powers

       用於對稱冪的對偶

33.11 Symmetric Algebras

       對稱代數

34 Exterior Tensor Powers and Exterior Algebras

       外張量冪和外代數

34.1 Exterior Tensor Powers

       外張量冪

34.2 Bases of Exterior Powers

       外冪的基

34.3 Some Useful Isomorphisms for Exterior Powers

       一些對於外冪有用的同構

34.4 Duality for Exterior Powers

       用於外冪的對偶

34.5 Exterior Algebras

       外代數

34.6 The Hodge ∗-Operator

       霍奇星算子

34.7 Left and Right Hooks

       左右彎鉤

34.8 Testing Decomposability

       測試可分解性

34.9 The Grassmann-Plücker’s Equations and Grassmannians

       格拉斯曼-普呂克方程 和 格拉斯曼流形

34.10 Vector-Valued Alternating Forms

       向量值交錯型

35 Introduction to Modules; Modules over a PID

       模介紹；主理想整環上的模

35.1 Modules over a Commutative Ring

       交換環上的模

35.2 Finite Presentations of Modules

       有限表現的模

35.3 Tensor Products of Modules over a Commutative Ring

       交換環上的模張量積

35.4 Torsion Modules over a PID; Primary Decomposition

       主理想整環上的撓模；準素分解

35.5 Finitely Generated Modules over a PID

       主理想整環上的有限生成模

35.6 Extension of the Ring of Scalars

       標量環的擴張

36 Normal Forms; The Rational Canonical Form

       範式；有理標準型

36.1 The Torsion Module Associated With An Endomorphism

       有關自同態的撓模

36.2 The Rational Canonical Form

       有理標準型

36.3 The Rational Canonical Form, Second Version

       有理標準型，第二種版本

36.4 The Jordan Form Revisited

       回顧若爾當標準型

36.5 The Smith Normal Form

       史密斯標準型

 

V Topology, Differential Calculus

       拓撲學，微分學

37 Topology 

       拓撲學

37.1 Metric Spaces and Normed Vector Spaces

       度量空間與賦範線性空間

37.2 Topological Spaces       

       拓撲空間

37.3 Continuous Functions, Limits

       連續函數，極限

37.4 Connected Sets

       連通集

37.5 Compact Sets and Locally Compact Spaces

       緊集和局部緊空間

37.6 Second-Countable and Separable Spaces

       第二可數和可分空間

37.7 Sequential Compactness

       序列緊性

37.8 Complete Metric Spaces and Compactness

       徹底度量空間和緊緻性

37.9 Completion of a Metric Space

       度量空間的徹底化

37.10 The Contraction Mapping Theorem

       壓縮映射定理（又稱，Banach's Fixed Point Theorem 巴拿赫不動點定理）

37.11 Continuous Linear and Multilinear Maps

       連續線性與多重線性映射

37.12 Completion of a Normed Vector Space

       賦範向量空間的徹底化

37.13 Normed Affine Spaces

       賦範仿射空間

37.14 Futher Readings

       深刻閱讀

38 A Detour On Fractals

       分形上的繞行

38.1 Iterated Function Systems and Fractals

       迭代函數系統和分形

39 Differential Calculus

       微分學

39.1 Directional Derivatives, Total Derivatives

       方向導數，全微分

39.2 Jacobian Matrices

       雅可比矩陣

39.3 The Implicit and The Inverse Function Theorems

       隱函數定理和反函數定理

39.4 Tangent Spaces and Differentials

       切空間與微分

39.5 Second-Order and Higher-Order Derivatives

       二階導數與高階導數

39.6 Taylor’s formula, Faà di Bruno’s formula

       泰勒公式，Faà di Bruno公式

39.7 Vector Fields, Covariant Derivatives, Lie Brackets

       向量場，協變函數，李括號

39.8 Futher Readings

       深刻閱讀

 

VI Preliminaries for Optimization Theory

       優化理論所需的預備知識

40 Extrema of Real-Valued Functions

       實值函數的極值

40.1 Local Extrema and Lagrange Multipliers

       局部極值與拉格朗日乘數

40.2 Using Second Derivatives to Find Extrema

       使用二階導數求極值

40.3 Using Convexity to Find Extrema

       使用凸性求極值

41 Newton’s Method and Its Generalizations

       牛頓法及其推廣

41.1 Newton’s Method for Real Functions of a Real Argument

       牛頓法應用於實參的實函數

41.2 Generalizations of Newton’s Method

       牛頓法的推廣

42 Quadratic Optimization Problems

       二次優化問題

42.1 Quadratic Optimization: The Positive Definite Case

       二次優化：正定情形

42.2 Quadratic Optimization: The General Case

       二次優化：通常情形

42.3 Maximizing a Quadratic Function on the Unit Sphere

       最大化單位球面上的二次函數

43 Schur Complements and Applications

       舒爾補及應用

43.1 Schur Complements

       舒爾補

43.2 SPD Matrices and Schur Complements

       對稱正定矩陣和舒爾補

43.3 SP Semidefinite Matrices and Schur Complements

       對稱半正定矩陣和舒爾補

 

VII Linear Optimization

       線性優化

44 Convex Sets, Cones, H-Polyhedra

       凸集，錐，H-多面體

44.1 What is Linear Programming?

       什麼是線性規劃？

44.2 Affine Subsets, Convex Sets, Hyperplanes, Half-Spaces

       仿射子集，凸集，超平面，半空間

44.3 Cones, Polyhedral Cones, and H-Polyhedra

       錐，多面錐和H-多面體

45 Linear Programs

       線性規劃

45.1 Linear Programs, Feasible Solutions, Optimal Solutions

       線性規劃，可行解，最優解

45.2 Basic Feasible Solutions and Vertices

       基本可行解和頂點（圖論，或稱節點，node）

46 The Simplex Algorithm

       單純形法

46.1 The Idea Behind the Simplex Algorithm

       單純形法背後的想法

46.2 The Simplex Algorithm in General

       通常的單純形法

46.3 How to Perform a Pivoting Step Efficiently 

       如何高效地執行轉換步驟

46.4 The Simplex Algorithm Using Tableaux 

       使用 Tableaux 的單純形法

46.5 Computational Efficiency of the Simplex Method

       單純形法的計算效率

47 Linear Programming and Duality

       線性規劃與對偶

47.1 Variants of the Farkas Lemma

       法卡斯引理的變體

47.2 The Duality Theorem in Linear Programming 

       線性規劃中的對偶定理

47.3 Complementary Slackness Conditions

       互補鬆弛條件

47.4 Duality for Linear Programs in Standard Form

       對偶用於標準型線性規劃

47.5 The Dual Simplex Algorithm

       對偶單純形法

47.6 The Primal-Dual Algorithm

       原始對偶法

 

VIII NonLinear Optimization

       非線性優化

48 Basics of Hilbert Spaces

       希爾伯特空間基礎

48.1 The Projection Lemma, Duality

       射影引理，對偶

48.2 Farkas–Minkowski Lemma in Hilbert Spaces

       希爾伯特空間中的法卡斯-閔可夫斯基引理

49 General Results of Optimization Theory

       優化理論的通常結果

49.1 Optimization Problems; Basic Terminology

       優化問題；基本術語

49.2 Existence of Solutions of an Optimization Problem

       最優化問題解的存在性

49.3 Minima of Quadratic Functionals

       二次函數的極小值

49.4 Elliptic Functionals

       橢圓函數

49.5 Iterative Methods for Unconstrained Problems

       無約束優化問題的迭代法

49.6 Gradient Descent Methods for Unconstrained Problems

       無約束優化問題的梯度降低法

49.7 Convergence of Gradient Descent with Variable Stepsize

       變步長梯度降低法的收斂

49.8 Steepest Descent for an Arbitrary Norm

       任意範數的最速降低法

49.9 Newton’s Method For Finding a Minimum

       牛頓法求最小值

49.10 Conjugate Gradient Methods; Unconstrained Problems

       共軛梯度法；無約束問題

49.11 Gradient Projection for Constrained Optimization

       約束優化的梯度投影法

49.12 Penalty Methods for Constrained Optimization

       約束優化問題的懲罰算法

50 Introduction to Nonlinear Optimization

       非線性優化介紹

50.1 The Cone of Feasible Directions

       可行方向錐

50.2 Active Constraints and Qualified Constraints

       積極約束與規範約束

50.3 The Karush–Kuhn–Tucker Conditions

       卡魯什-庫恩-塔克條件

50.4 Equality Constrained Minimization

       等式約束最小化

50.5 Hard Margin Support Vector Machine; Version I

       硬間隔支持向量機，第1版

50.6 Hard Margin Support Vector Machine; Version II

       硬間隔支持向量機，第2版

50.7 Lagrangian Duality and Saddle Points

       拉格朗日對偶和鞍點

50.8 Weak and Strong Duality

       弱對偶和強對偶

50.9 Handling Equality Constraints Explicitly

       明確地處理等式約束

50.10 Dual of the Hard Margin Support Vector Machine

       硬間隔支持向量機的對偶

50.11 Conjugate Function and Legendre Dual Function

       共軛函數與勒讓德對偶函數

50.12 Some Techniques to Obtain a More Useful Dual Program 

       一些獲取更有用對偶規劃的技巧

50.13 Uzawa’s Method

       Uzawa 算法

51 Subgradients and Subdifferentials

       次梯度和次微分

51.1 Extended Real-Valued Convex Functions

       擴充實值凸函數

51.2 Subgradients and Subdifferentials

       次梯度和次微分

51.3 Basic Properties of Subgradients and Subdifferentials

       次梯度和次微分的基本性質

51.4 Additional Properties of Subdifferentials

       次微分的其餘性質

51.5 The Minimum of a Proper Convex Function

       真凸函數的最小值

51.6 Generalization of the Lagrangian Framework

       拉格朗日框架的推廣

52 Dual Ascent Methods; ADMM

       對偶上升法；交替方向乘子法

52.1 Dual Ascent

       對偶上升法

52.2 Augmented Lagrangians and the Method of Multipliers

       增廣拉格朗日和乘子法

52.3 ADMM: Alternating Direction Method of Multipliers

       交替方向乘子法

52.4 Convergence of ADMM

       交替方向乘子法的收斂

52.5 Stopping Criteria

       中止準則（條件）

52.6 Some Applications of ADMM

       ADMM的一些應用

52.7 Applications of ADMM to L1 -Norm Problems

        ADMM在L1範數問題上的一些應用

 

IX  Applications to Machine Learning

       機器學習中的應用

53 Ridge Regression and Lasso Regression

       嶺迴歸和Lasso迴歸（最小絕對值收斂和選擇算子、套索算法）

53.1 Ridge Regression

       嶺迴歸

53.2 Lasso Regression (L1 - Regularized Regression)

       Lasso迴歸（L1正則迴歸）

54 Positive Definite Kernels

       正定核

54.1 Basic Properties of Positive Definite Kernels

       正定核的基本性質

54.2 Hilbert Space Representation of a Positive Kernel

       正定核的希爾伯特空間表示

54.3 Kernel PCA

       核主成分分析

54.4 ν-SV Regression

       v-支持向量機迴歸

55 Soft Margin Support Vector Machines

       軟間隔支持向量機

55.1 Soft Margin Support Vector Machines; (SVM s1 )

       軟間隔支持向量機(SVM s1 )

55.2 Soft Margin Support Vector Machines; (SVM s2 )

       軟間隔支持向量機(SVM s2)

55.3 Soft Margin Support Vector Machines; (SVM s2‘)

       軟間隔支持向量機(SVM s2‘)

55.4 Soft Margin SVM; (SVM s3 ) 

       軟間隔支持向量機(SVM s3)

55.5 Soft Margin Support Vector Machines; (SVM s4 )

       軟間隔支持向量機(SVM s4)

55.6 Soft Margin SVM; (SVM s5 ) 

       軟間隔支持向量機(SVM s5)

55.7 Summary and Comparison of the SVM Methods

       總結及各類支持向量機法之間的比較

 

X Appendices

       附錄

A Total Orthogonal Families in Hilbert Spaces

       希爾伯特空間中的徹底正交族

A.1 Total Orthogonal Families, Fourier Coefficients

       徹底正交族，傅里葉係數

A.2 The Hilbert Space L2 (K) and the Riesz-Fischer Theorem

       希爾伯特空間L2（K）和 里斯-費舍爾定理

B Zorn’s Lemma; Some Applications

        佐恩引理；一些應用

B.1 Statement of Zorn’s Lemma

        佐恩引理的描述

B.2 Proof of the Existence of a Basis in a Vector Space

        向量空間中基存在的證實

B.3 Existence of Maximal Proper Ideals

       極大真理想的存在性

Bibliography

       參考文獻

 

 

 

Enjoy it.