代数式（Algebraic Expression）由常数、变量与运算构成；给定变量取值后即可求值。化简（Simplification）的目标是把表达式写成更可读、更便于推导/比较的等价形式：合并同类项（Like Terms）、提取公因子（Common Factor）、展开（Expansion）与因式分解（Factorization）是最常见的操作。

运算律（Algebraic Laws）本质上是在某个数系/代数结构（例如实数域）中成立的恒等式（Identity）；它们允许在不改变值的前提下重排/重写表达式。需要区分：加法/乘法满足交换律与结合律，但减法/除法一般不满足。

因式分解（Factorization）把一个表达式改写成若干因子（Factor）的乘积。它的直接价值是：把“值为 0 / 符号变化 / 约束条件”转成对各因子的分析。与之对偶的是展开（Expansion）：把乘积写成和式。

对多项式（Polynomial）\(p(x)\)，根（Root/Zero）与线性因子之间存在精确对应：若 \(p(r)=0\)，则 \((x-r)\) 是 \(p(x)\) 的因子（因子定理（Factor Theorem））。

一元多项式（Univariate Polynomial）是形如 \(p(x)=\sum_{k=0}^{n} a_k x^k\) 的函数，其中 \(a_k\) 是系数（Coefficient），\(n\) 是次数（Degree）。多项式在实数域上处处可导、可积；在局部逼近（例如 Taylor）与特征构造中非常常用。

多元多项式（Multivariate Polynomial）可写成对多重指数（Multi-index）求和：若 \(x\in\mathbb{R}^d\)，则

补充：多元二次多项式（Quadratic Polynomial）的纯二次部分在线性代数里通常称为二次型（Quadratic Form），可写成矩阵形式 \(q(\mathbf{x})=\mathbf{x}^\top A\mathbf{x}\)；其中 \(x_ix_j\)（例如 \(xy\)）是交叉项（Cross Term）。

在机器学习里，多项式特征（Polynomial Features）把输入映射到包含高阶项的特征空间，等价于显式构造某些核函数（Kernel）的有限维版本。

一元二次方程（Quadratic Equation）标准形式为 \(ax^2+bx+c=0\)（\(a\ne 0\)）。核心量是判别式（Discriminant）\(\Delta=b^2-4ac\)：它决定解的个数与类型。

分式/有理式（Rational Expression）是两个多项式之比：\(\frac{p(x)}{q(x)}\)，并要求 \(q(x)\ne 0\)。任何化简都必须保留定义域（Domain）约束：约分（Cancellation）只是在允许的点上重写表达式，不会“把不可取值点变得可取”。

典型例子： \(\frac{x^2-1}{x-1}=\frac{(x-1)(x+1)}{x-1}=x+1\)，但仍需强调 \(x\ne 1\)。这里 \(x=1\) 是可去间断点（Removable Discontinuity）：原式无定义，而约分后的表达式在该点有值。

绝对值（Absolute Value）\(|x|\) 表示到 0 的距离（Distance to Zero）。它把“正负”信息丢掉，只保留大小；因此绝对值相关方程/不等式通常要通过分段（Piecewise）把符号情况拆开讨论。

三角不等式（Triangle Inequality）\(|x+y|\le |x|+|y|\) 是绝对值最重要的性质之一；它把“求和后的误差”上界化为“各自误差的和”，在误差分析与泛化界推导中高频出现。

深度学习里常见的 ReLU、hinge loss 等都是分段函数：分段点处通常不可导，但仍可用次梯度（Subgradient）做优化。

配方（Completing the Square）把二次式改写成“平方 + 常数”，从而直接读出最值、解的结构与可行区间：

例如 \(x^2+6x+5=(x+3)^2-4\)，因此方程 \(x^2+6x+5=0\) 等价于 \((x+3)^2=4\)，解为 \(x=-1,-5\)。

换元（Substitution）通过引入新变量，把原问题变成更低复杂度的标准形式，尤其适用于“重复结构”。例如：

解得 \(u=1,4\)，再回代得到 \(x=\pm 1,\pm 2\)。

估计（Bounding/Estimation）常把表达式改写为“非负项 + 常数”，或利用单调性把复杂项夹逼到可控区间。最常见的来源是“平方非负”（\((\cdot)^2\ge 0\)）：

这类估计在证明最值、构造上界/下界、以及把损失函数改写成“凸的主项 + 可控余项”时很有效。

数系（Number Systems）描述“允许使用哪些数，以及这些数上哪些运算是封闭的”。常见链条是

其中实数（Real Numbers）是有序（Ordered）且完备（Complete）的；复数（Complex Numbers）扩展了方程可解性（例如 \(x^2+1=0\) 在实数无解，但在复数有解）。

函数（Function）是映射：把输入集合中的每个元素映到一个输出。定义域（Domain）是允许的输入集合；值域（Range/Image）是实际能取到的输出集合（通常是陪域（Codomain）的子集）。常用记法：

从表达式读定义域的常见约束：

• 分母不为 0： \(\frac{p(x)}{q(x)}\) 要求 \(q(x)\ne 0\)。
• 偶次根非负： \(\sqrt{g(x)}\) 要求 \(g(x)\ge 0\)（实数域）。
• 对数正数： \(\ln g(x)\) 要求 \(g(x)>0\)。

值域分析常用“解方程 + 约束”思路：令 \(y=f(x)\)，把 \(x\) 表示成 \(y\) 并推导可行条件；若 \(f\) 在某区间单调，则可用反函数直接得到值域。

复合函数（Function Composition）把一个函数的输出作为另一个函数的输入：若 \(g:D\to E\)、\(f:E\to Y\)，则

定义域必须同时满足两层约束： \(x\in\mathrm{dom}(g)\) 且 \(g(x)\in\mathrm{dom}(f)\)。例如 \(f(x)=\sqrt{x}\)、\(g(x)=x^2-1\)，则 \((f\circ g)(x)=\sqrt{x^2-1}\) 的定义域是 \(|x|\ge 1\)。

复合满足结合律（Associativity）：\((f\circ g)\circ h=f\circ(g\circ h)\)，但一般不满足交换律： \(f\circ g\ne g\circ f\)。

反函数（Inverse Function）把映射“倒过来”。若 \(f:D\to Y\) 在 \(D\) 上是双射（Bijection），则存在 \(f^{-1}:\mathrm{range}(f)\to D\) 满足

注意 \(f^{-1}\) 表示反函数，不是倒数 \(1/f\)。求反函数的常用步骤是：设 \(y=f(x)\)，交换 \(x,y\) 并解出 \(y\)。

例：线性函数 \(y=ax+b\)（\(a\ne 0\)）的反函数是 \(f^{-1}(y)=\frac{y-b}{a}\)。sigmoid 的反函数是 logit：若 \(p=\sigma(z)\)，则 \(z=\log\frac{p}{1-p}\)（要求 \(p\in(0,1)\)）。

若函数不单调或不可一一对应（如 \(f(x)=x^2\) 在 \(\mathbb{R}\) 上），则必须限制定义域（例如限制为 \(x\ge 0\)）才能得到真正的反函数。

奇偶性（Parity）描述对称性：偶函数（Even Function）满足 \(f(-x)=f(x)\)（关于 y 轴对称），奇函数（Odd Function）满足 \(f(-x)=-f(x)\)（关于原点对称）。

单调性（Monotonicity）描述“随输入增加，输出是否不减/不增”。在区间 \(I\) 上：

• 单调递增（Monotone Increasing）：\(x_1<x_2\Rightarrow f(x_1)\le f(x_2)\)。
• 严格递增（Strictly Increasing）：\(x_1<x_2\Rightarrow f(x_1)<f(x_2)\)。
• 单调递减/严格递减同理。

单调函数在区间上必为单射（Injective），因此在该区间上可定义反函数。这也是为什么很多“不可逆”的函数（如 \(x^2\)）在限制到某个单调区间后就变得可逆。

凸性（Convexity）是优化与泛化分析的核心几何性质。函数 \(f\) 在区间/凸集上是凸函数（Convex Function），当且仅当对任意 \(x_1,x_2\) 与 \(\lambda\in[0,1]\) 都有

凹函数（Concave Function）则把不等号方向反过来。几何上：凸函数“弦在图像上方”，凹函数“弦在图像下方”。

若 \(f\) 二阶可导，则一维判别很简单： \(f''(x)\ge 0\) 则凸， \(f''(x)\le 0\) 则凹；多变量情形把 \(f''\) 替换为 Hessian，要求其半正定/半负定。

典型例子： \(x^2\) 与 \(e^x\) 是凸函数；\(\log x\)（\(x>0\)）是凹函数。很多经典损失（如 MSE、logistic loss）对模型输出是凸的，但对深度网络参数整体通常非凸。

二维平面中，线性方程（Linear Equation）\(Ax+By+C=0\)（\((A,B)\ne(0,0)\)）表示一条直线（Line）。向量 \((A,B)\) 是法向量（Normal Vector）：它与直线方向垂直；常数项 \(C\) 控制沿法向量方向的平移。

该形式与超平面形式 \(\mathbf{w}\cdot\mathbf{x}+b=0\) 完全一致：只需取 \(\mathbf{x}=(x,y)^\top\)、\(\mathbf{w}=(A,B)^\top\)、\(b=C\)。

两条直线相交/平行可由法向量判断：若 \((A_1,B_1)\) 与 \((A_2,B_2)\) 共线，则两直线平行（或重合）；否则相交，交点可由 2×2 线性方程组求解。

超平面（Hyperplane）是高维空间中的“线性边界”。在 \(\mathbb{R}^d\) 中，方程

定义一个 \((d-1)\) 维的仿射子空间（Affine Subspace）。其中 \(\mathbf{w}\) 是法向量（Normal Vector），决定边界的朝向；\(b\) 是偏置（Bias），决定边界沿法向量方向的平移。

工程与论文里常写成 \(\mathbf{w}^\top \mathbf{x}+b\)：这里的转置（Transpose）符号 \(^\top\) 只是为了把列向量 \(\mathbf{w}\) 变成行向量，从而与列向量 \(\mathbf{x}\) 做矩阵乘法；数值上它等价于点积：

例：令 \(\mathbf{w}=(2,3)^\top\)、\(\mathbf{x}=(4,5)^\top\)，则 \(\mathbf{w}^\top \mathbf{x}=2\cdot4+3\cdot5=23\)。

在机器学习里，线性分类器（Linear Classifier）可写成 \(\hat y=\mathrm{sign}(\mathbf{w}^\top\mathbf{x}+b)\)；逻辑回归（Logistic Regression）把它送入 sigmoid： \(p(y=1|\mathbf{x})=\sigma(\mathbf{w}^\top\mathbf{x}+b)\)。

超平面把空间划分成两个半空间（Half-space）：

法向量 \(\mathbf{w}\) 指向“值更大”的一侧：沿 \(\mathbf{w}\) 方向移动会增大 \(\mathbf{w}\cdot\mathbf{x}+b\)。这也是为什么在线性分类里，得分的正负号自然对应类别划分。

点 \(\mathbf{x}_0\) 到超平面 \(\mathbf{w}\cdot\mathbf{x}+b=0\) 的欧氏距离（Euclidean Distance）为：

推导直觉：把 \(\mathbf{x}_0\) 沿法向量方向投影到超平面上；分子是“沿法向量方向的带符号位移”，除以 \(\|\mathbf{w}\|\) 把它变成真实距离。

约束优化中的边界通常由一个定义在整个空间上的标量函数（Scalar Function）\(g(x)\) 给出，并通过等值方程 \(g(x)=0\) 表示边界本身。函数 \(g\) 是求导对象；边界则是满足该方程的点集。梯度（Gradient）算子 \(\nabla\) 作用在约束函数 \(g\) 上，由此把边界的法向几何信息编码为一个向量场。

线性超平面的情形最直接。边界写成

其中 \(g\) 是定义在整个 \(\mathbb{R}^d\) 上的线性函数，而边界只是它的零等值面（Zero Level Set）。由于线性函数的一阶导数处处相同，立刻得到

因此，线性超平面的法向量是 \(\mathbf{w}\)，本质上等价于“定义该超平面的约束函数 \(g\) 的梯度等于 \(\mathbf{w}\)”。

这一结论对一般光滑边界同样成立。设 \(x^*\) 是边界 \(g(x)=0\) 上一点，且 \(\nabla g(x^*)\ne 0\)。若 \(t\) 是该点处的切向量（Tangent Vector），则沿着 \(t\) 做无穷小移动仍停留在同一条边界上，因而 \(g\) 的一阶变化为 0：

应用链式法则（Chain Rule）得到

这表示边界上的任意切向量都与 \(\nabla g(x^*)\) 正交。因此 \(\nabla g(x^*)\) 沿法向方向指向边界外侧或内侧，而不沿边界本身滑动；梯度正是边界法向量的解析表达。

KKT 条件中的 \(\nabla g(x^*)\) 正是以这种方式出现的。约束优化不是对“边界这个集合”求导，而是借助约束函数 \(g\) 的梯度，把边界的法向几何结构写入一阶最优性条件。驻点条件

表达的是：在活跃边界上，目标函数剩余的下降趋势完全落在约束边界的法向空间里，并与乘子加权后的法向量达到平衡。

解析几何（Analytic Geometry）、向量（Vector）、三角函数（Trigonometric Functions）以及很多 AI 中的空间直觉，都建立在更基础的几何概念上。这里先把最常用的几块地基补齐：距离、角度、弧度、比例与面积。

平面几何最基本的对象是点（Point）、线段（Segment）、直线（Line）与角（Angle）。角度描述两条射线的张开程度；常见有两种单位：

度数（Degree）更适合日常表达，弧度（Radian）更适合数学推导，因为它和圆弧长度、三角函数、导数公式天然兼容。后面遇到旋转矩阵（Rotation Matrix）、复数极坐标（Polar Form）、傅里叶分析（Fourier Analysis）时，默认几乎都使用弧度。

勾股定理（Pythagorean Theorem）是平面距离公式的根源。对直角三角形，若两条直角边长为 \(a,b\)，斜边长为 \(c\)，则

把它应用到坐标平面，就得到两点之间的欧氏距离（Euclidean Distance）：

在高维空间里，这个公式直接推广为 \(\|\mathbf{x}-\mathbf{y}\|_2\)。因此从二维几何到机器学习里的向量距离，本质上是一条连续的概念链。KNN、K-means、embedding 检索、对比学习（Contrastive Learning）都在反复使用这套“距离越小越相似”的几何直觉。

弧度由圆弧长度直接定义：若半径为 \(r\) 的圆上有一段弧长 \(s\)，对应圆心角为 \(\theta\)（弧度），则

对应扇形面积（Sector Area）是：

这正是弧度“自然”的原因：一旦用弧度记角，弧长与面积公式会变得非常干净。AI 里很多周期性表示都默认使用弧度输入，例如 \(\sin\theta\) / \(\cos\theta\) 的位置编码（Positional Encoding）、旋转位置编码（RoPE）以及频域特征（Fourier Features）。

相似（Similarity）指图形形状相同、大小可以不同；等价地说，对应角相等、对应边成比例。若把一个图形按比例 \(k\) 缩放，则长度变为原来的 \(k\) 倍，面积变为原来的 \(k^2\) 倍。

这个看似初等的事实，在 AI 图像处理中极其常见：图片 resize、本征尺度（Scale）、特征金字塔（Feature Pyramid）、多尺度检测（Multi-scale Detection）都在处理“同一对象在不同尺度下如何保持可识别性”的问题。若缩放时不保持纵横比（Aspect Ratio），就会引入几何畸变，进而影响分类、检测与分割结果。

基础几何里，面积（Area）衡量二维区域所占的大小。矩形面积是长乘宽，圆面积是

在 AI 的目标检测（Object Detection）与实例分割（Instance Segmentation）中，一个高频几何量是交并比（Intersection over Union, IoU）：

它衡量预测框/预测区域与真实标注的重叠程度。这里用到的不是高深数学，而是最朴素的面积与重叠概念。

若把这些内容压缩成一句话，它们在 AI 中分别承担不同角色：

• 距离（Distance）：支撑近邻搜索、聚类、向量检索与损失函数中的相似度刻画。
• 角度（Angle）：支撑方向、夹角、余弦相似度（Cosine Similarity）与旋转直觉。
• 弧度（Radian）：支撑三角函数、周期建模、位置编码与频域表示。
• 比例与缩放（Scale）：支撑图像 resize、数据增强、特征金字塔与多尺度建模。
• 面积与重叠（Area & Overlap）：支撑 IoU、检测框评估与分割质量度量。

解析几何（Analytic Geometry）的核心做法是：选定坐标系（Coordinate System），用代数方程描述几何对象。一个几何对象可以被理解为“满足某个方程（或方程组）的所有点”的集合。

高中阶段最常见的两类：

• 一次方程：直线（Line）/平面（Plane）/超平面（Hyperplane）。
• 二次方程：圆（Circle）与圆锥曲线（Conic Sections）；在三维中推广为二次曲面（Quadric Surfaces）。

在直角坐标系（Cartesian Coordinate System）中，点 \(P\) 用坐标 \((x,y)\) 表示。两点 \(P_1(x_1,y_1)\) 与 \(P_2(x_2,y_2)\) 的欧氏距离（Euclidean Distance）是：

圆（Circle）是到某个固定点距离恒定的点集；这个固定点叫圆心（Center）。若圆心为 \((h,k)\)、半径（Radius）为 \(r\)，则圆的方程是：

例：方程 \(x^2+y^2-4x+6y-12=0\) 通过配方（Completing the Square）可化为 \((x-2)^2+(y+3)^2=25\)，因此它表示圆心 \((2,-3)\)、半径 \(5\) 的圆。

圆锥曲线（Conic Sections）最初来自“平面截圆锥”的几何构造，但在解析几何里，它们等价于二维的二次方程曲线（Second-degree Plane Curves，方程里变量的最高次数为 2）：

其中 \(Bxy\) 是交叉项（Cross Term）。交叉项的存在通常意味着曲线的主轴（Principal Axes）与坐标轴不对齐；通过旋转坐标轴（Rotation of Axes）可以把交叉项消掉，从而得到更“标准”的形状表达。

而一次项 \(Dx+Ey\) 与常数项 \(F\) 扮演的是另一类角色：它们通常不改变主轴方向，而主要影响图形在平面中的位置与尺度。更具体地说，一次项往往意味着曲线的中心/顶点不在原点；在消去交叉项之后，再通过平移坐标（Translation of Axes）与配方（Completing the Square）可以把一次项吸收到平方项里。常数项则相当于改变“等号右边的阈值”，会影响曲线是否有实点、整体大小以及离原点的偏置。简言之：交叉项主要对应旋转，一次项主要对应平移，常数项主要对应整体偏移/尺度调整。

下面给出最常用的四类圆锥曲线的标准方程（Standard Form）与直观定义：

椭圆（Ellipse）可以用一句话定义：平面内到两个固定点 \(F_1,F_2\) 的距离之和为常数的点的集合。若该常数为 \(2a\)，则对椭圆上任意点 \(P\) 有：

在以原点为中心、长轴沿 x 轴的标准位置下，椭圆方程是：

这里 \(a\) 与 \(b\) 分别是半长轴（Semi-major Axis）与半短轴（Semi-minor Axis）。焦距参数 \(c\) 定义为焦点到中心的距离，满足

因此焦点坐标是 \((\pm c,0)\)。偏心率（Eccentricity）定义为 \(e=c/a\)，它量化“椭圆有多扁”： \(e\in[0,1)\)；当 \(a=b\) 时 \(e=0\)，椭圆退化为圆。

例：若 \(a=5,b=3\)，则 \(c=4\)、\(e=0.8\)，椭圆为 \(\frac{x^2}{25}+\frac{y^2}{9}=1\)，焦点为 \((\pm 4,0)\)。

在三维中，圆锥曲线推广为二次曲面（Quadric Surfaces）：满足三元二次方程的点集。最一般的形式是：

其中 \(Dxy,Exz,Fyz\) 是交叉项（Cross Term），对应“坐标轴没有对齐到曲面的主轴方向”。通过平移（Translation）与旋转（Rotation）可以把它化为标准型（Standard Form）：平移等价于把原点挪到合适的位置（通常是“中心”附近），旋转等价于把坐标轴转到主轴方向，从而一眼看出是“球/椭球/抛物面/双曲面”等哪一类。

二次曲面与优化中的“二次型/曲率”是同一套数学语言：把坐标轴旋到主轴方向后，表达式会变成各轴平方项的加权和/差，从而直接暴露“碗状（局部最小）”与“鞍形（Saddle）”的结构。

指数函数（Exponential Function）最常用的是自然指数 \(e^x\)。指数运算把“加法结构”映射为“乘法结构”，对数（Logarithm）作为反函数则把乘法结构拉平成加法结构。

常用取值：

对数函数（Logarithm）\(\log x\) 在 \(x>0\) 上严格单调递增（Strictly Increasing），因此 \(-\log x\) 在 \(x>0\) 上严格单调递减（Strictly Decreasing）。

复合后的单调性由内层决定：若 \(f(x)\) 在某区间上单调递增且 \(f(x)>0\)，则 \(-\log(f(x))\) 在该区间上单调递减；若 \(f(x)\) 不单调，则外层单调并不能推出整体单调。

在损失函数里常见的形式是 \(-\log\sigma(z)\)（\(\sigma\) 为 sigmoid）。因为 sigmoid 单调递增，所以该损失对 \(z\) 单调递减：增大 \(z\) 会降低损失。需要注意的是，这只说明“对中间量 z 的单调性”；对模型参数 \(\theta\) 的单调性一般不成立，因为 \(z=z(\theta)\) 是高维非线性函数。

常用取值：

在语言模型 softmax 中，logit 经过指数再归一化：\(\exp(\text{logit})\) 把分数映射为正数权重；取 log 则把乘法结构拉平成加法结构，便于用和式写出似然与损失。

幂函数（Power Function）里常见的两个扩展是负指数（Negative Exponent）与分数指数（Rational Exponent）。

常用取值：

三角函数（Trigonometric Functions）可以用单位圆（Unit Circle）定义：在圆上角度为 \(\theta\) 的点坐标是 \((\cos\theta,\sin\theta)\)。由此得到最基本恒等式：

欧拉公式（Euler's Formula）把指数与三角函数在复数域（Complex Domain）里统一起来：

复数（Complex Number）是对实数系（Real Number System）的扩展，写作 \(a+bi\)，其中 \(a,b\in\mathbb{R}\)，虚数单位（Imaginary Unit）满足 \(i^2=-1\)。几何上，复数可以表示为复平面（Complex Plane）上的点 \((a,b)\)；但更重要的是，它在二维平面上提供了一套封闭、可逆且与乘法兼容的代数结构。

也正因为如此，复数不能简单等同于 \(\mathbb{R}^2\) 里的二维向量。表面上看，二维向量 \((a,b)\) 与复数 \(a+bi\) 确实对应同一个平面点；但它们的代数结构完全不同，关键差别在于“乘法”是否自然、闭合且可逆。

对二维向量而言，加法非常自然，但乘法并不形成一个像实数那样稳定的数系：点乘（Inner Product）会把两个向量变成标量，叉乘（Cross Product）又会把结果带到垂直方向；因此二维向量空间本身并没有一个同时兼顾封闭性（Closure）与可除性的内建乘法。复数则不同：两个复数相乘后仍是复数，非零复数还总能做除法。这使得复平面不只是“几何上的二维平面”，而是一个可自由做加减乘除的完整数系。

这带来两个二维向量本身不具备的优势。第一，复数把二维旋转直接写进了乘法：若 \(z=re^{i\theta}\)，则乘以另一个复数时会自动实现“模相乘、角相加”。换句话说，复数乘法天然就是缩放 + 旋转；而若只用二维向量，通常还需要额外引入旋转矩阵。第二，复数让多项式方程的可解性闭合：例如 \(x^2+1=0\) 在实数域无解，但在复数域有解 \(\pm i\)。更深一层地，代数基本定理（Fundamental Theorem of Algebra）说明任意非常数多项式在复数域里都有根，因此复数成为代数方程的自然终点。

因此，二维向量更像是在描述“箭头、位移、速度、受力”的线性对象；复数则是在同一个平面上额外安装了一套兼容乘法、旋转与方程求解的代数机制。对于信号处理（Signal Processing）、交流电分析、傅里叶变换（Fourier Transform）、量子力学以及很多 AI 中的频域方法，复数都不是“二维向量的重复发明”，而是一个更强的二维代数系统。

复数（Complex Number）写作 \(z=a+bi\)，其中 \(a,b\in\mathbb{R}\)，虚数单位（Imaginary Unit）满足 \(i^2=-1\)。把 \(z\) 视为二维平面上的点 \((a,b)\)，就得到直角坐标（Rectangular Form）。

同一个点也可用极坐标（Polar Form）表示：令 \(r=|z|\) 为模（Modulus），\(\theta=\arg(z)\) 为辐角（Argument），则

两种坐标之间的转换：

\(\theta\) 通常用 \(\mathrm{atan2}(b,a)\) 计算，并且 \(\arg(z)\) 不是唯一的：加上任意 \(2\pi k\)（\(k\in\mathbb{Z}\)）表示同一个方向。

例：\(z=1+i\) 的模是 \(\sqrt{2}\)，辐角是 \(\pi/4\)，因此 \(z=\sqrt{2}\,e^{i\pi/4}\)。

棣莫弗公式（De Moivre's Formula）给出幂运算的快捷形式：

复数 \(z = a + bi\) 的模（Modulus）定义为 \(|z|=\sqrt{a^2+b^2}\)，表示复平面（Complex Plane）中点 \((a,b)\) 到原点的欧氏距离（Euclidean Distance）。

共轭（Conjugate）记作 \(\bar z = a-bi\)。几何上，它把点 \((a,b)\) 关于实轴（Real Axis）镜像到 \((a,-b)\)；数值上，它把“相位（Phase）”取反而保持“幅值（Magnitude）”不变。

共轭与模的核心关系是 \(z\bar z = |z|^2\)，展开即可验证：

这个恒等式的一个直接用途是复数除法：为了避免分母含有虚部，把分母乘以共轭进行“有理化（Rationalization）”。

例： \(\frac{1+2i}{3-4i}=\frac{(1+2i)(3+4i)}{3^2+4^2}=\frac{-5+10i}{25}=-\frac{1}{5}+\frac{2}{5}i\)。这里分母变成实数，是因为 \((3-4i)(3+4i)=3^2+4^2\)。

把复数写成极坐标（Polar Form）：\(z=r(\cos\theta+i\sin\theta)=re^{i\theta}\)。此时复数乘法的几何意义非常直接：

也就是说：模相乘、辐角相加。乘法同时完成缩放（Scaling）与旋转（Rotation）。

例：乘以 \(i=e^{i\pi/2}\) 会把任意复数逆时针旋转 90° 且不改变模；乘以 \(-1=e^{i\pi}\) 会旋转 180°。例如 \((1+2i)\cdot i=-2+i\)，几何上就是把点 \((1,2)\) 旋到 \((-2,1)\)。

求和符号（Summation Symbol）\(\sum\) 与乘积符号（Product Symbol）\(\prod\) 是数列与级数推导里最常见的两个“聚合”记号：

英文里通常把 \(\sum\) 读作 “sigma” 或 “summation”，把 \(\prod\) 读作 “capital pi” 或 “product”。

数列（Sequence）是一列按整数下标排列的数 \(\{a_n\}_{n\ge 1}\)。最常见的两类是等差数列（Arithmetic Sequence）与等比数列（Geometric Sequence）。它们都可用“递推定义 + 通项公式 + 前 n 项和”三件套描述。

例：若 \(a_1=1,d=2\)，则 \(a_n=2n-1\) 且 \(S_n=n^2\)。若 \(a_1=1,r=\frac{1}{2}\)，则 \(S_n=2\left(1-2^{-n}\right)\)，并随 \(n\) 增大趋近于 2。

无穷级数（Infinite Series）\(\sum_{n=1}^{\infty} a_n\) 的核心对象是部分和（Partial Sum）序列 \(S_N=\sum_{n=1}^{N} a_n\)。若极限 \(\lim_{N\to\infty} S_N\) 存在且为有限值，则级数收敛（Convergence）；否则发散（Divergence）。

必要条件：若 \(\sum_{n=1}^{\infty} a_n\) 收敛，则必有 \(\lim_{n\to\infty} a_n=0\)。反之不成立（例如调和级数 \(\sum 1/n\) 发散）。

绝对收敛（Absolute Convergence）指 \(\sum |a_n|\) 收敛；绝对收敛必推出原级数收敛。仅 \(\sum a_n\) 收敛但 \(\sum |a_n|\) 发散则为条件收敛（Conditional Convergence），此时项的重排可能改变和（甚至导致发散）。

调和级数（Harmonic Series）是 \(\sum_{n=1}^{\infty}\frac{1}{n}\)。它是最经典的“项趋于 0 但级数仍发散”的例子：虽然 \(\lim_{n\to\infty}\frac{1}{n}=0\)，但部分和会无界增长。

其部分和称为调和数（Harmonic Number）：

调和数的渐近行为与对数紧密相关：\(H_n=\log n+\gamma+o(1)\)，其中 \(\gamma\) 是欧拉-马歇罗尼常数（Euler–Mascheroni constant）。因此很多“累积量随步数缓慢增长”的分析最终都会出现 \(\log n\)。

在 AI/优化里，调和级数最常见的用途是解释与验证学习率（Learning Rate）衰减的收敛条件。经典随机逼近（Stochastic Approximation）的一个常用充分条件是：

取 \(\eta_t=\frac{1}{t}\) 时，第一项对应调和级数发散（保证“走得足够远”），第二项对应 \(\sum 1/t^2\) 收敛（保证噪声的累计影响有限）。很多 SGD（Stochastic Gradient Descent）及在线学习（Online Learning）的理论推导，会用这组“一个发散、一个收敛”的对比来控制偏差与方差项。

Taylor 展开（Taylor Expansion）用多项式在局部逼近光滑函数。Taylor 定理（Taylor's Theorem）强调“有限阶近似 + 余项（Remainder）”，Taylor 级数（Taylor Series）强调“无限项级数在收敛时等于原函数”。

当余项在 \(n\to\infty\) 时收敛到 0，才有 \(f(x)=\sum_{k=0}^{\infty}\frac{f^{(k)}(a)}{k!}(x-a)^k\)。并非所有光滑函数都等于其 Taylor 级数。

例：在 \(a=0\) 展开，\(e^x\approx 1+x+\frac{x^2}{2}\)；当 \(|x|\) 很小时，用低阶项就能得到高精度近似。

组合数学（Combinatorics）研究离散结构的计数、构造与存在性。它的典型问题是“有多少种可能”：当选择空间巨大时，计数结果直接决定搜索/采样的复杂度；当把计数结果归一化为概率时，就得到二项分布、超几何分布等常见模型。

排列（Permutation）与组合（Combination）的区别只在一个点：是否区分顺序。把“先选哪些元素”与“再怎么排序”分开理解，可以避免大量记忆负担。

例：从 5 个候选特征里挑 3 个做一个无序子集，有 \({5 \choose 3}=10\) 种；如果还要给这 3 个特征排“处理顺序”，则变为排列 \(P(5,3)=5\cdot4\cdot3=60\) 种。

二项式定理（Binomial Theorem）描述 \((a+b)^n\) 的展开结构：

系数 \({n \choose k}\) 的组合解释非常直接：把 \((a+b)^n\) 看作 \(n\) 个括号相乘，每一项由“从每个括号里选 \(a\) 或 \(b\)”组成。若最终选了 \(k\) 次 \(b\)，就需要从 \(n\) 个位置里挑出这 \(k\) 个位置，因此系数是 \({n \choose k}\)。

例：\((x+2)^4={4 \choose 0}x^4+{4 \choose 1}x^3\cdot2+{4 \choose 2}x^2\cdot2^2+{4 \choose 3}x\cdot2^3+{4 \choose 4}2^4=x^4+8x^3+24x^2+32x+16\)。

二项式系数还满足递推（Pascal's Rule）：\({n \choose k}={n-1 \choose k-1}+{n-1 \choose k}\)。这等价于“选与不选某个固定元素”的分类讨论。

与概率的连接：若独立伯努利试验（Bernoulli Trial）成功概率为 \(p\)，做 \(n\) 次恰好成功 \(k\) 次的概率是 \({n \choose k}p^k(1-p)^{n-k}\)，其中 \({n \choose k}\) 计数的是“成功出现在哪些轮次”。

不等式（Inequality）是把“难算/难优化/难比较”的表达式替换为“可控的上界或下界”的工具。机器学习中的许多目标函数与泛化分析，本质上都在用不等式把复杂量压到可操作的形式（例如把非线性函数用线性或二次上界近似）。

基本不等式（Basic Inequalities）常见来源有两类：一类来自非负量（例如 \((\cdot)^2\ge 0\)），另一类来自范数（Norm）与凸性（Convexity）的结构性质。

例（AM-GM 的“最大乘积”直觉）：在 \(a,b\ge 0\) 且 \(a+b=10\) 的约束下，乘积满足 \(ab\le \left(\frac{a+b}{2}\right)^2=25\)，并且当且仅当 \(a=b=5\) 取等号。

Jensen 不等式（Jensen's Inequality）回答一个很具体的问题：“平均”与“非线性”交换顺序会发生什么。它是把抽象的凸性（Convexity）变成可用结论的最常用工具之一。

先把术语说清楚：

• 加权平均（Weighted Average）：给一组数 \(x_1,\dots,x_n\) 分配权重 \(\lambda_i\ge 0\) 且 \(\sum_i\lambda_i=1\)，则加权平均是 \(\sum_i\lambda_i x_i\)（把 \(\lambda_i\) 视为“占比”即可）。
• 凸函数（Convex Function）：函数 \(\varphi\) 若满足对任意 \(x_1,x_2\) 与 \(\lambda\in[0,1]\) 都有 \(\varphi(\lambda x_1+(1-\lambda)x_2)\le \lambda\varphi(x_1)+(1-\lambda)\varphi(x_2)\)，则称 \(\varphi\) 是凸的。直观上：它“向上弯”，因此对它做平均会被“惩罚”。
• 随机变量（Random Variable）：一个在不同试验/样本上会取不同值的量；把 \(X\) 视为“每次取到的数”。
• 期望（Expectation）\(\mathbb{E}[\cdot]\)：可把它理解为“按概率加权的平均”。

Jensen 的形式（离散加权平均）：若 \(\varphi\) 凸，则

等价的期望形式：对随机变量 \(X\)（且 \(\mathbb{E}[X]\) 与 \(\mathbb{E}[\varphi(X)]\) 存在），有

如果 \(\varphi\) 是凹函数（Concave Function），不等号方向会反过来。

场景 1：凸惩罚下，“波动”本身有代价。设某个系统的代价函数是 \(\varphi(t)=t^2\)（二次惩罚，Convex Penalty），比较两种延迟（Latency）：

• 稳定方案：每次都是 100ms，则平均代价是 \(100^2=10000\)。
• 波动方案：一半时间 50ms、一半时间 150ms（平均同样是 100ms），则平均代价是 \(\frac{50^2+150^2}{2}=12500\)。

两者平均延迟一样，但二次代价更偏好稳定方案；这就是 Jensen 在 \(\varphi(t)=t^2\) 下的直接体现：\(\left(\frac{50+150}{2}\right)^2\le \frac{50^2+150^2}{2}\)。

场景 2：对数损失下，“偶尔很错”会被放大。分类里常用对数损失（Log Loss）\(\varphi(p)=-\log p\)（\(p\) 是正确类别的预测概率），它在 \((0,1]\) 上是凸函数。假设一个模型在同一个样本上两次输出 \(p=0.9\) 与 \(p=0.1\)（一次很自信、一次几乎反过来），则

含义：在凸损失下，预测的波动会提高平均损失；这也是许多“用不等式构造上界/下界”方法（例如把难优化的期望目标变成可算的界）背后的数学原因。

何时取等号：当所有 \(x_i\) 相等（没有波动），或 \(\varphi\) 在相关区间上近似线性时，不等式可取等号。

Cauchy-Schwarz 不等式（Cauchy–Schwarz Inequality）回答另一个非常基础的问题：两组数“对齐相乘再求和”的结果，最多能有多大。它是内积（Inner Product）与范数（Norm）体系的核心约束。

把术语说清楚后，这个不等式就不神秘：

• 向量（Vector）：把一组数按顺序排成列表，例如 \(\mathbf{a}=(a_1,\dots,a_n)\)。
• 点积/内积（Dot Product / Inner Product）：\(\mathbf{a}^\top\mathbf{b}=\sum_i a_i b_i\)，可理解为“两组数在同一位置上的重叠程度”。
• L2 范数（\(\ell_2\) Norm）：\(\|\mathbf{a}\|_2=\sqrt{\sum_i a_i^2}\)，几何上是向量长度（Length）。

不等式本身是：

几何解释：把 \(\mathbf{a}^\top\mathbf{b}\) 写成 \(\|\mathbf{a}\|_2\|\mathbf{b}\|_2\cos\theta\)，Cauchy-Schwarz 等价于 \(|\cos\theta|\le 1\)。当且仅当两向量同向或反向（线性相关（Linearly Dependent））时取等号。

场景 1：为什么检索里常用“余弦相似度（Cosine Similarity）”。在向量检索中，常用点积 \(\mathbf{q}^\top\mathbf{d}\) 衡量查询向量 \(\mathbf{q}\) 与文档向量 \(\mathbf{d}\) 的相似度。但点积同时受“方向”和“长度”影响：如果某个向量范数很大，即使方向一般，点积也可能很大。

一个最小例子：令查询 \(\mathbf{q}=(1,1)\)，两篇候选文档向量为 \(\mathbf{d}_1=(100,0)\)、\(\mathbf{d}_2=(2,2)\)。点积分别是 \(\mathbf{q}^\top\mathbf{d}_1=100\)、\(\mathbf{q}^\top\mathbf{d}_2=4\)，点积会更偏向 \(\mathbf{d}_1\)。但如果把向量归一化到单位范数（Unit Norm）再比较，则

归一化后 \(\mathbf{d}_2\) 与 \(\mathbf{q}\) 方向完全一致，更符合“语义对齐”的直觉。Cauchy-Schwarz 保证余弦相似度一定落在 [-1,1]，从而成为一个尺度稳定、可解释的相似度。

场景 2：为什么相关系数（Correlation Coefficient）不可能超过 1。把两组已中心化（Centered，均值为 0）的数据序列看成向量 \(\mathbf{x},\mathbf{y}\)，它们的“协方差方向”可以写成点积 \(\mathbf{x}^\top\mathbf{y}\)，而各自的尺度由 \(\|\mathbf{x}\|_2,\|\mathbf{y}\|_2\) 给出。Cauchy-Schwarz 直接推出

这就是“线性相关强度最多 100%”的数学原因；取等号对应完全线性关系，即 \(\mathbf{y}=c\mathbf{x}\)。

集合论（Set Theory）是现代数学语言的底座：几乎所有“对象 + 结构”的定义都能归结为集合及其上的运算。工程语境里，把对象抽象为集合的好处是：边界清晰、可组合、可用代数规则推导。

集合（Set）是元素（Element）的无序聚合。记 \(x\in A\) 表示 \(x\) 属于集合 \(A\)，记 \(A\subseteq B\) 表示子集（Subset）。常用的运算如下。

De Morgan 律（De Morgan's Laws）是“补运算”与“并/交”之间的互换规则：

计数场景常用容斥原理（Inclusion–Exclusion）：\(|A\cup B|=|A|+|B|-|A\cap B|\)。例：一个数据集里“命中规则 A”的样本有 120 个，“命中规则 B”的有 80 个，同时命中的有 30 个，则命中至少一个规则的样本数是 \(120+80-30=170\)。

映射（Mapping / Function）用来描述“从输入到输出”的确定性规则。写作 \(f:A\to B\)，其中 \(A\) 是定义域（Domain），\(B\) 是陪域（Codomain）。对 \(x\in A\)，输出写作 \(f(x)\in B\)。像集（Image / Range）为 \(f(A)=\{f(x)\mid x\in A\}\)。

关系（Relation）是更一般的概念：它不要求“每个输入对应唯一输出”。在集合论里，一个二元关系 \(R\) 可以看成笛卡尔积（Cartesian Product）上的子集：

典型例子：

• 等价关系（Equivalence Relation）：满足自反、对称、传递。例如定义 \(x\sim y\Leftrightarrow x-y\) 能被 \(m\) 整除（同余），它把整数划分为若干等价类（Equivalence Class）。
• 偏序（Partial Order）：满足自反、反对称、传递。例如 \(\le\) 是实数上的偏序；集合的包含关系 \(\subseteq\) 也是偏序。
• 一般关系：例如“相似度大于阈值”定义了一个关系，但它通常不具备传递性，因此不是等价关系。

把关系写成矩阵/邻接矩阵（Adjacency Matrix）是常用表示：若 \(A=B=\{1,\ldots,n\}\)，定义 \(M_{ij}=1\) 当且仅当 \((i,j)\in R\)。在图论（Graph Theory）与推荐/检索（Retrieval）里，这种表示会直接进入线性代数计算。

在 \(\mathbb{R}^n\) 中，向量加法与减法按分量（Component-wise）进行。对 \(\mathbf{a}=(a_1,\ldots,a_n)\)、\(\mathbf{b}=(b_1,\ldots,b_n)\)：

几何上，加法对应向量合成；减法 \(\mathbf{a}-\mathbf{b}\) 是从 \(\mathbf{b}\) 指向 \(\mathbf{a}\) 的位移向量。

例：若 \(\mathbf{a}=(1,2)\)、\(\mathbf{b}=(3,-1)\)，则 \(\mathbf{a}+\mathbf{b}=(4,1)\)，\(\mathbf{a}-\mathbf{b}=(-2,3)\)。

在 AI 里，残差连接（Residual Connection）是 \(\mathbf{x}+f(\mathbf{x})\)；梯度下降（Gradient Descent）的更新可写成 \(\theta\leftarrow\theta-\eta\nabla L(\theta)\)。它们都直接依赖向量加减法。

点积（Dot Product）把两个向量映射为标量（Scalar），常用于相似度、投影和方向一致性判断。对 \(\mathbf{a},\mathbf{b}\in\mathbb{R}^n\)，定义为 \(\mathbf{a}\cdot\mathbf{b}=\sum_{i=1}^n a_i b_i\)。当 \(\mathbf{a},\mathbf{b}\ne\mathbf{0}\) 时，也可写为 \(\mathbf{a}\cdot\mathbf{b}=\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta\)。

点积满足交换律（Commutativity）：\(\mathbf{a}\cdot\mathbf{b}=\mathbf{b}\cdot\mathbf{a}\)。若 \(\mathbf{a}\cdot\mathbf{b}=0\)，两向量正交（Orthogonal）。

向量 \(\mathbf{a}\) 在 \(\mathbf{b}\) 方向上的标量投影是 \(\frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{b}\|}\)。投影更常用的是向量形式（Vector Projection）：

当把向量归一化到单位范数（Unit Norm）后，点积就等于余弦相似度（Cosine Similarity）：\(\cos\theta=\mathbf{\hat a}\cdot\mathbf{\hat b}\)，这也是检索与表示学习中常见的相似度度量。

单位向量（Unit Vector）是范数为 1 的向量，常用来“只表示方向”。对非零向量 \(\mathbf{a}\)，其单位向量是 \(\mathbf{\hat a}=\frac{\mathbf{a}}{\|\mathbf{a}\|}\)。

方向角（Direction Angles）/方向余弦（Direction Cosines）描述单位向量与各坐标轴的夹角：在三维中，若单位向量 \(\mathbf{u}=(u_x,u_y,u_z)\)，则 \(u_x=\cos\alpha\)、\(u_y=\cos\beta\)、\(u_z=\cos\gamma\)，并满足 \(\cos^2\alpha+\cos^2\beta+\cos^2\gamma=1\)。

点积之所以会出现“乘积”，是因为它等于“被投影长度 × 参照向量长度”： \(\mathbf{a}\cdot\mathbf{b}=\|\mathbf{b}\|\cdot \mathrm{projLen}_{\mathbf{b}}(\mathbf{a})\)。当两向量同向时，投影长度就是 \(\|\mathbf{a}\|\)，于是点积变为 \(\|\mathbf{a}\|\|\mathbf{b}\|\)。

在二维空间里，向量 \((a,b)\) 可以写成复数 \(z=a+bi\)。这不是把向量“变成另一种对象”，而是给同一个二维量换一种记法：实部对应 x 轴分量，虚部对应 y 轴分量。

若另一向量 \((c,d)\) 写成 \(w=c+di\)，则复共轭乘积为

其中实部 \(ac+bd\) 恰好就是二维向量的点积：

若再把它们写成极坐标形式 \(z=r_1e^{i\theta_1}\)、\(w=r_2e^{i\theta_2}\)，则

这里实部的来源可以直接从指数形式读出：因为 \(\bar w=r_2e^{-i\theta_2}\)，所以 \(z\bar w=r_1r_2e^{i(\theta_1-\theta_2)}\)。再用欧拉公式 \(e^{i\phi}=\cos\phi+i\sin\phi\) 展开，就得到 \(z\bar w=r_1r_2\big(\cos(\theta_1-\theta_2)+i\sin(\theta_1-\theta_2)\big)\)；其中实部正是 \(r_1r_2\cos(\theta_1-\theta_2)\)。

因此，点积既可以看成分量乘加，也可以看成“复数乘积取实部”。后一种写法把长度与相位差放进同一个式子里，在位置编码、旋转表示与频域分析中尤其方便。后文 RoPE 的复数视角正是沿用这层关系：二维块先写成复数，再让相位随位置旋转。

例：令 \(\mathbf{a}=(3,4)\)、\(\mathbf{b}=(4,0)\)。则 \(\mathbf{a}\cdot\mathbf{b}=12\)、\(\|\mathbf{a}\|=5\)、\(\|\mathbf{b}\|=4\)，所以 \(\cos\theta=\frac{12}{20}=0.6\)。而 \(\mathbf{a}\) 在 \(\mathbf{b}\) 方向上的标量投影是 \(\frac{12}{4}=3\)，恰好对应 \(\mathbf{a}\) 的 x 分量。

叉积（Cross Product）定义在三维空间（3D Space）。结果是同时垂直于两个输入向量的向量，大小为 \(\|\mathbf{a}\times\mathbf{b}\|=\|\mathbf{a}\|\|\mathbf{b}\|\sin\theta\)，等于两向量张成平行四边形的面积。

计算上，若 \(\mathbf{a}=(a_1,a_2,a_3)\)、\(\mathbf{b}=(b_1,b_2,b_3)\)，则：

例： \((1,0,0)\times(0,1,0)=(0,0,1)\)。这个例子在几何上对应两个单位正交基向量张成的“正方形面积为 1”，方向由右手定则给出。

叉积为零当且仅当两向量平行（Parallel/Colinear）或至少有一个为零向量：这是因为 \(\|\mathbf{a}\times\mathbf{b}\|=\|\mathbf{a}\|\|\mathbf{b}\|\sin\theta\)，为 0 只能来自 \(\sin\theta=0\) 或 \(\|\mathbf{a}\|=0\) 或 \(\|\mathbf{b}\|=0\)。

方向由右手定则（Right-Hand Rule）确定：四指从 \(\mathbf{a}\) 旋向 \(\mathbf{b}\)，拇指方向即 \(\mathbf{a}\times\mathbf{b}\) 方向。旋转“正负”不是绝对物理事实，而是由坐标系（Coordinate System）与观察方向（View Direction）约定决定。

力矩（Torque）可作为叉积方向的直观例子： \(\boldsymbol{\tau}=\mathbf{r}\times\mathbf{F}\)。这里保留物理解释的唯一目的，是帮助理解叉积的方向性。

在 \(\mathbb{R}^n\) 中，一组向量 \(\{\mathbf{b}_1,\ldots,\mathbf{b}_n\}\) 若线性无关（Linearly Independent）且张成（Span）整个空间，则称为一组基（Basis）。任何向量 \(\mathbf{x}\) 都能唯一表示为 \(\mathbf{x}=\sum_{i=1}^{n} c_i\mathbf{b}_i\)；系数向量 \(\mathbf{c}=(c_1,\ldots,c_n)^\top\) 就是 \(\mathbf{x}\) 在该基下的坐标（Coordinates）。

把基向量按列堆成矩阵 \(B=[\mathbf{b}_1\ \cdots\ \mathbf{b}_n]\in\mathbb{R}^{n\times n}\)，则坐标与原向量满足 \(\mathbf{x}=B\mathbf{c}\)。换基（Change of Basis）在推导里本质就是在不同 \(B\) 之间切换坐标表示。

换基（Change of Basis）指的是：在不改变几何向量本身的前提下，改用另一组基（Basis）来描述它的坐标（Coordinates）。因此，换基改变的是表示方式，不是向量对象本身。直观上，可把几何向量理解为平面/空间里的一支箭头。

这也是为什么“换基”不能理解成“把向量变形”。真正发生变化的是参考基（Basis），因此同一向量在不同基下的坐标数值会不同，而几何对象本身保持不变。

为了不混淆“向量本身”和“向量的坐标表示”，可以用一个约定把它们分开：

• \(\mathbf{x}\)：把同一个几何向量用标准基（Standard Basis）写出来的分量列向量（数值计算里最常用的表示）。
• \(\mathbf{c}\)：把同一个几何向量用某组新基 \(\{\mathbf{b}_i\}\) 写出来的坐标向量（Coordinate Vector），也就是“在新基上要乘的系数”。

把新基向量在标准基下的分量按列组成 \(B=[\mathbf{b}_1\ \cdots\ \mathbf{b}_n]\)（可称为基矩阵（Basis Matrix）），则

读法：右边 \(\mathbf{c}\) 是“在新基下的坐标”，左边 \(\mathbf{x}\) 是“在标准基下的分量”。乘上 \(B\) 就把“新基坐标”换算回“标准基分量”。

反过来，如果你已知标准基下的分量 \(\mathbf{x}\)，想求新基坐标 \(\mathbf{c}\)，就需要解线性方程组 \(B\mathbf{c}=\mathbf{x}\)。由于基向量线性无关，矩阵 \(B\) 必可逆（Invertible），因此可写成：

更一般地，若旧基矩阵为 \(B\)、新基矩阵为 \(C\)，同一几何向量满足 \(\mathbf{x}=B\mathbf{c}_{B}=C\mathbf{c}_{C}\)，于是坐标之间的换算是：

矩阵 \(P=C^{-1}B\) 常被称为换基矩阵（Change-of-basis Matrix）：它把“旧基坐标”直接映射为“新基坐标”。

例：在 \(\mathbb{R}^2\) 取 \(\mathbf{b}_1=(1,0)^\top,\ \mathbf{b}_2=(1,1)^\top\)。对 \(\mathbf{x}=(2,3)^\top\)，解 \(\mathbf{x}=c_1\mathbf{b}_1+c_2\mathbf{b}_2\) 得 \(c_2=3,\ c_1=-1\)，因此该基下坐标为 \(\mathbf{c}=(-1,3)^\top\)。同一个几何向量，在不同基下的坐标会不同。

把基矩阵写出来会更便于计算： \(B=[\mathbf{b}_1\ \mathbf{b}_2]=\begin{bmatrix}1 & 1\\ 0 & 1\end{bmatrix}\)。此时 \(B\mathbf{c}=\begin{bmatrix}1 & 1\\ 0 & 1\end{bmatrix}\begin{bmatrix}-1\\ 3\end{bmatrix}=\begin{bmatrix}2\\ 3\end{bmatrix}=\mathbf{x}\)；反过来，解 \(B\mathbf{c}=\mathbf{x}\) 等价于 \(\mathbf{c}=B^{-1}\mathbf{x}\)，因此“换基”在计算上就是解一个线性方程组。

标准基（Standard Basis）是最常用的一组基。第 \(i\) 个标准基向量 \(\mathbf{e}_i\) 只有第 \(i\) 个分量为 1，其余为 0：

例：在 \(\mathbb{R}^2\) 中，\((2,3)^\top=2\mathbf{e}_1+3\mathbf{e}_2\)。把 \(\{\mathbf{e}_i\}\) 作为列组成矩阵就是单位矩阵 \(I\)，因此标准基下 \(\mathbf{x}=I\mathbf{x}\) 对应“坐标与分量一致”。

正交基（Orthogonal Basis）是指基向量两两正交：对 \(i\ne j\) 有 \(\mathbf{b}_i^\top\mathbf{b}_j=0\)。它不要求单位长度。

正交基的一个关键性质是：坐标可以用投影直接算出。若 \(\mathbf{x}=\sum_i c_i\mathbf{b}_i\) 且 \(\{\mathbf{b}_i\}\) 正交，则

例：取 \(\mathbf{b}_1=(1,1)^\top,\ \mathbf{b}_2=(1,-1)^\top\)，它们点积为 0。对 \(\mathbf{x}=(2,1)^\top\)，有 \(c_1=\frac{3}{2},\ c_2=\frac{1}{2}\)，因此 \(\mathbf{x}=\frac{3}{2}\mathbf{b}_1+\frac{1}{2}\mathbf{b}_2\)。

正交标准基（Orthonormal Basis）要求两两正交且每个基向量单位长度： \(\|\mathbf{u}_i\|_2=1\)，并满足 \(\mathbf{u}_i^\top\mathbf{u}_j=\delta_{ij}\)（克罗内克 delta（Kronecker Delta））。

此时坐标就是内积/投影：若 \(\mathbf{x}=\sum_i c_i\mathbf{u}_i\)，则 \(c_i=\mathbf{x}^\top\mathbf{u}_i\)。计算上，这等价于把向量投影到各基方向。

例：令 \(\mathbf{u}_1=\frac{1}{\sqrt{2}}(1,1)^\top,\ \mathbf{u}_2=\frac{1}{\sqrt{2}}(1,-1)^\top\)。对 \(\mathbf{x}=(2,1)^\top\)，有 \(c_1=\frac{3}{\sqrt{2}},\ c_2=\frac{1}{\sqrt{2}}\)，于是 \(\mathbf{x}=c_1\mathbf{u}_1+c_2\mathbf{u}_2\)。

把 \(\{\mathbf{u}_i\}\) 按列组成矩阵 \(Q\)，则 \(Q^\top Q=I\)，并且坐标变换可写成 \(\mathbf{c}=Q^\top\mathbf{x}\)、重构为 \(\mathbf{x}=Q\mathbf{c}\)。在 PCA（Principal Component Analysis）与 SVD 中，主方向/奇异向量就是正交标准基；投影与重构只需要转置，不需要显式求逆。

矩阵运算（Matrix Operations）是机器学习（Machine Learning）中最核心的计算骨架。前向传播、反向传播和参数更新都可以表示为矩阵与向量的组合。

矩阵加法按元素（Element-wise）进行：若 \(X,B\in\mathbb{R}^{m\times n}\)，则 \((X+B)_{ij}=X_{ij}+B_{ij}\)。减法同理。

在深度学习框架里常见的是广播（Broadcasting）：例如对 batch 特征 \(X\in\mathbb{R}^{B\times d}\) 与偏置 \(\mathbf{b}\in\mathbb{R}^{d}\)，写作 \(Y=X+\mathbf{b}\) 意味着把 \(\mathbf{b}\) 复制到每一行后再相加。这是线性层 \(Y=XW+\mathbf{b}\) 的标准形式。

令 \(X\in\mathbb{R}^{2\times 3}\)、\(\mathbf{b}\in\mathbb{R}^{3}\)：

广播的语义是“把 \(\mathbf{b}\) 复制到每一行”，因此

从线性代数角度，把 \(\mathbf{b}\) 视作行向量，则广播等价于 \(Y=X+\mathbf{1}\mathbf{b}\)，其中 \(\mathbf{1}\in\mathbb{R}^{B\times 1}\) 是全 1 列向量。

矩阵乘法（Matrix Multiplication）在神经网络里通常对应线性层（Linear Layer）：\(Y=XW\)。从“每个输出维度是一个点积”来看更容易记：

在批处理（Batch）场景下，常用形状约定是 \(X\in\mathbb{R}^{B\times d_{\text{in}}}\)、\(W\in\mathbb{R}^{d_{\text{in}}\times d_{\text{out}}}\)、\(Y=XW\in\mathbb{R}^{B\times d_{\text{out}}}\)。矩阵乘法一般不满足交换律（Non-commutativity），形状不匹配时也无法相乘。

从几何（Geometry）角度看，矩阵定义了一个线性变换（Linear Transformation）：它把空间中的点/向量整体“变形”（旋转、缩放、剪切、投影等）。一种实用记法是看基向量（Basis Vectors）如何被映射：如果用列向量约定，矩阵的每一列就是某个基向量变换后的像。

例（二维）：标准基向量（Standard Basis Vectors）为 \(\mathbf{e}_1=(1,0)^\top\) 与 \(\mathbf{e}_2=(0,1)^\top\)。对

有

因此 \(A\) 的第 1/2 列分别是 \(\mathbf{e}_1,\mathbf{e}_2\) 的像。对任意 \(\mathbf{x}=x_1\mathbf{e}_1+x_2\mathbf{e}_2\)，根据线性变换的线性性（Linearity）\(A(\alpha\mathbf{u}+\beta\mathbf{v})=\alpha A\mathbf{u}+\beta A\mathbf{v}\)，可得

数值例子：取

则 \(A\mathbf{e}_1=(2,0)^\top\)、\(A\mathbf{e}_2=(1,1)^\top\)。若 \(\mathbf{x}=(3,4)^\top=3\mathbf{e}_1+4\mathbf{e}_2\)，则

这就是“看列向量理解变换”的核心：先画出两条基向量被送到哪里，整个网格会按相同线性组合随之平移/剪切/旋转/缩放。

这对应两种等价视角：

• 变换向量（Active View）：固定坐标轴，让向量 \(\mathbf{x}\) 变成 \(A\mathbf{x}\)。
• 变换坐标轴（Passive View）：固定几何点，把坐标系按 \(A^{-1}\) 变换；同一个点在新坐标系下的坐标会变化。

两种视角描述的是同一个线性映射，只是“变的对象”不同。在做特征变换/白化（Whitening）/坐标变换推导时，这个区分能避免符号混乱。

矩阵乘法只有在内维度相等时才有定义：\((m\times n)(n\times p)=(m\times p)\)。把向量视为列向量（\(m\times 1\)）或行向量（\(1\times m\)）后，外积与点积也都可以统一为矩阵乘法的特例。

1. 一般矩阵乘法：\((m\times n)(n\times p)=(m\times p)\)。

   \[A=\begin{bmatrix}1 & 2 & 3\\ 4 & 5 & 6\end{bmatrix}\in\mathbb{R}^{2\times 3},\quad B=\begin{bmatrix}7 & 8\\ 9 & 10\\ 11 & 12\end{bmatrix}\in\mathbb{R}^{3\times 2}\] \[AB=\begin{bmatrix}58 & 64\\ 139 & 154\end{bmatrix}\in\mathbb{R}^{2\times 2}\]

2. 外积（Outer Product）：\((m\times 1)(1\times n)=(m\times n)\)。

   \[\mathbf{u}=\begin{bmatrix}1\\ 2\\ 3\end{bmatrix}\in\mathbb{R}^{3\times 1},\quad \mathbf{v}=\begin{bmatrix}4 & 5\end{bmatrix}\in\mathbb{R}^{1\times 2}\] \[\mathbf{u}\mathbf{v}=\begin{bmatrix}4 & 5\\ 8 & 10\\ 12 & 15\end{bmatrix}\in\mathbb{R}^{3\times 2}\]

   这是一个秩一（Rank-1）矩阵：它把“列向量 × 行向量”变成矩阵；在低秩近似、注意力权重构造与二阶统计量里都很常见。

3. 点积（Dot Product）：\((1\times m)(m\times 1)=(1\times 1)\)。

   \[\mathbf{r}=\begin{bmatrix}1 & 2 & 3\end{bmatrix}\in\mathbb{R}^{1\times 3},\quad \mathbf{c}=\begin{bmatrix}4\\ 5\\ 6\end{bmatrix}\in\mathbb{R}^{3\times 1}\] \[\mathbf{r}\mathbf{c}=\begin{bmatrix}32\end{bmatrix}\in\mathbb{R}^{1\times 1}\equiv 32\]

   结果是标量 \(32\)，等价于点积： \(\mathbf{r}\mathbf{c}=\sum_{i=1}^{m} r_i c_i\)。在实现里常写成 \(\mathbf{x}^\top\mathbf{y}\)。

仿射（Affine）是线性（Linear）的一个自然扩展。线性变换要求 \(f(\mathbf{x})=A\mathbf{x}\)，必须把原点 \(\mathbf{0}\) 映到原点；仿射变换则允许再加一个平移项：

这里 \(A\) 是线性部分，负责旋转、缩放、剪切、投影等形变； \(\mathbf{b}\) 是平移项（Translation / Bias），负责把整个空间整体推走一个位移。因此，仿射变换可以理解为“先做线性变换，再做平移”。

几何上，线性变换像在原点固定不动的前提下拉伸或扭转整张网格；仿射变换则像先把网格按 \(A\) 变形，再把整张网格连同原点一起平移到别的位置。两者最核心的区别是：线性变换保原点，仿射变换不一定保原点。

最简单的一维例子是 \(f(x)=2x\) 与 \(g(x)=2x+3\)。前者是线性的，因为 \(f(0)=0\)；后者是仿射的，因为它先把数轴按 2 倍拉伸，再整体平移 3 个单位，所以 \(g(0)=3\)，不再经过原点。二维里也是同样： \(f(\mathbf{x})=\mathbf{x}\) 是恒等线性变换，而 \(g(\mathbf{x})=\mathbf{x}+\begin{bmatrix}1\\2\end{bmatrix}\) 会把整张平面网格整体向右平移 1、向上平移 2。

仿射函数（Affine Function）在优化与机器学习里极其常见。一维情形的 \(f(x)=ax+b\) 就是最简单的仿射函数；高维里则写成 \(f(\mathbf{x})=\mathbf{w}^\top\mathbf{x}+b\)。因此，神经网络里通常口头说“线性层（Linear Layer）”，但如果带偏置 \(b\)，更严格的数学名称其实是仿射层（Affine Layer）：

这里 \(X\) 是输入矩阵， \(W\) 是线性变换矩阵， \(b\) 是偏置向量， \(\mathbf{1}\) 是把偏置广播到每个样本上的全 1 列向量。若没有偏置，才是严格意义上的线性映射。

仿射还有一个重要性质：它保持仿射组合（Affine Combination）。若 \(\sum_i \alpha_i=1\)，则

这意味着直线、平面、平行关系和凸组合结构在仿射变换下会被保留；因此很多几何对象在经过仿射变换后，仍然保持“像线还是线，像平面还是平面”的基本类型，但位置和方向可能改变。

仿射子空间（Affine Subspace）则是“线性子空间整体平移后得到的集合”。若 \(U\) 是一个线性子空间， \(\mathbf{x}_0\) 是空间中的某个固定点，则

就是一个仿射子空间。它和线性子空间的差别也在于是否经过原点：线性子空间必须包含原点，仿射子空间不必。例如二维中的直线 \(x+y=1\) 就是一个仿射子空间；它的方向部分与线性子空间 \(x+y=0\) 相同，但整条直线被平移开了，因此不经过原点。

这正是为什么超平面 \(\mathbf{w}^\top\mathbf{x}+b=0\) 被称为仿射子空间而不是线性子空间：当 \(b\ne 0\) 时，它通常不经过原点，只是由某个线性超平面整体平移而来。优化里的等式约束 \(h_j(x)=0\) 若要求 \(h_j\) 是仿射函数，含义也正是“约束边界仍然保持平直结构，但允许存在偏置和平移”。

更进一步，双仿射（Biaffine）也是同一族概念的延伸。它通常在两个向量之间做一个双线性项 \(h_i^\top U h_j\)，再加上线性项和偏置项，因此既包含“两个变量之间的乘性交互”，也包含仿射偏置修正。理解了仿射，就能把“线性 / 仿射 / 双线性 / 双仿射”看成一条逐步加复杂度的函数族谱。

把输出视为一个标量时，这条族谱可以写成一组并列的标准形式：

其中 \(\mathbf{x}\in\mathbb{R}^{m},\mathbf{z}\in\mathbb{R}^{n}\) 是两个输入向量， \(\mathbf{w},\mathbf{a}\in\mathbb{R}^{m}\)， \(\mathbf{c}\in\mathbb{R}^{n}\)， \(U\in\mathbb{R}^{m\times n}\)， \(b\in\mathbb{R}\)。这里的 \(U\) 是双线性项的参数矩阵（Parameter Matrix）：它不作用于单个向量本身，而是给“ \(x_p\) 与 \(z_q\) 同时出现”这类二元交互分配权重。把式子展开后可写成 \(\mathbf{x}^\top U\mathbf{z}=\sum_{p=1}^{m}\sum_{q=1}^{n}x_p\,U_{pq}\,z_q\)，因此 \(U_{pq}\) 直接控制第 \(p\) 个 \(\mathbf{x}\) 特征与第 \(q\) 个 \(\mathbf{z}\) 特征之间的交互强度。 \(\mathbf{a}^\top\mathbf{x}\) 与 \(\mathbf{c}^\top\mathbf{z}\) 是单边线性项，分别描述各自独立的角色偏好； \(b\) 是全局基线偏置。

把这个定义写成一个最小的 2×3 例子，会更容易直接看出“连接强度”来自哪里。令

则双线性项为

这一步把抽象的矩阵乘法拆成了六条显式连接： \(u_{11}\) 控制 \(x_1\) 与 \(z_1\) 的连接强度， \(u_{23}\) 控制 \(x_2\) 与 \(z_3\) 的连接强度。若某个 \(u_{pq}\) 很大且为正，只要对应的 \(x_p\) 与 \(z_q\) 同时取大值，这一对特征就会显著抬高总分；若某个 \(u_{pq}\) 为负，则说明这对特征的共同出现会压低分数。

在同一个例子里，双仿射只是在双线性项之外再加上单边项与偏置：

其中 \(a_1,a_2\) 描述 \(\mathbf{x}\) 一侧各特征自身的偏好， \(c_1,c_2,c_3\) 描述 \(\mathbf{z}\) 一侧各特征自身的偏好， \(b\) 给出无条件基线分数。于是，双线性回答的是“这两组特征配在一起有多合适”，双仿射回答的则是“它们配在一起有多合适，并且各自本身是否已经带有倾向”。

若输出不是一个标量分数，而是 \(K\) 个关系类别或标签分数，则通常不只使用一个 \(U\)，而是为每个类别准备一张交互矩阵 \(U^{(k)}\)，或等价地把它们堆成三阶张量 \(U\in\mathbb{R}^{K\times m\times n}\)。这时每个类别都拥有自己的一套“特征两两交互”权重。

从函数结构看，线性与仿射的区别在于是否含偏置；双线性与双仿射的区别同样在于是否在交互项之外再加入单边项与偏置。固定 \(\mathbf{z}\) 时， \(\mathbf{x}^\top U\mathbf{z}\) 对 \(\mathbf{x}\) 是线性的， \(s_{\text{biaffine}}(\mathbf{x},\mathbf{z})\) 对 \(\mathbf{x}\) 则是仿射的；固定 \(\mathbf{x}\) 时，对 \(\mathbf{z}\) 也是同样的性质。这正是 “biaffine” 这个名字的数学含义。

图中上排用一维切片显示“是否经过原点”这一关键差异： \(f(x)=ax\) 必然经过原点，而 \(f(x)=ax+b\) 由于加入偏置项，整条直线沿输出轴发生平移。下排保持与公式族谱一致，仍写成 \(\mathbf{x}^\top U\mathbf{z}\) 与 \(\mathbf{x}^\top U\mathbf{z}+\mathbf{a}^\top\mathbf{x}+\mathbf{c}^\top\mathbf{z}+b\)；图像本身展示的是把高维向量关系压到二维后的一个切片。纯双线性项的零等值线体现为对称的交互边界；加入单边项与偏置后，零等值线整体偏移，分数面出现倾斜与平移，表示模型不仅关心“是否匹配”，还关心两个对象各自单独的倾向。

在依存句法（Dependency Parsing）、关系抽取（Relation Extraction）和成对匹配（Pairwise Matching）任务中，这个结构尤其有用。纯双线性项只能表达“组合后是否相容”，双仿射则进一步允许模型学习“某个对象本身就更像 head / dependent”或“某个实体本身就更像某类关系的一端”。因此，双仿射通常既比纯仿射更能表达交互，又比纯双线性更稳定。

转置（Transpose）把行列互换：对 \(A\in\mathbb{R}^{m\times n}\)，其转置 \(A^\top\in\mathbb{R}^{n\times m}\) 满足 \((A^\top)_{ij}=A_{ji}\)。

它常用于对齐乘法形状、把点积写成矩阵乘法，以及在推导中“移动”矩阵：例如 \((AB)^\top=B^\top A^\top\)。Transformer 注意力中的 \(QK^\top\) 就是典型的“先转置再相乘”。

令

则

可以直接看到：原矩阵的第 1 行变成转置后的第 1 列；因此 \((m\times n)^\top=(n\times m)\)。

Hadamard 乘积（Hadamard Product）是逐元素（Element-wise）相乘：若 \(X,M\) 形状相同，则 \((X\odot M)_{ij}=X_{ij}M_{ij}\)。

典型用途是掩码（Masking）与门控（Gating）。例：令 \(M\in\{0,1\}^{B\times d}\)，则 \(X\odot M\) 会把被屏蔽的特征位置直接置零；也可以用 \(M\in[0,1]^{B\times d}\) 做连续缩放。

矩阵分解（Decomposition）把矩阵写成更“易处理”的结构乘积，用于求解、降维与稳定计算。常见形式包括：

• SVD： \(A=U\Sigma V^\top\)，用于 PCA（Principal Component Analysis）、低秩近似与数值稳健求解。
• QR： \(A=QR\)（\(Q\) 正交、\(R\) 上三角），常用于最小二乘与正交化。
• Cholesky：对对称正定（SPD）矩阵 \(A\)，有 \(A=LL^\top\)，常用于高斯模型与二次优化中的快速求解。

矩阵的迹（Trace）定义为对角线元素之和：对方阵 \(A\in\mathbb{R}^{n\times n}\)，

迹在推导里常用的性质是循环不变性（Cyclic Property）：\(\mathrm{tr}(AB)=\mathrm{tr}(BA)\)（形状匹配时）。一个高频等式是 \(\mathrm{tr}(A^\top A)=\|A\|_F^2\)，它把“平方和”写成迹，便于做矩阵微分与正则化推导。

范数（Norm）刻画矩阵的“大小”。最常用的是 Frobenius 范数：

它等价于把矩阵按元素展平后的 \(\ell_2\) 范数，常用于权重衰减（Weight Decay）/L2 正则。另一个常见的是谱范数（Spectral Norm）\(\|A\|_2\)（最大奇异值），用于控制 Lipschitz 常数与训练稳定性（如 spectral normalization）。

外积（Outer Product）把两个向量映射为矩阵：对 \(\mathbf{u}\in\mathbb{R}^{m}\) 与 \(\mathbf{v}\in\mathbb{R}^{n}\)，

它是一个秩一（Rank-1）矩阵。外积在统计与学习中常用于构造二阶量：例如样本协方差的无偏估计可写成中心化向量的外积平均 \(\Sigma\approx \frac{1}{N}\sum_{k=1}^{N}(\mathbf{x}_k-\bar{\mathbf{x}})(\mathbf{x}_k-\bar{\mathbf{x}})^\top\)。

例：令 \(\mathbf{u}=\begin{bmatrix}1\\ 2\\ 3\end{bmatrix}\)、\(\mathbf{v}=\begin{bmatrix}4\\ 5\end{bmatrix}\)，则

直观上，外积得到的矩阵每一列都是 \(\mathbf{u}\) 的缩放：第 \(j\) 列等于 \(v_j\mathbf{u}\)。因此所有列共线，矩阵的秩最多为 1（除非 \(\mathbf{u}\) 或 \(\mathbf{v}\) 为零向量）。

把外积视为线性算子更直接：对任意 \(\mathbf{x}\in\mathbb{R}^{n}\)，有 \((\mathbf{u}\mathbf{v}^\top)\mathbf{x}=\mathbf{u}(\mathbf{v}^\top\mathbf{x})\)。这表示先沿 \(\mathbf{v}\) 做一次投影/打分得到标量 \(\mathbf{v}^\top\mathbf{x}\)，再沿 \(\mathbf{u}\) 方向输出。例：取 \(\mathbf{x}=\begin{bmatrix}1\\ 1\end{bmatrix}\)，则 \(\mathbf{v}^\top\mathbf{x}=9\)，从而 \((\mathbf{u}\mathbf{v}^\top)\mathbf{x}=9\mathbf{u}=\begin{bmatrix}9\\ 18\\ 27\end{bmatrix}\)。

秩一更新（Rank-1 Update）则是把矩阵写成 \(A\leftarrow A+\mathbf{u}\mathbf{v}^\top\)：只引入一个方向上的低秩结构，常用于用较低代价注入统计量/二阶近似，或在保持主结构的前提下做小幅调整。

行列式（Determinant）把一个方阵 \(A\in\mathbb{R}^{n\times n}\) 映射为标量 \(\det(A)\)。几何上，它是线性变换对体积的缩放因子（Volume Scaling Factor）：绝对值表示缩放倍数，符号表示是否翻转取向（Orientation Flip）。

二维情形最直观：若

则

例： \(A=\begin{bmatrix}2 & 1\\ 0 & 3\end{bmatrix}\)，则 \(\det(A)=6\)：面积被放大 6 倍。

关键结论：方阵可逆（Invertible）当且仅当行列式非零。当 \(\det(A)=0\) 时，变换会把体积压扁到低维（丢失信息），对应列向量线性相关（Linearly Dependent）。

常用性质：

• \(\det(AB)=\det(A)\det(B)\)
• \(\det(A^\top)=\det(A)\)
• \(\det(I)=1\)

若把特征值（Eigenvalues）记作 \(\{\lambda_i\}_{i=1}^n\)（按代数重数计），则 \(\det(A)=\prod_i \lambda_i\)、\(\mathrm{tr}(A)=\sum_i \lambda_i\)。

矩阵的秩（Rank）刻画“列（或行）里最多有多少个线性无关（Linearly Independent）的方向”。对 \(A\in\mathbb{R}^{m\times n}\)，秩定义为列空间（Column Space）的维数：

这一定义的直接含义是：若 \(\mathrm{rank}(A)=r\)，那么 \(A\) 的所有列向量都只能张成一个 \(r\) 维子空间，超出这个子空间的方向它完全无法表达。反过来，若某一列可以由其他列线性组合得到，它就不提供新的维度，因此不会增加秩。

它也等于行空间（Row Space）的维数（行秩=列秩）。把 \(A\) 看作线性映射 \(\mathbb{R}^n\to\mathbb{R}^m\)，秩就是输出子空间的维度：最多能输出多少个自由方向。

满秩（Full Rank）通常指 \(\mathrm{rank}(A)=\min(m,n)\)。对方阵 \(n\times n\) 而言，满秩等价于可逆（也等价于 \(\det(A)\ne 0\)）。

线性方程组（Linear System）\(A\mathbf{x}=\mathbf{b}\) 的解与秩直接相关：设增广矩阵为 \(\left[A\,\middle|\,\mathbf{b}\right]\)，则

• 若 \(\mathrm{rank}(A)\ne \mathrm{rank}\!\left(\left[A\,\middle|\,\mathbf{b}\right]\right)\)，无解。
• 若 \(\mathrm{rank}(A)=\mathrm{rank}\!\left(\left[A\,\middle|\,\mathbf{b}\right]\right)=n\)（未知数个数），唯一解。
• 若 \(\mathrm{rank}(A)=\mathrm{rank}\!\left(\left[A\,\middle|\,\mathbf{b}\right]\right)<n\)，无穷多解（存在自由变量）。

与 SVD 的关系非常实用：秩等于非零奇异值（Singular Values）的个数，因此在数值计算里常用“奇异值是否接近 0”判断有效秩（Numerical Rank）。

在高中里，一元二次函数常写成 \(ax^2+bx+c\)。把“二次”推广到多元，并且只保留二次项（没有一次项与常数项），就得到二次型（Quadratic Form）。二维里最常见的形式是：

其中 \(bxy\) 是交叉项（Cross Term）：它把不同变量“耦合在一起”。在解析几何（Analytic Geometry）里，交叉项常对应二次曲线（Conic Section）的主轴（Principal Axes）不与坐标轴对齐（图形呈旋转/倾斜）。

若再把一次项与常数项加回来，就得到更一般的二次多项式（Quadratic Polynomial）\(ax^2+bxy+cy^2+dx+ey+f\)。这时：交叉项 \(bxy\) 主要反映主轴旋转；一次项 \(dx+ey\) 往往表示图形的中心/顶点从原点平移出去；常数项 \(f\) 则改变整体基准值，进而影响图形的截距、大小以及是否与 \(q(x,y)=0\) 相交。只有把一次项和常数项都去掉时，我们讨论的才是纯粹的二次型。

下面两幅图都基于等值线（Level Set）生成：先固定常数 \(k\)，在平面上求解 \(q(x,y)=k\) 得到等值线，再把不同 \(k\) 的结果叠加，并与 \(z=q(x,y)\) 的三维曲面对应显示。

第一幅展示无交叉项（\(b=0\)）的典型形态：等值线与坐标轴对齐，曲面主轴方向也与坐标轴一致。

第二幅展示含交叉项（\(b\ne 0\)）的情形：等值线整体发生旋转/倾斜，三维曲面看起来更“不规则”。

在线性代数里，用矩阵（Matrix）把系数组织起来更方便。令 \(\mathbf{x}=(x_1,\ldots,x_n)^\top\)、\(A\in\mathbb{R}^{n\times n}\)，则

上面这条等式不是“记号游戏”，而是把矩阵乘法按分量（Component）展开后的结果。把它分两步看最清楚：

1. 先做一次矩阵-向量乘法：令 \(\mathbf{y}=A\mathbf{x}\)，则第 \(i\) 个分量是

2. 再做一次点积： \(\mathbf{x}^\top\mathbf{y}=\sum_{i=1}^{n}x_i y_i\)。把第 1 步的 \(y_i\) 代入，就得到

这就是“双重求和（Double Summation）”的含义：每一个矩阵元素 \(A_{ij}\) 都在给二次项 \(x_i x_j\) 分配一个权重；当 \(i=j\) 时就是平方项 \(x_i^2\)，当 \(i\ne j\) 时就是交叉项 \(x_i x_j\)。

二维情形最直观：若希望展开后得到 \(ax^2+bxy+cy^2\)，可以取

这里把向量写成 \(\mathbf{x}=(x,y)^\top\)，按矩阵乘法展开一遍：

可以看到：交叉项 \(xy\) 的系数 \(b\) 实际来自两处对称位置 \(A_{12}\) 与 \(A_{21}\) 的“合力”（各贡献一半）。这也会自然导向下一节的结论：二次型只依赖矩阵的对称部分。

例：取 \(q(x,y)=5x^2-4xy+5y^2\)，对应 \(A=\begin{bmatrix}5 & -2\\ -2 & 5\end{bmatrix}\)。这一类表达式不仅在几何里出现（椭圆（Ellipse）/双曲线（Hyperbola）），在优化与统计里也高频出现（曲率（Curvature）、距离度量（Distance Metric））。

对任意方阵 \(A\)，二次型只依赖其对称部分：

这句话的意思是：无论 \(A\) 的非对称部分长什么样，只要 \(\frac{A+A^\top}{2}\) 不变，二次型 \(\mathbf{x}^\top A\mathbf{x}\) 对所有 \(\mathbf{x}\) 的取值就完全不变。

把 \(A\) 拆开看更直观。定义对称部分（Symmetric Part）与反对称部分（Skew-symmetric Part）：

• \(S=\frac{A+A^\top}{2}\)，满足 \(S=S^\top\)。
• \(K=\frac{A-A^\top}{2}\)，满足 \(K^\top=-K\)。

这里“对称部分（Symmetric Part）”是一个定义：对任意方阵 \(A\)，把 \(S=\frac{A+A^\top}{2}\) 定义为它的对称部分。它与 \(A\) 同型（同大小），并且一定是对称矩阵；它不是 \(A\) 的某个“子矩阵”。

按元素（Entry-wise）写得更直观：对任意 \(i,j\)，

也就是说：对称部分就是把每一对对称位置 \((i,j)\) 与 \((j,i)\) 的元素取平均；反对称部分则记录它们的“差的一半”。因此 \(A=S+K\) 是把任意矩阵分解成“对称 + 反对称”的标准方式，并且这个分解是唯一的（Unique）。

为什么“取 \(A\) 与 \(A^\top\) 的平均值”就得到对称部分？因为转置（Transpose）会把非对角元素成对交换： \(A_{ij}\leftrightarrow A_{ji}\)。把它们相加后，非对称性（即 \(A_{ij}-A_{ji}\)）会被抵消，只留下“对称的那一半”（即 \(A_{ij}+A_{ji}\)）。再除以 2，是为了把“加了两份”的量恢复到原始尺度：如果 \(A\) 本来就对称（\(A=A^\top\)），那么 \(\frac{A+A^\top}{2}=A\)，不会把矩阵放大一倍。

于是 \(A=S+K\)，并且

关键点在于：对任意 \(\mathbf{x}\)，都有 \(\mathbf{x}^\top K\mathbf{x}=0\)。理由很短：它是一个标量，等于它自己的转置，而

一个数如果等于它的相反数，只能是 0。于是 \(\mathbf{x}^\top A\mathbf{x}=\mathbf{x}^\top S\mathbf{x}\)，二次型确实只由对称部分决定。

二维展开能直接看到“只依赖对称部分”的具体含义。令 \(A=\begin{bmatrix}a & b\\ c & d\end{bmatrix}\)、\(\mathbf{x}=(x_1,x_2)^\top\)，则

交叉项系数只出现 \(b+c\)（也就是 \(A_{12}+A_{21}\)），而差值 \(b-c\)（反对称部分）完全不会出现。

下面给一个“看得见”的数值例子。取

它显然不是对称矩阵（因为 \(A_{12}=4\ne -2=A_{21}\)）。计算它的对称部分：

现在比较二次型。对任意 \(\mathbf{x}=(x,y)^\top\)：

两者对所有 \((x,y)\) 都完全相同；例如取 \(\mathbf{x}=(1,2)^\top\)，都有 \(\mathbf{x}^\top A\mathbf{x}=\mathbf{x}^\top S\mathbf{x}=22\)。这就直观解释了“二次型只依赖对称部分”的含义：反对称的那一半怎么改，都不会改变 \(\mathbf{x}^\top A\mathbf{x}\) 的值。

因此讨论二次型时通常可假设 \(A=A^\top\)。这也解释了为什么二次型与对称矩阵/半正定性（Positive Semi-Definite, PSD）紧密绑定。

二次型 \(q(\mathbf{x})=\mathbf{x}^\top A\mathbf{x}\) 本身是一个几何对象；它在不同坐标系（Coordinate System）/基（Basis）下的矩阵表示会不同：同一个几何对象，用不同坐标轴/基表示时，系数矩阵 \(A\) 的元素会改变。

这里的标准型指的是：在一类允许的坐标变换（可逆线性变量替换（Invertible Linear Change of Variables））下，把同一个二次型写成某种约定的简化代表。不同教材的约定略有差异，但最常用的目标是：把交叉项（Cross Term）消掉，露出每个坐标轴方向上的“纯平方项”。

把 \(\mathbf{x}=T\mathbf{y}\) 理解成换基（Change of Basis）会更不容易出错： \(\mathbf{y}\) 是同一几何向量在新基下的坐标，矩阵 \(T\) 由新基向量在旧基下的坐标组成。因为 \(T\) 可逆，两套坐标是一一对应的，可以互相换回：

把 \(\mathbf{x}=T\mathbf{y}\) 代入可得

这里要求 \(T\) 可逆（Invertible），意味着这个变量代换不会把空间压缩到低维（不会丢维度）。因此在新坐标 \(\mathbf{y}\) 下，二次型对应的系数矩阵变为 \(T^\top A T\)（这叫合同变换（Congruence Transformation））。可以把 \(T\) 理解为“旋转/缩放后的新坐标轴”在旧坐标里的表示：同一个二次型在新坐标系里的系数就由 \(T^\top A T\) 给出。标准型的目标就是选取合适的 \(T\)，把 \(T^\top A T\) 化到更简单的结构。

对角标准型（Diagonal Form）指把二次型写成“只有平方项、没有交叉项”的形式（也常称对角规范形（Diagonal Canonical Form））：

其中 \(\lambda_i\) 是系数，\(\mathbf{y}\) 是新坐标。对角标准型等价于：在新坐标系下，二次型对应的矩阵是对角矩阵（Diagonal Matrix）；“交叉项” \(y_i y_j\)（\(i\ne j\)）消失。

结论需要明确：标准型与原来的二次型描述的是同一个二次型/同一组几何等值集合，只是坐标系不同。给定可逆变换 \(\mathbf{x}=T\mathbf{y}\)，任何关于 \(\mathbf{x}\) 的几何描述都可以无损地翻译成关于 \(\mathbf{y}\) 的描述，并且可以随时“还原”回去。矩阵层面也一样：若 \(A' = T^\top A T\) 是标准型里的系数矩阵，则 \(A=(T^{-1})^\top A' T^{-1}\) 可把它变回原坐标下的表示。

接下来真正关心的是：如何选 \(T\) 才能把交叉项消掉。对二次型而言，一个关键简化是：二次型只依赖矩阵的对称部分，因此总可以先把 \(A\) 对称化为 \(\frac{A+A^\top}{2}\) 而不改变 \(\mathbf{x}^\top A\mathbf{x}\) 的值。于是“消交叉项”的核心问题就变成：对实对称矩阵，能否通过一次正交变基（Orthogonal Change of Basis）把它对角化（Diagonalize）。

对实对称矩阵，对角化与“消掉交叉项”来自同一个结构事实：它总可以通过一次正交变基（Orthogonal Change of Basis）写成对角形式。数学依据就是谱定理（Spectral Theorem，也常表述为“实对称矩阵可正交对角化（Orthogonal Diagonalization）”）。若 \(A\in\mathbb{R}^{n\times n}\) 是实对称矩阵（Real Symmetric Matrix, \(A=A^\top\)），则存在正交矩阵（Orthogonal Matrix）\(Q\) 与实对角矩阵（Real Diagonal Matrix）\(\Lambda\) 使得

其中 \(Q=[\mathbf{v}_1,\ldots,\mathbf{v}_n]\) 的列向量是一组单位特征向量（Orthonormal Eigenvectors），\(\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)\) 的对角元素是对应特征值（Eigenvalues）。该定理同时包含两个常用事实：特征值都是实数；并且可以选出一组两两正交的特征向量作为基。

这就是你熟悉的特征值分解（Eigendecomposition / Eigenvalue Decomposition）的对称矩阵特例。

一般情况下，如果矩阵可对角化（Diagonalizable），可以写成 \(A=V\Lambda V^{-1}\)（或 \(V^{-1}AV=\Lambda\)），其中 \(V\) 的列是特征向量；但 \(V\) 不一定正交（Orthogonal），甚至矩阵可能不可对角化（Non-diagonalizable）。

对称矩阵的额外好处是：可以把 \(V\) 选成正交矩阵 \(Q\)，因此 \(V^{-1}=Q^{-1}=Q^\top\)，分解变成数值上更稳定、几何上更直观的 \(A=Q\Lambda Q^\top\)。

两个最小例子能把“\(V\) 不一定正交 / 甚至不可对角化”说得更具体：

• 例 1：可对角化，但 \(V\) 不正交。取

  \[A_1=\begin{bmatrix}2 & 1\\ 0 & 1\end{bmatrix}\]

  它的特征值是 \(\lambda_1=2,\lambda_2=1\)（两个不同特征值意味着在二维里一定能找到两条线性无关的特征向量，因此可对角化）。对应一组特征向量可以取

  \[\mathbf{v}_1=\begin{bmatrix}1\\ 0\end{bmatrix},\quad \mathbf{v}_2=\begin{bmatrix}1\\ -1\end{bmatrix}\]

  它们并不正交，因为 \(\mathbf{v}_1^\top\mathbf{v}_2=1\ne 0\)。把它们按列组成矩阵 \(V=[\mathbf{v}_1\ \mathbf{v}_2]\)，则

  \[V=\begin{bmatrix}1 & 1\\ 0 & -1\end{bmatrix},\quad \Lambda=\begin{bmatrix}2 & 0\\ 0 & 1\end{bmatrix},\quad V^{-1}=\begin{bmatrix}1 & 1\\ 0 & -1\end{bmatrix}\]

  注意：这个例子里 \(V^{-1}\) 恰好等于 \(V\)（只是代数上的巧合），但它仍然不是正交矩阵，因为正交要求 \(V^{-1}=V^\top\)，而这里并不成立。

  并且确实有 \(A_1=V\Lambda V^{-1}\)。这个例子说明：一般矩阵即使可对角化，特征向量也未必能选成“互相垂直的方向”。

• 例 2：不可对角化（特征值重复，但特征向量不够）。取

  \[A_2=\begin{bmatrix}1 & 1\\ 0 & 1\end{bmatrix}\]

  它的特征值只有 \(\lambda=1\)（在二维里重复出现）。求特征向量需要解 \((A_2-I)\mathbf{v}=\mathbf{0}\)：

  \[A_2-I=\begin{bmatrix}0 & 1\\ 0 & 0\end{bmatrix}\Rightarrow (A_2-I)\begin{bmatrix}x\\ y\end{bmatrix}=\begin{bmatrix}y\\ 0\end{bmatrix}=\begin{bmatrix}0\\ 0\end{bmatrix}\Rightarrow y=0\]

  因此所有特征向量都形如 \((x,0)^\top\)，只有 1 个线性无关方向。要写成 \(A_2=V\Lambda V^{-1}\)，矩阵 \(V\) 必须可逆（Invertible），这要求有足够多（在二维里是 2 个）线性无关特征向量作为列；该矩阵做不到，所以它不可对角化。

把这个定理放回二次型就能立刻看出“交叉项为什么会消失”。令坐标变换 \(\mathbf{y}=Q^\top\mathbf{x}\)（把 \(\mathbf{x}\) 在特征向量基下的坐标记作 \(\mathbf{y}\)），则

注意这里同时出现了两种“换坐标”的写法：线性变换里常写 \(Q^{-1}AQ\)（相似变换（Similarity Transformation）），二次型里写 \(Q^\top A Q\)（合同变换（Congruence Transformation））。对正交矩阵而言 \(Q^{-1}=Q^\top\)，所以它们在这里完全一致：同一个正交变换既给出特征值分解，也把二次型化到没有交叉项的对角标准型。

因此：在对称矩阵的情形，“换到特征向量基”与“把二次型旋转到主轴”是同一件事，只是用不同语言描述。

直观上，特征向量（Eigenvector）给出“主轴方向”（把坐标轴转到这些方向后，交叉项会消失），特征值（Eigenvalue）则是标准型里各平方项前的系数。

详细例子：取

它是对称矩阵，因此可正交对角化。其特征值与一组单位特征向量可以取为：

把它们组成正交矩阵与对角矩阵：

则 \(A=Q\Lambda Q^\top\)。这里 \(\mathbf{y}\) 不是任意新变量，而是 \(\mathbf{x}\) 在特征向量基 \(\{\mathbf{v}_1,\mathbf{v}_2\}\) 下的坐标： \(\mathbf{x}=y_1\mathbf{v}_1+y_2\mathbf{v}_2=Q\mathbf{y}\)。

由于 \(Q\) 是正交矩阵（\(Q^\top Q=I\)），左乘 \(Q^\top\) 可得 \(\mathbf{y}=Q^\top\mathbf{x}\)。这一步就是换基（Change of Basis）：把向量从标准坐标系表达改写为主轴坐标系表达。

因此可显式写出两组坐标关系：

代入标准型：

把 \(\mathbf{y}\) 用 \(\mathbf{x}\) 展开，可直接验证“交叉项被旋转消掉”：

数值校验：取 \(\mathbf{x}=(1,2)^\top\)，原式为 \(\mathbf{x}^\top A\mathbf{x}=17\)；而 \(\mathbf{y}=Q^\top\mathbf{x}=\left(\frac{3}{\sqrt{2}},-\frac{1}{\sqrt{2}}\right)^\top\)，代入 \(3y_1^2+7y_2^2\) 同样得到 17。

几何解释：正交矩阵 \(Q\) 表示旋转/换基，把坐标轴对齐到“主轴方向”（特征向量）；对角矩阵 \(\Lambda\) 表示沿主轴的逐轴缩放（由特征值控制）。因此等值线在 \(\mathbf{y}\) 坐标系里与轴对齐，形状由 \(\lambda_i\) 决定。

若 \(\Lambda\) 中既有正特征值也有负特征值，则二次型是不定的（Indefinite）：沿某些方向 \(q\) 增大，沿另一些方向 \(q\) 减小。二维里它的等值线（Level Set）典型呈双曲线（Hyperbola）形状，优化里对应鞍点（Saddle Point）结构。例：令 \(A=\begin{bmatrix}1 & 2\\ 2 & 1\end{bmatrix}\)，其特征值为 3 与 -1，在某个正交坐标 \(\mathbf{y}\) 下有 \(\mathbf{x}^\top A\mathbf{x}=3y_1^2-y_2^2\)，可取正也可取负。

进一步允许一般可逆线性变换（不要求是旋转）时，可把对角项缩放为 \(+1,-1,0\)（Sylvester 惯性定理（Law of Inertia））：二次型被分解为若干正平方项、负平方项与零方向，其中正/负/零项的个数在合同变换下保持不变（换言之，“正方向有几个、负方向有几个、平坦方向有几个”是坐标变换改不掉的性质）；正/负项的个数也称为签名（Signature）。在优化里，它们分别对应局部最小、鞍点与平坦方向。

下面这些场景看起来不同，但核心都在计算“某个方向上的能量/代价”：给一个向量 \(\mathbf{v}\)，二次型 \(\mathbf{v}^\top A\mathbf{v}\) 会告诉你它在矩阵 \(A\) 定义的几何里有多大、代价有多高。

• 平方范数（Squared \(L_2\) Norm）：\(\|\mathbf{x}\|_2^2=\mathbf{x}^\top I\mathbf{x}\)。直白地说，它就是“向量长度的平方”，在训练里常作为最基础的“大小惩罚”。例如权重衰减（Weight Decay）把过大的参数拉回去，本质是在最小化 \(\|\theta\|_2^2\) 这种二次型。
• 最小二乘与二次损失（Least Squares / MSE）：线性回归目标 \(\|X\mathbf{w}-\mathbf{y}\|_2^2\) 展开后是关于 \(\mathbf{w}\) 的二次型。通俗理解：模型每偏一点，代价按“平方”增长，所以大误差会被更重惩罚。它的闭式解来自正规方程（Normal Equations）\(X^\top X\mathbf{w}=X^\top\mathbf{y}\)。
• PCA（Principal Component Analysis）：对中心化（Centering）数据，方向 \(\mathbf{u}\) 上的方差是 \(\mathbf{u}^\top\Sigma\mathbf{u}\)。这句话的直觉是：“把数据投影到某个方向后，能展开多宽”。PCA 就是在所有单位方向里找让这个二次型最大的方向（主成分），因此主成分就是“信息最密集”的方向。
• 马氏距离（Mahalanobis Distance）与高斯负对数似然（Gaussian NLL）：核心项是 \((\mathbf{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\)。可以把它理解成“先按数据真实尺度做校正，再测距离”：方差大的方向偏离一点不算太异常，方差小的方向偏离同样大小则更异常。异常检测（Anomaly Detection）和高斯判别模型都依赖这个量。
• 二阶近似与优化曲率（Second-order Approximation / Curvature）：在参数点附近，损失变化可写成 \(\frac{1}{2}\Delta^\top H\Delta\)。它告诉你“往哪个方向走会涨得快/慢”：特征值大表示该方向很陡，特征值小表示平坦，正负混合则是鞍点（Saddle）。这也是为什么牛顿法、预条件（Preconditioning）和学习率调度都在关心 Hessian 的谱结构。

在机器学习的实现层面，二次型也常先通过可逆变量替换 \(\mathbf{x}=T\mathbf{y}\) 化到更易计算的表示： \(q(\mathbf{x})=\mathbf{x}^\top A\mathbf{x}=\mathbf{y}^\top(T^\top A T)\mathbf{y}\)。若 \(A=A^\top\)，原坐标有 \(\nabla_{\mathbf{x}}q=2A\mathbf{x}\)、\(\nabla^2_{\mathbf{x}}q=2A\)；在新坐标下 \(\nabla_{\mathbf{y}}q=2A'\mathbf{y}\)（\(A'=T^\top A T\)）。若进一步化到对角标准型 \(A'=\Lambda\)，则 \(\frac{\partial q}{\partial y_i}=2\lambda_i y_i\)，逐坐标解耦，推导与实现都会更直接。

这里要区分“性质不变”和“数值不变”：在可逆变量替换下，正定/半正定/不定性质与正负零方向个数（惯性（Inertia））保持不变，因此局部最小/鞍点等优化结构不变；但一般合同变换 \(T^\top A T\) 不要求逐个保留特征值数值，只有正交相似变换 \(Q^\top A Q\) 才逐个保留特征值。

对角矩阵（Diagonal Matrix）是只有对角线元素可能非零的方阵。写作 \(D=\mathrm{diag}(d_1,\ldots,d_n)\)，其非对角元素全为 0：

对角矩阵乘以向量等价于“逐维缩放”：若 \(\mathbf{x}=(x_1,\ldots,x_n)^\top\)，则 \(D\mathbf{x}=(d_1x_1,\ldots,d_nx_n)^\top\)。例：令 \(D=\mathrm{diag}(2,0.5)\)、\(\mathbf{x}=(3,4)^\top\)，则 \(D\mathbf{x}=(6,2)^\top\)。

在 AI 里，对角矩阵最常见的用途是把“逐元素缩放”写成线性算子：例如 \(\mathbf{x}\odot \mathbf{s}=\mathrm{diag}(\mathbf{s})\mathbf{x}\)。很多优化器的自适应学习率也可以视为对角预条件（Diagonal Preconditioner）：例如 Adam/Adagrad 里的 \(1/\sqrt{v+\epsilon}\) 本质上是按参数维度缩放梯度。

单位矩阵（Identity Matrix）\(I_n\) 是对角线上全为 1、其他元素为 0 的方阵：

它是矩阵乘法的单位元：对任意形状匹配的矩阵 \(A\)，有 \(AI=IA=A\)；对任意向量 \(\mathbf{x}\)，有 \(I\mathbf{x}=\mathbf{x}\)。例：若 \(I_2=\begin{bmatrix}1 & 0\\ 0 & 1\end{bmatrix}\)，则 \(I_2(3,4)^\top=(3,4)^\top\)。

在 AI/数值计算里，\(A+\lambda I\)（\(\lambda>0\)）用于改善条件数、提高可逆性与数值稳定性：例如岭回归（Ridge Regression）把 \(X^\top X\) 替换为 \(X^\top X+\lambda I\)；在高斯模型与协方差估计里常见 \(\Sigma+\epsilon I\) 来保证 Cholesky 分解可用。

对称矩阵（Symmetric Matrix）是满足 \(A=A^\top\) 的实方阵，即 \(A_{ij}=A_{ji}\)。直观上，它的上三角与下三角互为镜像。

例： \(\begin{bmatrix}2 & 1\\ 1 & 3\end{bmatrix}\) 是对称矩阵；而 \(\begin{bmatrix}2 & 1\\ 0 & 3\end{bmatrix}\) 不是，因为非对角元素不成对相等。

对称矩阵拥有更“干净”的谱结构：所有特征值都是实数，并且可正交对角化（Spectral Theorem）：\(A=Q\Lambda Q^\top\)（\(Q^\top Q=I\)）。这使得很多推导都可以在旋转后的坐标系里逐维分析二次型、曲率与能量。

在 AI 里，对称矩阵高频出现于：

• 协方差矩阵（Covariance Matrix）\(\Sigma\)：例如高斯模型与特征白化（Whitening）里，要求 \(\Sigma\succeq 0\)，并常用 \(\Sigma+\epsilon I\) 保证数值稳定。
• Gram 矩阵（Gram Matrix）\(X^\top X\) 与核矩阵（Kernel Matrix）\(K\)：它们天然对称/半正定，是最小二乘、岭回归与核方法的核心对象。
• 海森矩阵（Hessian）：当目标函数二阶连续可导时，Hessian 对称；其特征值决定局部曲率，从而决定“极小/极大/鞍点”的类型与优化难度。

厄米矩阵（Hermitian Matrix）是复数域上与对称矩阵对应的概念。若复矩阵 \(A\in\mathbb{C}^{n\times n}\) 满足

则称 \(A\) 为厄米矩阵，其中 \(A^\ast\) 表示共轭转置（Conjugate Transpose）：先转置，再对每个元素取复共轭。因此，厄米矩阵满足按元素关系 \(A_{ij}=\overline{A_{ji}}\)。可以把它直接理解为复数版本的对称矩阵。

例： \(\begin{bmatrix}1 & 2+i\\ 2-i & 3\end{bmatrix}\) 是厄米矩阵，因为非对角元素互为复共轭，而对角线元素必须是实数。厄米矩阵保留了实对称矩阵最重要的好性质：特征值全为实数，并且可以被酉矩阵（Unitary Matrix）对角化。因此在复数信号处理、量子力学、复数优化与某些频域分析里，它扮演的角色与实对称矩阵在实数域中的角色完全对应。

可逆矩阵（Invertible Matrix）是存在逆矩阵的方阵：对 \(A\in\mathbb{R}^{n\times n}\)，若存在 \(A^{-1}\) 使得 \(AA^{-1}=A^{-1}A=I\)，则 \(A\) 可逆；否则称 \(A\) 为奇异矩阵（Singular Matrix）。

等价判据（常用）：\(A\) 可逆 \(\Leftrightarrow \det(A)\ne 0 \Leftrightarrow \mathrm{rank}(A)=n\)（列向量线性无关）。

例（可逆）：令 \(A=\begin{bmatrix}2 & 1\\ 1 & 1\end{bmatrix}\)，则 \(\det(A)=1\)，并且 \(A^{-1}=\begin{bmatrix}1 & -1\\ -1 & 2\end{bmatrix}\)。

例（奇异）：令 \(B=\begin{bmatrix}1 & 2\\ 2 & 4\end{bmatrix}\)，第二行是第一行的 2 倍，因此秩为 1、行列式为 0，无法求逆。对应线性方程组 \(B\mathbf{x}=\mathbf{b}\) 可能无解（例如 \(\mathbf{b}=(3,5)^\top\)），也可能有无穷多解（例如 \(\mathbf{b}=(3,6)^\top\)）。

在 AI 里，奇异性最常出现在最小二乘与协方差：当特征共线、维度远大于样本数（\(d\gg N\)）时，\(X^\top X\) 往往奇异或病态（Ill-conditioned）。常见处理是正则化（\(X^\top X+\lambda I\)）或用 SVD/QR 求解并使用伪逆（Pseudoinverse）\(A^+\)。

实现上通常避免显式求 \(A^{-1}\)：更稳定的做法是直接求解 \(A\mathbf{x}=\mathbf{b}\)（Solve），或用分解（Cholesky / QR / SVD）替代。

正交矩阵（Orthogonal Matrix）是满足 \(Q^\top Q=QQ^\top=I\) 的实方阵。它的列向量（或行向量）构成一组正交标准基（Orthonormal Basis），因此保持长度与点积：对任意向量 \(\mathbf{x}\) 有 \(\|Q\mathbf{x}\|_2=\|\mathbf{x}\|_2\)，对任意向量 \(\mathbf{a},\mathbf{b}\) 有 \((Q\mathbf{a})^\top(Q\mathbf{b})=\mathbf{a}^\top\mathbf{b}\)。

正交矩阵的列向量不需要“沿着坐标轴方向”。要求只有一个：列向量两两正交且都是单位向量，也就是构成一组正交标准基。标准基（\(\mathbf{e}_1,\mathbf{e}_2,\ldots\)）只是其中最常用的一组。

例（旋转 45°）：令

它的两列分别是 \(\frac{1}{\sqrt{2}}(1,1)^\top\) 与 \(\frac{1}{\sqrt{2}}(-1,1)^\top\)，都不与坐标轴对齐，但它们正交且单位长度，因此

例（二维旋转 90°）：令

则

在 AI 里，正交矩阵常用于正交初始化（Orthogonal Initialization）、QR 分解与正交约束参数化；核心目的是把谱范数控制在 1 附近，改善深层网络与 RNN 的数值稳定性。

酉矩阵（Unitary Matrix）是复数域上的“长度保持”线性变换。对复矩阵 \(U\in\mathbb{C}^{n\times n}\)，若满足

则称 \(U\) 为酉矩阵，其中 \(U^\ast\) 是共轭转置（Conjugate Transpose）。酉矩阵的列向量构成一组正交归一基（Orthonormal Basis），因此对任意向量 \(\mathbf{x}\) 都有 \(\|U\mathbf{x}\|_2=\|\mathbf{x}\|_2\)。

实数域特例：当矩阵元素为实数时，酉矩阵退化为正交矩阵（Orthogonal Matrix），即满足 \(Q^\top Q=QQ^\top=I\)。

例（复数域）：令

则可直接计算：

在 AI 里，正交/酉矩阵常用于控制数值稳定性：例如正交初始化（Orthogonal Initialization）与正交/酉参数化可把谱范数压在 1 附近，缓解深层网络与 RNN 中的梯度爆炸/消失；一些长序列建模会使用 unitary/orthogonal RNN 来更好地传播长程信息。

正定矩阵（Positive Definite Matrix）把“二次型总是正”形式化。对对称矩阵（Symmetric Matrix）\(A=A^\top\)，若对任意非零向量 \(\mathbf{x}\ne\mathbf{0}\) 都有

则称 \(A\) 正定，记作 \(A\succ 0\)。若是 \(\ge 0\) 则为半正定（Positive Semi-Definite, PSD），记作 \(A\succeq 0\)。

几何上，把 \(q(x,y)=\mathbf{x}^\top A\mathbf{x}\) 画成 \(z=q(x,y)\) 的三维曲面时，正定对应“向上开口的碗”（椭圆抛物面（Elliptic Paraboloid））：原点是唯一最低点，任意非零方向都往上抬升。若没有交叉项（\(bxy\) 项为 0），等值线与坐标轴对齐；若有交叉项（\(b\ne 0\)），碗的主轴会旋转，但“向上碗”的本质不变。半正定则可能出现平坦方向（Flat Direction），典型形状是槽（Trough）而非严格碗底。

从特征值（Eigenvalues）角度看，对称矩阵 \(A\) 的二次型类型可直接由特征值符号判别（下述以二维 \(\lambda_1,\lambda_2\) 为例）：

• \(\lambda_1>0,\lambda_2>0\)：正定（Positive Definite, PD），向上开口碗。
• \(\lambda_1<0,\lambda_2<0\)：负定（Negative Definite, ND），向下开口碗。
• 一个为 0、另一个大于 0：半正定（Positive Semi-Definite, PSD），出现平坦方向，形状更像槽。
• 一个为 0、另一个小于 0：半负定（Negative Semi-Definite, NSD），对应“倒槽”。
• 一正一负：不定（Indefinite），对应鞍面（Saddle Surface）。

因此图里“有交叉项”并不改变正负定类型；它主要改变主轴方向（旋转等值线），而“是不是碗/槽/鞍”由特征值符号决定。

例：令

对任意 \(\mathbf{x}=(x_1,x_2)^\top\)，有

因此 \(A\succ 0\)。同时它的特征值为 3 与 1（均为正），并且存在 Cholesky 分解：

等价刻画（常用）：

• \(A\succ 0\) 当且仅当所有特征值 \(\lambda_i>0\)。
• \(A\succ 0\) 当且仅当存在 Cholesky 分解 \(A=LL^\top\)（\(L\) 下三角且对角为正）。

它在优化里非常关键：若函数的海森矩阵（Hessian）在某点正定，则该点是严格局部极小；若 Hessian 半正定，则函数局部凸（Locally Convex）。

特征值（Eigenvalue）与特征向量（Eigenvector）描述线性变换的“固有方向”：若存在非零向量 \(\mathbf{v}\ne\mathbf{0}\) 与标量 \(\lambda\) 使得

则 \(\mathbf{v}\) 是特征向量，\(\lambda\) 是对应特征值。几何上，沿特征向量方向的向量经过变换后方向不变，只被缩放（若 \(\lambda<0\) 还会翻转）。

当矩阵可对角化（Diagonalizable）时，可写为 \(A=V\Lambda V^{-1}\)，其中 \(\Lambda\) 是特征值对角矩阵，列向量 \(V=[\mathbf{v}_1,\dots,\mathbf{v}_n]\) 是特征向量。

对称矩阵（Symmetric Matrix）是最重要的特例：它的特征向量可取为一组正交归一基（Orthonormal Basis），因此

这正是 PCA（Principal Component Analysis）等方法背后的谱分解（Spectral Decomposition）基础。

矩阵的谱（Spectrum）指的是矩阵全部特征值构成的集合。对方阵 \(A\in\mathbb{C}^{n\times n}\)，常记为 \(\sigma(A)\)：

这里之所以会把行列式（Determinant）扯进来，是因为特征值定义本身就会自然导向这个条件。若 \(\lambda\) 是特征值，按定义必须存在某个非零向量 \(\mathbf{v}\ne \mathbf{0}\) 使得

把右边移到左边，就是

这说明：矩阵 \(A-\lambda I\) 对应的齐次线性方程组必须有非零解。而线性代数里，一个方阵齐次方程组有非零解，当且仅当该矩阵不可逆；对方阵而言，不可逆又等价于行列式为 0。因此就得到

也就是说，行列式在这里不是额外硬塞进来的工具，而是“特征向量存在非零解”这一要求的等价写法。解这个方程得到的多项式根，就是矩阵的全部特征值。

这个定义的关键不是“列出所有特征值”本身，而是把矩阵最核心的线性作用浓缩成一组标量。许多稳定性、可逆性、收敛性与几何性质，最终都可以回到谱上来判断。例：若 \(0\in \sigma(A)\)，则 \(A\) 不可逆；若所有特征值都为正，且 \(A\) 对称，则它是正定矩阵。

与谱紧密相关、但不能混为一谈的另一个概念是谱半径（Spectral Radius）：

它只取特征值模长中的最大者。谱是整个特征值集合，谱半径只是其中的最大模长摘要。在线性迭代、RNN 稳定性与幂法（Power Method）里，谱半径尤其常见。

谱定理（Spectral Theorem）是线性代数里最重要的结构定理之一。对实对称矩阵 \(A=A^\top\)，存在正交矩阵 \(Q\) 与实对角矩阵 \(\Lambda\)，使得

等价地说， \(Q\) 的列向量是一组两两正交的单位特征向量， \(\Lambda\) 的对角线上放着对应特征值。这条定理的含义非常深：对称矩阵不仅“有特征值”，而且它的全部作用都可以被解释为先换到特征向量基，再按各坐标轴独立缩放。这也是为什么二次型、协方差矩阵、Hessian、图 Laplacian 等对象一旦对称，分析就会变得异常清爽。

在复数域上，对应版本是厄米矩阵（Hermitian Matrix）\(A=A^\ast\) 可被酉矩阵（Unitary Matrix）对角化：

这类“可由一组正交 / 酉基完全分解”的矩阵，在数值上更稳定、几何上更透明，也正因此成为机器学习里最重要的一类矩阵对象。

谱范数（Spectral Norm）记作 \(\|A\|_2\)，定义为矩阵对单位向量能造成的最大放大倍数：

这一定义直接揭示了它的几何意义：找出所有长度为 1 的输入向量，看矩阵 \(A\) 最多能把哪一个方向拉得最长。对任意矩阵，都有

其中 \(\sigma_{\max}(A)\) 是最大奇异值。若 \(A\) 还是实对称矩阵，则奇异值等于特征值绝对值，于是谱范数进一步化为

因此，对一般矩阵要通过奇异值来理解谱范数；对对称矩阵，则可以直接通过特征值来理解。要特别区分：谱范数与谱半径在对称 / 正规矩阵上常常一致，但对一般非正规矩阵并不总相同。

在 AI 中，谱范数最常用于表达“局部放大能力”与 Lipschitz 常数控制。若某层线性映射的谱范数过大，它会把某些方向的扰动显著放大，进而加重训练不稳定、梯度爆炸或对抗脆弱性；这也是谱归一化（Spectral Normalization）、正交初始化与某些鲁棒优化方法反复关注它的原因。

奇异值分解（SVD, Singular Value Decomposition）对任意矩阵 \(A\in\mathbb{R}^{m\times n}\) 都成立：

其中 \(U\in\mathbb{R}^{m\times m}\)、\(V\in\mathbb{R}^{n\times n}\) 是正交矩阵（Orthogonal Matrix），\(\Sigma\in\mathbb{R}^{m\times n}\) 是对角（更准确说是“对角形”）矩阵，其对角线元素 \(\sigma_1\ge\sigma_2\ge\cdots\ge 0\) 为奇异值（Singular Values）。

几何解释非常直接：先用 \(V^\top\) 旋转/换基，再用 \(\Sigma\) 沿坐标轴缩放，最后用 \(U\) 再旋转。因此 SVD 是“旋转-缩放-旋转”的标准分解。

SVD 与特征值的关系要分左右两侧一起看：

• 右奇异向量（Right Singular Vectors）是 \(A^\top A\) 的特征向量，即 \(A^\top A\mathbf{v}_i=\sigma_i^2\mathbf{v}_i\)。
• 左奇异向量（Left Singular Vectors）是 \(AA^\top\) 的特征向量，即 \(AA^\top\mathbf{u}_i=\sigma_i^2\mathbf{u}_i\)。

其中\(\sigma_i^2\) 是 \(A^\top A\) 与 \(AA^\top\) 的特征值；\(\sigma_i\) 为奇异值（即这些非零特征值的平方根）。

矩阵形式分别是 \(A^\top A=V\Sigma^\top\Sigma V^\top\) 与 \(AA^\top=U\Sigma\Sigma^\top U^\top\)，因此非零奇异值满足 \(\sigma_i=\sqrt{\lambda_i(A^\top A)}=\sqrt{\lambda_i(AA^\top)}\)。这也解释了为什么奇异值总是非负，而一般矩阵的特征值可以为负甚至为复数。

若 \(\sigma_i>0\)，左右奇异向量还可互相对应： \(\mathbf{u}_i=\frac{A\mathbf{v}_i}{\sigma_i}\)、\(\mathbf{v}_i=\frac{A^\top\mathbf{u}_i}{\sigma_i}\)。

特殊地，若 \(A\) 是对称矩阵，则它可正交对角化，此时奇异值等于特征值的绝对值：\(\sigma_i=|\lambda_i(A)|\)；若 \(A\succeq 0\)（半正定），则 \(\sigma_i=\lambda_i(A)\)。

为什么 SVD 可用于压缩与降维（Compression & Dimensionality Reduction）？因为很多数据/权重矩阵在有效意义下是低秩（Low-rank）的：只有前几个 \(\sigma_i\) 很大，后面的奇异值接近 0。保留前 \(k\) 项得到秩 \(k\) 近似：

它在 Frobenius 范数（Frobenius Norm）与谱范数（Spectral Norm）意义下都是最优的秩 \(k\) 近似（Eckart–Young 定理）：用最少的信息保留最大的能量（由奇异值平方决定）。

在 PCA 中，对中心化数据矩阵 \(X\) 做 SVD： \(X=U\Sigma V^\top\)，右奇异向量 \(V\) 给出主方向（Principal Directions），奇异值刻画各方向的方差贡献（Variance Explained）。

范数（Norm）刻画“向量大小”。在 AI 中，它最常出现在三类地方：距离度量（Distance Metric）、正则化（Regularization）与鲁棒性约束（Robustness Constraint）。对 \(\mathbf{x}\in\mathbb{R}^d\)，当 \(p\ge 1\) 时 \(L_p\) 范数定义为

并且 \(\|\mathbf{x}\|_\infty=\max_i |x_i|=\lim_{p\to\infty}\|\mathbf{x}\|_p\)。

\(\|\mathbf{x}\|_0\) 定义为非零分量的个数：

严格来说它不是范数：例如对任意非零标量 \(\alpha\ne 0\)，有 \(\|\alpha\mathbf{x}\|_0=\|\mathbf{x}\|_0\)，不满足齐次性（Homogeneity）\(\|\alpha\mathbf{x}\|=|\alpha|\|\mathbf{x}\|\)。

例：若 \(\mathbf{x}=(3,0,-1,0)\)，则 \(\|\mathbf{x}\|_0=2\)。

在 AI 里，\(\|\cdot\|_0\) 用来表达稀疏性（Sparsity）：特征选择（Feature Selection）、压缩感知（Compressed Sensing）与网络剪枝（Pruning）常以“非零个数最少”为目标。但直接优化 \(\|\cdot\|_0\) 一般是组合优化，常用 \(\|\cdot\|_1\) 或其他可优化的替代目标近似。

例：若 \(\mathbf{x}=(3,4)\)，则 \(\|\mathbf{x}\|_1=7\)。几何上，二维 \(L_1\) 等值线是菱形；与 \(L_2\) 的圆相比，它更容易在坐标轴上产生“尖角”，对应优化时更容易把部分坐标推到 0。

在 AI 里，\(L_1\) 正则化是稀疏学习（Sparse Learning）的标准工具：在凸模型中会得到稀疏解（例如 Lasso）；在深度模型中也常用于诱导稀疏权重/稀疏特征、做轻量化。

例：若 \(\mathbf{x}=(3,4)\)，则 \(\|\mathbf{x}\|_2=5\)，对应欧氏距离（Euclidean Distance）。在连续优化中，\(\|\theta\|_2^2\) 具有良好的光滑性（Smoothness），使得许多推导与数值计算更稳定。

在 AI 里，\(L_2\) 正则化（权重衰减（Weight Decay））会惩罚大权重、改善泛化并缓解病态问题；在二次目标里它也对应“加 \(\lambda I\)”的稳定化（例如岭回归）。

例：若 \(\mathbf{x}=(3,0,-1,0)\)，则 \(\|\mathbf{x}\|_\infty=3\)。它度量的是“最大坐标幅度”。

在 AI 里，\(L_\infty\) 最常与鲁棒性相关：对抗样本（Adversarial Examples）中的 \(L_\infty\) 约束表示“每个像素的改动幅度不超过 \(\epsilon\)”；一些鲁棒优化与最坏情况界也会用 \(\|\cdot\|_\infty\) 表达最大误差。

由范数诱导的距离（Norm-induced Distance）写作 \(d(\mathbf{x},\mathbf{y})=\|\mathbf{x}-\mathbf{y}\|\)。常见对应关系：

• \(L_2\)：欧氏距离（Euclidean Distance），\(d_2(\mathbf{x},\mathbf{y})=\|\mathbf{x}-\mathbf{y}\|_2=\sqrt{\sum_{i=1}^{d}(x_i-y_i)^2}\)。
• \(L_1\)：曼哈顿距离（Manhattan Distance），\(d_1(\mathbf{x},\mathbf{y})=\|\mathbf{x}-\mathbf{y}\|_1=\sum_{i=1}^{d}|x_i-y_i|\)。
• \(L_\infty\)：切比雪夫距离（Chebyshev Distance），\(d_\infty(\mathbf{x},\mathbf{y})=\|\mathbf{x}-\mathbf{y}\|_\infty=\max_{i}|x_i-y_i|\)。它度量的是“最坏维度”的偏差：例如 \(d_\infty(\mathbf{x},\mathbf{y})\le \epsilon \Leftrightarrow \forall i,\ |x_i-y_i|\le \epsilon\)，即每一维的误差都被同一个上界约束。直觉上，如果一次操作允许同时修改所有坐标、且每步每个坐标最多改 1，那么从 \(\mathbf{x}\) 变到 \(\mathbf{y}\) 的最少步数就是 \(\max_i|x_i-y_i|\)（更一般地，每步上限为 \(\epsilon\) 时步数为 \(d_\infty(\mathbf{x},\mathbf{y})/\epsilon\) 的向上取整）。

关于 \(L_0\)：常见写法是 \(d_0(\mathbf{x},\mathbf{y})=\|\mathbf{x}-\mathbf{y}\|_0=\#\{i\mid x_i\ne y_i\}\)，它统计两向量在多少个坐标上不相等。本质上这是逐坐标“相等/不相等”的计数度量；当取值来自离散集合时，它对应哈明距离（Hamming Distance）。但 \(\|\cdot\|_0\) 严格来说不是范数，因此 \(d_0\) 不属于“由范数诱导”的距离家族。

在学习目标中，正则化通常写成：

式中各成分含义如下：

• \(\theta\)：模型参数（Parameters），优化的对象。
• \(m\)：训练样本数（Number of Samples）。
• \((x^{(i)},y^{(i)})\)：第 \(i\) 个样本与标签。
• \(f_{\theta}(x^{(i)})\)：模型对第 \(i\) 个样本的预测。
• \(\ell(\cdot,\cdot)\)：单样本损失函数（Per-sample Loss），衡量预测与标签偏差。
• \(\frac{1}{m}\sum_{i=1}^{m}\ell(\cdot)\)：经验风险（Empirical Risk），即平均训练误差。
• \(\Omega(\theta)\)：正则项（Regularizer），约束参数复杂度。
• \(\lambda\)：正则化系数（Regularization Strength），平衡“拟合训练数据”与“控制模型复杂度”。

常见的 \(\Omega(\theta)\) 包括 \(\|\theta\|_1\)、\(\|\theta\|_2^2\)、\(\|\theta\|_0\)（稀疏性目标）与 \(\|\theta\|_\infty\)（最大幅度约束）。同一个思想也可写成“约束形式”（Constraint Form）：\(\min_\theta \frac{1}{m}\sum_i \ell(\cdot)\ \text{s.t.}\ \Omega(\theta)\le c\)。惩罚系数 \(\lambda\) 与约束半径 \(c\) 在凸优化（Convex Optimization）里可通过对偶（Duality）联系起来。

极限（Limit）回答的问题是：当输入“逼近”某个值时，函数输出“逼近”什么值。它关心的是趋势而不是是否刚好取到该点。

严格定义（\(\varepsilon-\delta\) 定义）可写为：

工程上可把它理解为：把输入控制得足够近，输出误差就能被压到任意小。

在 AI 里，极限直觉用于理解“收敛（Convergence）”：例如训练步长变小后，参数更新是否趋于稳定；以及损失函数在某点附近是否可被低阶展开近似。

连续（Continuity）可理解为“函数图像没有跳断”。在点 \(a\) 处连续的三个条件是：

1. \(f(a)\) 有定义；
2. \(\lim_{x\to a}f(x)\) 存在；
3. \(\lim_{x\to a}f(x)=f(a)\)。

连续是可导（Differentiable）的前提之一（但连续不必然可导）。例如 \(|x|\) 在 \(x=0\) 连续但不可导。

在优化里，连续性保证“小步更新不会导致目标突变”，这也是学习率（Learning Rate）可调与训练可控的基础假设之一。

无穷小（Infinitesimal）描述“趋近于 0 的量”，无穷大（Infinity）描述“无界增长”。在推导里常通过渐近记号（Asymptotic Notation）表达量级关系：

这里的 \(o\) 与 \(O\) 不是变量，而是两种记号：小 \(o\)（little-o）表示“严格更小一个量级”，大 \(O\)（big-O）表示“至多同量级的上界”。

• \(f(x)=o(g(x))\)：当 \(x\to a\) 时 \(f/g\to 0\)（高阶小量，增长/衰减速度严格慢于 \(g\)）。
• \(f(x)=O(g(x))\)：存在常数 \(C\) 使 \(|f(x)|\le C|g(x)|\)（同阶或更小的上界）。

例如一阶 Taylor 展开里的 \(o(\Delta x)\) 表示“比 \(\Delta x\) 更小得多”的误差项。算法分析中的时间复杂度 \(O(Nd)\)、\(O(N^2)\) 也属于同一套量级语言。

导数是点 \(x_0\) 处的瞬时变化率（Instantaneous Rate of Change）：

\(x_0\) 不是“很小的数”，而是定义域中的固定位置；趋近于 0 的小量是 \(\Delta x\)（或记作 \(dx\)）。

一阶展开把导数解释为“线性项的系数”：当 \(\Delta x\to 0\) 时，

可按“等于三项相加”理解：左边 \(f(x_0+\Delta x)\) 是扰动后的真实函数值；右边第一项 \(f(x_0)\) 是基点函数值，第二项 \(f'(x_0)\Delta x\) 是一阶线性近似，第三项 \(o(\Delta x)\) 是比 \(\Delta x\) 更小的高阶余项（High-order Remainder）。

中值定理（Mean Value Theorems）是一组把“区间上的平均变化”与“某一点的瞬时变化率”连接起来的核心定理。它们在形式上不同，但共同结构是：在闭区间连续、在开区间可导，进而保证存在某个中间点 \(c\in(a,b)\) 使得斜率关系成立。

设 \(f\) 在 \([a,b]\) 上连续、在 \((a,b)\) 上可导，且 \(f(a)=f(b)\)。则存在 \(c\in(a,b)\) 使

几何直觉：若曲线两端高度相同，那么中间至少有一点的切线是水平的。

设 \(f\) 在 \([a,b]\) 上连续、在 \((a,b)\) 上可导。则存在 \(c\in(a,b)\) 使

几何直觉：区间割线斜率（平均变化率）等于某个点的切线斜率（瞬时变化率）。

设 \(f,g\) 在 \([a,b]\) 上连续、在 \((a,b)\) 上可导。则存在 \(c\in(a,b)\) 使

当分母不为 0 时，可写成比值形式：

它把“单函数斜率比较”推广为“两个函数变化率的比较”，是洛必达法则（L'Hospital's Rule）证明链中的关键步骤。

在 AI 系统中，中值定理主要作为理论工具出现：工程代码很少直接“调用定理”，但大量优化、稳定性与误差分析都在使用它的核心变形，即把“两个点的函数值差”转写为“某个中间点的导数（梯度）信息”。

• 优化收敛分析（Optimization Convergence）：训练中常关心一步更新后损失变化 \(L(\theta+\Delta)-L(\theta)\)。中值定理把它连接到中间点的梯度，进而用于学习率条件与下降性证明。
• Lipschitz 界与鲁棒性（Lipschitz Bound & Robustness）：中值定理给出“输入小扰动导致输出变化”的上界形式。若梯度有界，则输出变化可控；这正是对抗鲁棒性分析和梯度惩罚（Gradient Penalty）类方法的数学基础之一。
• 有限差分与梯度估计（Finite Difference / Gradient Estimation）：割线斜率与切线斜率之间的关系来自拉格朗日中值定理，是数值优化里差分近似、线搜索（Line Search）和误差估计的核心依据。

从“纯数学”到“AI 实践”的桥梁可以一句话概括：中值定理把宏观变化量（函数值差）变成可优化的微观信息（导数/梯度）。

对多元函数 \(f:\mathbb{R}^n\to\mathbb{R}\)，偏导数把“只沿某一坐标轴方向的导数”形式化：固定其余变量，只让第 \(i\) 个变量变化。先写成最直接的极限定义：

这里的 \(h\) 是“第 \(i\) 个变量的微小增量”（Increment）：只加在第 \(i\) 个坐标上，其他坐标保持不变。

在线性代数记号下，上式等价写成（更紧凑）：令 \(e_i\) 为第 \(i\) 个标准基向量（Standard Basis Vector），则

更常用的导数视角（计算视角）是：把其余变量暂时当常数，把目标变量当自变量，直接套一元求导法则。也就是说，极限定义负责“定义正确性”，日常计算通常用求导规则完成。

例如 \(f(x,y)=x^2y\)：对 \(x\) 求偏导时把 \(y\) 视作常数，得 \(\frac{\partial f}{\partial x}=2xy\)；对 \(y\) 求偏导时把 \(x\) 视作常数，得 \(\frac{\partial f}{\partial y}=x^2\)。

切换为极限视角，令 \(f(x,y)=x^2y\)，在点 \((1,2)\)。

可以看到：求 \(\partial f/\partial x\) 时把 \(y\) 当常数；求 \(\partial f/\partial y\) 时把 \(x\) 当常数。这正是“其余变量固定”的具体计算含义。

梯度（Gradient）就是把所有偏导数按坐标收集成向量： \(\nabla f(x)=(\partial f/\partial x_1,\dots,\partial f/\partial x_n)^\top\)。

在一元情形中，微分是“把函数增量线性化”的记号：给定一个小增量 \(dx\)，定义

此时真实增量满足 \(\Delta f = df + o(dx)\)。给定 \(dx\) 后， \(df\) 才对应一个确定数值。

例：若 \(f(x)=x^2\)，在 \(x_0=3\) 且 \(dx=0.1\) 时， \(df=2x_0dx=0.6\)，而 \(\Delta f=f(3.1)-f(3)=0.61\)。微分给出一阶近似，误差来自高阶项。

对多元函数 \(f(x_1,\dots,x_n)\)，全微分把“多方向小扰动下的一阶线性响应”写成：

令 \(d\mathbf{x}=(dx_1,\dots,dx_n)^\top\)，则向量形式是：

若进一步把扰动分解为“方向 + 步长”： \(d\mathbf{x}=\mathbf{u}\,ds\)（\(\|\mathbf{u}\|_2=1\)），则

右侧就是方向导数（Directional Derivative）：全微分给出任意小位移的一阶近似，方向导数则把位移约束在单位方向并除去步长。

例：令 \(f(x,y)=x^2y\)，则 \(\frac{\partial f}{\partial x}=2xy\)、\(\frac{\partial f}{\partial y}=x^2\)。在点 \((x_0,y_0)=(1,2)\)，若 \(dx=0.1\)、\(dy=-0.05\)，则 \(df=2xy\,dx+x^2dy=2\cdot1\cdot2\cdot0.1+1\cdot(-0.05)=0.35\)，给出 \(\Delta f\) 的一阶近似。

Nabla 算子（Nabla Operator）记作 \(\nabla\)，本质上是把偏导算子按坐标排列成的“向量形式”：

它本身不是一个数，而是一个算子（Operator）。作用在标量场上得到梯度（Gradient）；与向量场点乘得到散度（Divergence）；与向量场叉乘得到旋度（Curl）；对标量场再取散度得到拉普拉斯（Laplacian）。

符号 \(\|\cdot\|\)（双竖线）表示范数（Norm）。因此 \(\|\nabla f(x)\|\) 是梯度向量的长度；而 \(\|\nabla\|\) 作为“算子范数”在工程推导中很少直接使用，通常需要明确它作用的函数空间与范数定义。

梯度（Gradient）把标量函数 \(f:\mathbb{R}^n\to\mathbb{R}\) 的局部变化率组织成向量：

它指向函数增长最快的方向（Steepest Ascent Direction），模长刻画该方向上的最大斜率。在优化里，梯度下降（Gradient Descent）沿 \(-\nabla f\) 走，是因为这是一阶近似下最快下降方向。

例： \(f(x,y)=x^2+2y^2\)，则 \(\nabla f=(2x,4y)\)，在点 \((1,1)\) 处梯度为 \((2,4)\)，表示沿 y 方向的增长更陡。

方向导数（Directional Derivative）把“沿某个方向的变化率”写成点积：若 \(\mathbf{u}\) 是单位方向向量，则

符号先约定： \(x\) 是当前点， \(\mathbf{u}\) 是单位方向（\(\|\mathbf{u}\|_2=1\)）， \(\varepsilon\) 是沿该方向的步长（可正可负的小实数）。方向导数定义为

对 \(f(x+\varepsilon\mathbf{u})\) 做一阶 Taylor 展开：

代回定义式：

令 \(\varepsilon\to 0\)，由于 \(o(\varepsilon)/\varepsilon\to 0\)，得到 \(D_{\mathbf{u}}f(x)=\nabla f(x)\cdot\mathbf{u}\)。

场（Field）是“把空间中每个点映射到一个量”的函数。标量场（Scalar Field）\(f(x)\) 在每个点输出一个标量；向量场（Vector Field）\(\mathbf{F}(x)\) 在每个点输出一个向量。梯度作用在标量场上，散度/旋度作用在向量场上。

散度（Divergence）作用在向量场 \(\mathbf{F}=(F_1,\dots,F_n)^\top:\mathbb{R}^n\to\mathbb{R}^n\) 上。这里先把两个术语说清楚：

上式是雅可比矩阵（Jacobian）：第 \(i\) 行第 \(j\) 列表示 \(F_i\) 对 \(x_j\) 的偏导。迹（Trace）是矩阵对角线元素之和，因此

而散度按定义正是这条和式，所以“散度 = Jacobian 的迹”：

几何/物理直觉：把 \(\mathbf{F}\) 想成“流体速度场（Velocity Field）”，散度衡量一个点附近是否像“源（Source）/汇（Sink）”——单位体积的净流出率。散度为正表示净流出，为负表示净流入。

例：二维场 \(\mathbf{F}(x,y)=(x,y)\) 的 Jacobian 是 \(\begin{bmatrix}1&0\\0&1\end{bmatrix}\)，其迹为 \(1+1=2\)，所以散度也等于 2，在任意点都表现为均匀“发散”。

旋度（Curl）衡量向量场的局部旋转（Local Rotation）。在三维中：

直觉上，可把它理解为“放一个很小的桨轮（Paddle Wheel）在该点附近，桨轮是否会被带着转”。保守场（Conservative Field）满足 \(\nabla\times\mathbf{F}=\mathbf{0}\)，这与“路径无关”/“存在势函数”是等价刻画。

例：二维旋转场 \(\mathbf{F}(x,y)=(-y,x,0)\) 的旋度为 \((0,0,2)\)，表示绕 z 轴的均匀旋转趋势。

拉普拉斯算子（Laplacian）作用在标量场上，定义为梯度的散度：

它常出现在扩散（Diffusion）与平滑（Smoothing）问题中，也常被用作“曲率/粗糙度”的度量。例： \(f(x,y)=x^2+y^2\) 则 \(\nabla^2 f=2+2=4\)。

当函数的输出不再是一个标量，而是一个向量时，梯度这个概念就不够用了。此时需要把“每个输出分量对每个输入变量的一阶变化率”统一收集起来，这个对象就是 Jacobian 矩阵（Jacobian Matrix）。它是一阶导数在向量值函数上的自然推广，也是 Hessian 的直接前置概念。

设向量值函数

其中输入 \(\mathbf{x}=(x_1,\dots,x_n)^\top\)，输出 \(\mathbf{F}(\mathbf{x})\) 有 \(m\) 个分量。Jacobian 矩阵定义为：

按矩阵展开，就是一个 \(m\times n\) 矩阵：

这里第 \(i\) 行第 \(j\) 列的元素 \(\frac{\partial F_i}{\partial x_j}\) 表示：第 \(j\) 个输入变量发生微小变化时，第 \(i\) 个输出分量会怎样一阶变化。按矩阵读法，行对应输出分量，列对应输入变量，因此 Jacobian 本质上是一张局部灵敏度表（Local Sensitivity Table）。

它描述的不是全局非线性结构，而是函数在某个点附近的局部线性映射：输入空间里的一个小扰动向量 \(d\mathbf{x}\) 经过 Jacobian 作用后，变成输出空间中的一阶近似扰动 \(d\mathbf{F}\)。因此，Jacobian 可以理解为“该点附近最能代表原函数的一阶线性算子”。

它与全微分的关系最直接。若在点 \(\mathbf{x}\) 附近加入一个小扰动 \(d\mathbf{x}\)，则输出的一阶变化满足：

这条式子就是向量值函数的一阶线性化。也就是说，Jacobian 在局部扮演的角色，类似于一元函数里的导数：它给出“最好的线性近似”。若输出是一维，即 \(m=1\)，Jacobian 就退化成一个 \(1\times n\) 的行向量；它与梯度本质上包含同一组偏导数，只是排布约定可能不同。

一个二维到二维的例子最容易看清。设

则第一行来自分量函数 \(F_1(x,y)=x^2y\)，第二行来自 \(F_2(x,y)=x+y^2\)。逐项求偏导可得：

例如在点 \((1,2)\)，Jacobian 为

这表示：在该点附近，若输入发生微小变化 \((dx,dy)^\top\)，则输出变化近似为

第一行说明输出第一分量大致按 \(4dx+dy\) 变化，第二行说明输出第二分量大致按 \(dx+4dy\) 变化。Jacobian 因而可以被理解为局部灵敏度矩阵（Sensitivity Matrix）。

对标量函数 \(f:\mathbb{R}^n\to\mathbb{R}\)，梯度 \(\nabla f:\mathbb{R}^n\to\mathbb{R}^n\) 本身就是一个向量值函数，因此 Hessian 可以直接看成梯度映射的 Jacobian：

这就是把 Jacobian 放在 Hessian 前面的原因：先理解“向量值函数的一阶导数如何组织成矩阵”，再看“标量函数的梯度再求一次导”，Hessian 的结构就不会显得突兀。

在机器学习中，Jacobian 最常出现在三类地方：

1. 反向传播（Backpropagation）：本质上是在链式法则（Chain Rule）下逐层组合这些局部 Jacobian。前一层输出的微小变化如何传到后一层，正是由对应层的 Jacobian 决定。
2. 向量场分析：散度（Divergence）等于 Jacobian 的迹（Trace）。
3. 生成模型、正则化与鲁棒性分析：常关心 Jacobian 的谱范数（Spectral Norm）或 Frobenius 范数，以度量局部放大效应。

若输出维度和输入维度都很大，显式构造完整 Jacobian 也会很贵，因此工程上常直接计算 Jacobian-Vector Product 或 Vector-Jacobian Product，而不是把整块矩阵完全展开。

在神经网络语境里，Jacobian 到底“针对激活值还是针对权重”，取决于谁被当作自变量。若研究层与层之间的信号传播，常写成 \(\frac{\partial h^{(l+1)}}{\partial h^{(l)}}\)，这时它针对的是激活值（Activation）或层表示；若研究模型输出对输入的敏感度，可写成 \(\frac{\partial y}{\partial x}\)；若研究输出对参数的敏感度，也可以写成 \(\frac{\partial y}{\partial \theta}\)。因此，Jacobian 的本质是“一个向量怎样对另一个向量发生一阶变化”，并不预先限定变量一定是激活值还是权重。

梯度（Gradient）回答的是“函数沿各坐标方向的一阶变化率”；Hessian 矩阵（Hessian Matrix）进一步回答的是“这些一阶变化率本身又在怎样变化”。这一点可以直接从“梯度是一个向量值函数”展开出来。对标量函数 \(f:\mathbb{R}^n\to\mathbb{R}\)，梯度写成

这里 \(\nabla f\) 已经不是标量，而是把输入向量 \(\mathbf{x}\) 映射为另一个向量的函数。因此可以像对任何向量值函数那样，对它再求一次 Jacobian：

把梯度各分量逐项代进去，Jacobian 的第 \((i,j)\) 个元素就是“梯度第 \(i\) 个分量对输入第 \(j\) 个变量的偏导数”：

于是整块矩阵就是

这正是 Hessian：

这个等式的含义很直接：Hessian 不是凭空引入的另一种矩阵，而就是“梯度这个向量场对输入的 Jacobian”。

直接从二阶导角度看，Hessian 是多元函数的二阶导数对象，用来描述局部曲率（Curvature）、凹凸性以及临界点附近的二阶形状。

设标量函数 \(f:\mathbb{R}^n\to\mathbb{R}\)，输入向量为 \(\mathbf{x}=(x_1,\dots,x_n)^\top\)。Hessian 矩阵记作 \(\nabla^2 f(\mathbf{x})\) 或 \(H_f(\mathbf{x})\)，定义为：

这里 \(i\) 和 \(j\) 都从 \(1\) 遍历到 \(n\)，因此 Hessian 会收集所有变量对 \((x_i,x_j)\) 的二阶偏导。之所以自然形成一个 \(n\times n\) 的“全组合”矩阵，是因为一阶导数 \(\nabla f\) 本身已经有 \(n\) 个分量；再对这 \(n\) 个分量分别对 \(n\) 个输入变量各求一次导，就得到 \(n\times n\) 个二阶偏导项。前面展开的 \(J_{\nabla f}(\mathbf{x})\) 就是这块矩阵，因此这里不再重复写一遍。

把梯度记为 \(\nabla f(\mathbf{x})=(g_1,\dots,g_n)^\top\)，其中 \(g_i=\frac{\partial f}{\partial x_i}\)，则 Hessian 的第 \((i,j)\) 个元素可以直接写成 \(H_{ij}=\frac{\partial g_i}{\partial x_j}\)。这个记号把它的意义说得很清楚：它衡量“第 \(i\) 个方向上的斜率”会不会随着第 \(j\) 个变量的变化而改变。

对角线元素 \(\frac{\partial^2 f}{\partial x_i^2}\) 描述沿单一坐标方向的纯二阶曲率，也就是该方向本身的弯曲强弱；非对角元素 \(\frac{\partial^2 f}{\partial x_i\partial x_j}\) 描述不同方向之间的局部耦合（Local Coupling）。当 \(H_{ij}=0\) 时，意味着在当前点附近，变量 \(x_j\) 的微小变化不会改变第 \(i\) 个方向上的一阶斜率；当 \(H_{ij}\neq 0\) 时，两个方向在局部二阶结构上发生耦合。

这种耦合会直接反映在等高线（Contour）形状上：若非对角项接近零，局部二次近似更接近与坐标轴对齐的“正椭圆碗”；若非对角项明显非零，等高线会发生倾斜，说明改变一个变量会连带改变另一个方向上的坡度。

若 \(f\) 足够光滑，满足二阶混合偏导连续，则由 Clairaut / Schwarz 定理可得

因此 Hessian 矩阵是对称矩阵（Symmetric Matrix）。这点非常重要，因为一旦 Hessian 对称，就可以用特征值（Eigenvalue）来判断局部曲率：正特征值对应向上弯，负特征值对应向下弯，正负并存则意味着不同方向上的弯曲趋势相反。

Hessian 的几何意义可以通过二阶 Taylor 展开看得最清楚。对点 \(\mathbf{x}\) 附近的微小扰动 \(\Delta \mathbf{x}\)，有：

这里第一项 \(f(\mathbf{x})\) 是当前函数值，第二项 \(\nabla f(\mathbf{x})^\top \Delta\mathbf{x}\) 是一阶线性变化，第三项 \(\frac{1}{2}\Delta\mathbf{x}^\top \nabla^2 f(\mathbf{x})\Delta\mathbf{x}\) 就是二阶曲率修正项。也就是说，梯度告诉你“朝哪边走函数会立刻增减”，Hessian 则告诉你“地形本身是碗状、山丘状，还是马鞍状”。

二维情形最直观。设

先求梯度：

再求二阶偏导，可得：

因此 Hessian 为：

这个例子还有一个关键特征：Hessian 与 \((x_1,x_2)\) 无关，因此它说明该函数在整个空间里都是同一种二次曲面（Quadratic Surface）。对二次函数而言，Hessian 足以完整决定其曲率结构。

在极值判别里，Hessian 主要出现在临界点（Critical Point）附近。若某点 \(\mathbf{x}^*\) 满足 \(\nabla f(\mathbf{x}^*)=\mathbf{0}\)，则：

• 若 \(\nabla^2 f(\mathbf{x}^*)\) 正定（Positive Definite），即对任意非零向量 \(\mathbf{v}\) 都有 \(\mathbf{v}^\top \nabla^2 f(\mathbf{x}^*)\mathbf{v}>0\)，则该点是局部极小值（Local Minimum）。
• 若 \(\nabla^2 f(\mathbf{x}^*)\) 负定（Negative Definite），即对任意非零向量 \(\mathbf{v}\) 都有 \(\mathbf{v}^\top \nabla^2 f(\mathbf{x}^*)\mathbf{v}<0\)，则该点是局部极大值（Local Maximum）。
• 若 Hessian 不定（Indefinite），即存在方向使二次型为正，也存在方向使其为负，则该点是鞍点（Saddle Point）。
• 若 Hessian 只有半正定、半负定，或出现零特征值，则二阶信息不足以单独判定，还需要更高阶分析或结合函数结构进一步判断。

这套判据和一维情形完全一致：一维里 \(f''(x^*)>0\) 表示“碗底”， \(f''(x^*)<0\) 表示“山顶”；Hessian 只是把这个二阶导概念推广到了多维空间。

在优化中，Hessian 的意义更直接。牛顿法（Newton's Method）用它近似局部曲面，并据此选择更合理的更新方向：

与只看一阶斜率的梯度下降不同，牛顿法还利用了局部曲率信息：若某个方向很陡但也弯得很厉害，步长就应更谨慎；若某个方向很平缓，更新可以相对更大。这也是为什么 Hessian 会出现在牛顿法、拟牛顿法（BFGS / L-BFGS）以及很多二阶优化分析中。

在机器学习里，Hessian 还常用来讨论损失面的尖锐度（Sharpness）、参数可辨识性以及训练稳定性。但深度学习模型维度极高，完整 Hessian 的存储与求逆代价非常大：若参数维度为 \(d\)，Hessian 大小就是 \(d\times d\)。因此工程上更常用 Hessian 向量积（Hessian-Vector Product）、对角近似、低秩近似，或拟牛顿方法来间接利用二阶信息，而不是显式构造整块矩阵。

在神经网络里，单独说 Hessian 时，默认通常指损失函数对参数向量 \(\theta\) 的 Hessian，即 \(\nabla_\theta^2 L(\theta)\)。原因很直接：优化真正要更新的是权重，因此人们最关心的是“损失面对参数空间的局部曲率”。当然，Hessian 也可以对输入或中间激活值来求，例如 \(\nabla_x^2 f(x)\) 或 \(\nabla_h^2 f(h)\)，它们分别描述输入空间或表示空间中的局部弯曲；只是从工程语境看，这类用法通常不是默认含义。

不定积分（Indefinite Integral）也叫反导数、原函数。是“由变化率反推原函数（Antiderivative）”：已知 \(f\)，寻找所有满足 \(F'(x)=f(x)\) 的函数 \(F\)。

一句话强调：不定积分就是“已知导函数（导数），求原函数”的过程。

把导数看作“瞬时变化率”最容易理解积分的方向。若 \(s(t)\) 是位置、\(v(t)\) 是速度，则 \(s'(t)=v(t)\)。当只知道 \(v(t)\) 时，要恢复 \(s(t)\) 就是在做积分。

因为微分会“抹掉常数项”。不同函数只要相差一个常数，导数就完全一样：

所以当你从 \(f(x)=2x\) 反推原函数时，只能确定主体是 \(x^2\)，无法确定常数偏移。这就是积分常数（Constant of Integration）\(C\) 的来源。若再给一个初值条件（Initial Condition），例如 \(F(x_0)=y_0\)，\(C\) 才会被唯一确定。

\(\int f(x)\,dx\) 的结果对应一族函数 \(\{F(x)+C\mid C\in\mathbb{R}\}\)。它们形状完全相同，只是沿 \(y\) 轴上下平移；在同一个 \(x\) 处，这族曲线的切线斜率都等于 \(f(x)\)。

验算： \(\frac{d}{dx}(x^2+C)=2x\)。这一步强调的是“求导与积分互为逆过程”，但逆过程会保留一个常数不确定性。

不定积分与定积分的连接点是微积分基本定理（Fundamental Theorem of Calculus）。它包含两条互补结论：

1. 若 \(F'(x)=f(x)\)，则 \(\int_a^b f(x)\,dx=F(b)-F(a)\)。这告诉我们：定积分可以通过任意一个原函数在端点处相减来计算。
2. 定义 \(G(x)=\int_a^x f(t)\,dt\)，则 \(G'(x)=f(x)\)。这告诉我们：把函数从 \(a\) 到 \(x\) 累积起来，得到的累积函数本身就是一个原函数。

一句话强调：定积分就是原函数（不定积分）在区间两端的函数值“收尾相减”，即 \(\int_a^b f(x)\,dx=F(b)-F(a)\)。

例： \(f(x)=2x\)，取原函数 \(F(x)=x^2\)，则

定积分（Definite Integral）可看成“带符号面积（Signed Area）”或“连续求和”。Riemann 和定义为：

若上下界中出现 \(\infty\) 或 \(-\infty\)，它仍然属于定积分范畴，只是更准确地叫广义积分（Improper Integral）或广义定积分：本质上仍是在一个区间上求累积量，只是需要先把无穷区间截断，再用极限恢复。例如

因此“上下界无穷”不是不定积分，而是定积分的特殊形式。

在 AI 里，连续概率密度函数（Probability Density Function, PDF）的概率计算 \(P(a\le X\le b)=\int_a^b p(x)\,dx\) 本质上就是定积分。

多重积分（Multiple Integrals）是把一维积分的“连续求和”推广到更高维区域上的积分运算。它积分的对象不再只是线段上的小长度，而是平面区域上的小面积、空间区域中的小体积，或者曲面上的小面片。因此，多重积分处理的是“在二维、三维或更一般区域上，把局部量连续累加成整体量”的问题。

它的阅读难点通常不在计算本身，而在于符号会很快遮住几何直觉。理解的关键仍然是把“积分”看成连续求和，只不过求和对象已经从一维区间扩展到了更高维区域。

一重积分 \(\int f(x)\,dx\) 常被理解为曲线下的面积：在 \(x\) 轴上切出很多极窄的小条，每条小条的面积近似是“高度 \(\times\) 宽度”，也就是 \(f(x)\,dx\)，再把它们全部加起来。

双重积分把这个想法从“一条线”推广到“一块区域”。设 \(D\) 是平面上的一块区域，曲面高度由 \(z=f(x,y)\) 给出，那么

就可以理解为：在区域 \(D\) 的每个小块 \(dx\,dy\) 上立起一根很细的小柱子，柱高是 \(f(x,y)\)。这些小柱子拼起来，形成曲面下方的一整块立体体积。于是双重积分最直观的几何意义就是：把区域上方由高度函数堆出来的整块三维体积连续累加起来。

再往上推广，三重积分

表示在空间区域 \(\Omega\) 内，对每个微小体积元 \(dV\) 的函数值做累加。此时它不一定是在“求一个更高维体积”，更准确地说，是在整个空间体内部对某个量做总汇总，例如总质量、总能量、总代价或总概率权重。可以把它和一重积分放在同一条理解链上来看：速度函数在时间上的累积给出位移，密度函数在空间上的累积给出质量，能量密度（Energy Density）在区域或体积上的累积给出总能量。若 \(\rho(x,y)\) 是面密度，则 \(\iint_D \rho(x,y)\,dA\) 表示区域 \(D\) 上的总质量；若 \(\rho(x,y,z)\) 是体密度，则 \(\iiint_\Omega \rho(x,y,z)\,dV\) 表示空间区域 \(\Omega\) 内的总质量。积分符号的重数，本质上对应的是累积区域的维度。

双重积分里最需要读懂的是 \(f(x,y)\)。它并不总是“真实高度”，而是一个随位置变化的量。你可以把它看成“每个点上放了多少东西”。积分的过程，就是把整块区域上的这些局部贡献全部收集起来。

• 当 \(f(x,y)=1\) 时，每个位置的高度都恒为 1，所以积分值在数值上就等于区域 \(D\) 的面积。此时双重积分退化为“面积公式”。
• 当 \(f(x,y)\) 是密度函数（Density Function）时，积分得到的是总质量、总电荷或总概率。也就是说，函数值越大，说明该位置“堆得越多”，对总量贡献越大。
• 当 \(f(x,y)\) 表示代价、风险、热量、响应强度等场量时，积分得到的是这类量在整个区域上的累积结果。

因此，多重积分做的是一件很具体的事：把无穷多个微小局部量累加成一个整体量。

有时会看到带圈的双积分号 ∯。这个圈表示积分域是闭合的（Closed）：不是一块敞开的平面区域，而是一个完整包起来的曲面，例如球壳表面、气泡表面或任意封闭外壳。为了把这个“带圈”符号直接看出来，下面就直接写成在闭合曲面 \(S\) 上的积分。

∯_S \(\mathbf{F}\cdot d\mathbf{S}\)

这里的含义通常不是“求面积”，而是计算向量场（Vector Field）穿过闭合曲面的总通量（Flux）。直观地说，就是看有多少“流”从这个封闭外壳内部穿出，或者从外部流入。它和高斯散度定理（Gauss's Divergence Theorem）直接相关，因此在偏微分方程（PDE）、连续介质建模、计算流体以及物理信息神经网络（Physics-Informed Neural Networks, PINNs）中十分重要。

在 AI 中，多重积分最常见的身份是概率分布上的总量计算器。如果 \(p(x,y)\) 是二维随机变量的概率密度，那么

表示整张概率曲面下方的总体积必须等于 1。这句话的本质是：所有可能情况加起来，概率总和必须是 100%。

进一步，期望（Expectation）就是在这个概率地形上做加权平均。以一维为例，

表示每个位置 \(x\) 都按其概率权重 \(p(x)\) 参与平均；多维情形下则自然推广为多重积分。用几何语言说，期望就是这堆“概率质量”在各坐标方向上的重心位置。

这也是为什么高斯分布归一化、边缘分布（Marginal Distribution）、条件分布、变分推断（Variational Inference）、连续潜变量模型以及能量模型（Energy-Based Models）都离不开多重积分。很多时候模型真正要做的事，并不是求一个公式值，而是在高维概率空间里累计、归一化、消去变量或计算期望。

卷积（Convolution）把两个函数/序列组合成第三个函数/序列，最常见的语义是：“一个信号在另一个信号的权重/响应下做累积叠加”。它同时是信号处理（Signal Processing）、系统理论（Systems Theory）与 CNN 的基础运算。

对连续函数 \(f(t)\) 与 \(g(t)\)，卷积定义为：

经典记忆法：翻转（Flip）→ 平移（Shift）→ 相乘（Multiply）→ 积分（Integrate）。其中 \(g(t-\tau)\) 这一项等价于把 \(g\) 先时间反转再按 \(t\) 平移。

对离散序列 \(x[n]\) 与 \(h[n]\)，卷积定义为：

当序列有限长度时，上式求和区间会自然收缩为有限项。二维卷积（2D Convolution）/图像滤波可以视为把求和从一维扩展到二维索引。

工程系统常满足因果性（Causality）：系统在时刻 \(t\) 的输出只依赖过去与当前输入，不依赖未来输入。若输入 \(f(t)\) 与系统的冲激响应（Impulse Response）\(g(t)\) 都是因果的（\(t<0\) 时为 0），则卷积积分可写成单侧形式：

这个形式更符合直觉：时刻 \(t\) 的结果由 \([0,t]\) 区间内“所有过去输入”的贡献叠加而来。

把卷积理解成“累积药效”通常更直观。设 \(r(t)\) 是单位时间的滴注速率（Infusion Rate），\(h(t)\) 是“单位剂量在体内的药效/浓度随时间衰减曲线”（可以把它理解为冲激响应）。在时刻 \(t\) 的总药效/浓度 \(c(t)\) 可以写成：

解释：在过去每个时刻 \(\tau\) 滴入的一小部分药量 \(r(\tau)\,d\tau\)，到现在时刻 \(t\) 已经“经过了” \(t-\tau\) 的代谢时间，因此它的残留贡献按 \(h(t-\tau)\) 衰减；把所有过去贡献叠加，就得到当前总效果。这正是卷积“用一个响应核去累积历史”的核心语义。

互相关（Cross-Correlation）与卷积的形式非常接近，但没有“核翻转”（Kernel Flip）：一维离散互相关常写成 \(\sum_k x[k]\,w[n+k]\)（不同资料索引略有差异）。深度学习框架里多数“卷积层”实现的是互相关，而不是严格数学卷积；由于卷积核参数是可学习的，翻不翻转并不会改变可表达的函数族，但在信号处理里二者语义不同，需注意约定。

链式法则（Chain Rule）是反向传播（Backpropagation）的核心：当计算图（Computation Graph）由一系列函数复合组成时，总导数等于沿路径的局部导数相乘。

在微分语言下更紧凑：若 \(y=g(x)\)、\(z=f(y)\)，则 \(dz=f'(y)\,dy\) 且 \(dy=g'(x)\,dx\)，合并得 \(dz=f'(g(x))g'(x)\,dx\)。反向传播做的就是把这些局部“系数”从输出一路乘回输入。

最小二乘法（Least Squares）解决“拟合误差最小”的问题。给定样本矩阵 \(X\) 与目标 \(\mathbf{y}\)，线性模型 \(\hat{\mathbf{y}}=X\mathbf{w}\) 的目标是：

当 \(X^\top X\) 可逆时，闭式解满足正规方程（Normal Equations）：

几何直觉： \(X\mathbf{w}\) 只能落在 \(X\) 的列空间（Column Space）中，最小二乘解就是把 \(\mathbf{y}\) 正交投影（Orthogonal Projection）到这个空间上，剩余误差向量与列空间正交。

在 AI/统计实践中，若 \(X^\top X\) 病态或奇异，常用岭回归（Ridge Regression）：

它本质上是把二次目标做稳定化，降低方差并提升泛化。

凸函数（Convex Function）是“碗状”的函数：任意两点连线上的函数值不超过端点函数值的线性插值。形式化定义：

凸优化（Convex Optimization）之所以重要，是因为凸目标在凸可行域上没有“坏局部最小值”：任一局部最小值都是全局最小值。

若 \(f\) 二阶可导，则 Hessian 提供了最直接的局部判据：在一维中 \(f''(x)\ge 0\) 对应凸；在多维中，若对所有 \(x\) 都有 \(\nabla^2 f(x)\succeq 0\)（半正定，Positive Semidefinite），则 \(f\) 是凸函数。若处处 \(\nabla^2 f(x)\succ 0\)（正定，Positive Definite），则函数通常具有更强的严格凸性（Strict Convexity）。

损失函数的形状可以非常多样。需要区分两层含义：

• 损失形式本身：例如 BCE/CE（对概率或对线性模型的 logits）是凸的，MSE 也是凸的。
• 对参数的整体目标：当把损失与深度网络的非线性参数化组合后，目标函数通常变成非凸（Non-convex），这不是“交叉熵不凸”，而是“网络映射让问题不凸”。

拉格朗日乘数法（Lagrange Multiplier Method）处理约束优化（Constrained Optimization）：在满足约束的前提下最小化/最大化目标函数。常用写法是把约束写成函数形式：等式约束（Equality Constraints）\(g_i(x)=0\)，不等式约束（Inequality Constraints）\(g_i(x)\le 0\)。

对等式约束，构造拉格朗日函数（Lagrangian）：

其中 \(f(x)\) 是目标函数（Objective），\(g_i(x)\) 是约束函数（Constraint Function），\(\lambda_i\) 是拉格朗日乘子（Lagrange Multiplier）。新增部分 \(\sum_i \lambda_i g_i(x)\) 称为拉格朗日项（Lagrange Term），单个约束对应的项是 \(\lambda_i g_i(x)\)。

在不同应用里乘子的记号可能不同：在优化理论里常写 \(\lambda_i\)，在支持向量机（SVM）里常写 \(\alpha_i\)（每个样本约束对应一个乘子）。

把 \(\mathcal{L}(x,\lambda)\) 看作关于原变量 \(x\) 与乘子 \(\lambda\) 的二元函数后，鞍点（Saddle Point）结构是约束被编码进目标函数后的直接结果。 \(x\) 的角色是压低总代价， \(\lambda\) 的角色是放大任何尚未满足的约束，因此两者天然形成极小极大（Min-Max）结构。

先看等式约束 \(g(x)=0\)。这里必须先把“为什么内层是最大化”说清楚：这不是记号习惯，而是为了把约束编码成一个可行点保留原目标、不可行点直接罚到 \(+\infty\) 的机制。因此，固定某个 \(x\) 后，内层写成 \(\max_\lambda \, (f(x)+\lambda g(x))\)。如果 \(g(x)\neq 0\)，由于 \(\lambda\) 不受符号限制，最大化者总能把 \(\lambda\) 取到与 \(g(x)\) 同号且绝对值任意大，使 \(\mathcal{L}(x,\lambda)\to\infty\)；只有当 \(g(x)=0\) 时，拉格朗日项才消失，内层最大值才退化为 \(f(x)\)。因此 \(\max_\lambda \mathcal{L}(x,\lambda)\) 的作用，是把所有不满足等式约束的点直接排除掉。

不等式约束更容易看出这种“过滤”机制。若约束是 \(g(x)\le 0\) 且乘子满足 \(\lambda\ge 0\)，那么当 \(g(x)>0\) 时，最大化者会把 \(\lambda\) 推大，使 \(\lambda g(x)\to\infty\)；当 \(g(x)\le 0\) 时，继续增大 \(\lambda\) 只会让值变小，因此最优选择是 \(\lambda=0\)。于是 \(\max_{\lambda\ge 0}\mathcal{L}(x,\lambda)\) 对可行点返回原始代价 \(f(x)\)，对不可行点返回“无限罚款”。外层再对 \(x\) 做最小化，就等价于只在可行域内最小化 \(f(x)\)。

几何上，这正对应马鞍形曲面：沿 \(x\) 方向切开， \(\mathcal{L}\) 像一个向上开的“碗”，因为这里在做最小化；沿 \(\lambda\) 方向切开， \(\mathcal{L}\) 像一个向下开的“拱”，因为这里在做最大化。鞍点 \((x^*,\lambda^*)\) 的含义是：固定 \(\lambda=\lambda^*\) 时， \(x^*\) 已经不能再把值压低；固定 \(x=x^*\) 时， \(\lambda^*\) 也已经不能再把值抬高。原问题的最优解与约束的恰当作用强度，就在这个交点同时确定。

记号约定：上标星号（Asterisk）\(^*\) 通常表示“最优/最优点处的取值”，例如 \(x^*\) 是最优解， \(\lambda^*\) 是与之对应的最优乘子。

在鞍点 \((x^*,\lambda^*)\)，固定 \(\lambda=\lambda^*\) 时 \(x^*\) 使 \(\mathcal{L}\) 最小；固定 \(x=x^*\) 时 \(\lambda^*\) 使 \(\mathcal{L}\) 最大，可用不等式写成：

上面的鞍点不等式给出的是几何刻画；真正求解时，还需要把“这个点已经不能再降、也不能再升”的直观条件改写成可计算的方程。做法是检查拉格朗日函数（Lagrangian）\(\mathcal{L}\) 对各个变量的一阶变化：若在候选点附近，沿某个允许方向还能继续把值压低（对 \(x\)）或继续把值抬高（对 \(\lambda\)），那么该点就不可能是鞍点。

这就是一阶必要条件（First-Order Necessary Condition）的来源：若 \(x^*\) 是最优解，则一阶（线性）变化项必须已经消失，否则还存在继续改进的方向。这里“必要”不等于“充分”：满足一阶条件只说明它有可能是最优点，不说明它一定最优；要得到充分结论，还需要二阶条件、凸性（Convexity）或其他结构。

无约束情形最直接。在一维中，若 \(x^*\) 是可微且不在边界上的局部最小点，则向左或向右移动都不能让函数更小，因此斜率必须满足 \(f'(x^*)=0\)；多维里把“斜率”推广为梯度（Gradient），于是条件变为 \(\nabla f(x^*)=0\)。

把同样的思路移到等式约束上，求解目标就从“找原函数 \(f\) 的极小点”变成“找拉格朗日函数 \(\mathcal{L}(x,\lambda)\) 的鞍点”。对可导问题，一阶条件写成：

第一式表示：固定 \(\lambda=\lambda^*\) 后，已经找不到能继续降低 \(\mathcal{L}\) 的 \(x\) 方向；第二式就是可行性（Feasibility）本身。又因为 \(\frac{\partial \mathcal{L}}{\partial \lambda_i}=g_i(x)\)，所以“对乘子求偏导为 0”本质上只是把约束 \(g_i(x)=0\) 原样写回。

不等式约束时，乘子必须满足 \(\lambda_i\ge 0\)，因此鞍点结构相应写成：

此时除了驻点条件，还必须同时满足 KKT 条件（Karush–Kuhn–Tucker Conditions）。其中最关键的是互补松弛（Complementary Slackness）\(\lambda_i g_i(x^*)=0\)：每个约束在最优点只有两种状态——要么它是紧的（Active），即 \(g_i(x^*)=0\)；要么它不紧，此时对应乘子必须为 0，表示该约束在最优点处没有实际作用。

例（等式约束）：最小化 \(f(x,y)=x^2+y^2\)，约束 \(x+y=1\)。拉格朗日函数：

其中 \(\lambda(x+y-1)\) 是拉格朗日项（Lagrange Term）：它把等式约束 \(x+y-1=0\) 以乘子加权的形式并入目标函数。

令偏导为零： \(\frac{\partial \mathcal{L}}{\partial x}=2x+\lambda=0\)、\(\frac{\partial \mathcal{L}}{\partial y}=2y+\lambda=0\)、\(\frac{\partial \mathcal{L}}{\partial \lambda}=x+y-1=0\)。注意 \(\frac{\partial \mathcal{L}}{\partial \lambda}=0\) 就是把约束 \(x+y=1\) 写回来；联立可得 \(x=y=\frac{1}{2}\)。几何上，这意味着最优点处目标函数等高线与约束曲线相切。

例（不等式约束）：最小化 \(f(x)=x^2\)，约束 \(x\ge 1\)。直觉上，无约束最小值在 \(x=0\)，但它不满足约束，所以最优点只能落在边界 \(x=1\)。

1. 把约束改写成标准形式：令 \(g(x)=1-x\)，则 \(x\ge 1\Leftrightarrow g(x)\le 0\)。
2. 构造拉格朗日函数： \(\mathcal{L}(x,\lambda)=f(x)+\lambda g(x)=x^2+\lambda(1-x)\)。其中 \(\lambda(1-x)\) 是拉格朗日项（Lagrange Term），不等式情形要求 \(\lambda\ge 0\)。
3. 写出 KKT 的核心条件：可行性（Feasibility）\(1-x\le 0\)；乘子非负 \(\lambda\ge 0\)；驻点（Stationarity）\(\frac{d\mathcal{L}}{dx}=2x-\lambda=0\)；互补松弛（Complementary Slackness）\(\lambda(1-x)=0\)。
4. 解：由 \(2x-\lambda=0\) 得 \(\lambda=2x\)。互补松弛要求 \(\lambda=0\) 或 \(x=1\)。若 \(\lambda=0\) 则 \(x=0\)，但违反 \(x\ge 1\)；因此 \(x^*=1\)，进而 \(\lambda^*=2\)。
5. 解释：在最优点处 \(1-x^*=0\)，该约束是“紧的”（Active），互补松弛允许乘子 \(\lambda^*>0\)，它刻画了该约束在最优点处对解的影响强度。如果最优点落在可行域（Feasible Set）内部（约束不紧， \(1-x^*<0\)），互补松弛会强制 \(\lambda^*=0\)。

对偶问题（Dual Problem）从原始问题（Primal Problem）导出下界函数，用于分析可行性、间隙与最优性。标准形式：

把括号中的表达式记为拉格朗日函数（Lagrangian）\(\mathcal{L}(x,\lambda,\nu)=f(x)+\sum_i \lambda_i g_i(x)+\sum_j \nu_j h_j(x)\)，则对偶函数（Dual Function）就是 \(g(\lambda,\nu)=\inf_x \mathcal{L}(x,\lambda,\nu)\)：固定乘子后先对原变量求下确界，把它“消去”，再对乘子最大化这个下界。

SVM 的对偶函数（Dual Function）来自一个标准过程：先写出原始问题（Primal Problem）的拉格朗日函数（Lagrangian），再对原变量取下确界（Infimum），把优化问题改写为只依赖乘子变量的形式。在线性支持向量机（Support Vector Machine, SVM）里，这个过程最清楚，因为 \(\boldsymbol{\alpha}\) 的出现既解释了“为什么叫对偶”，也把“把原变量消掉”变成了可逐步计算的代换。

考虑硬间隔（Hard-margin）线性 SVM。原始问题是：

把约束改写成标准不等式形式：

于是拉格朗日函数为：

对偶函数（Dual Function）的定义是：固定乘子 \(\boldsymbol{\alpha}\)，对原变量 \(\mathbf{w},b\) 取下确界：

这里的关键结构已经出现了：原始问题直接优化 \(\mathbf{w},b\)，而对偶函数先把 \(\boldsymbol{\alpha}\) 固定住，把 \(\mathbf{w},b\) 当成待消去变量。随后得到的最大化问题，只剩乘子变量 \(\boldsymbol{\alpha}\)。这就是“对偶”的来源：同一个最优化问题，被改写成了另一组变量上的伴随优化问题。

现在把 \(\mathbf{w},b\) 完整消掉。先求驻点条件（Stationarity Conditions）。对 \(\mathbf{w}\) 求偏导：

因此

对 \(b\) 求偏导：

因此

把这些结果代回拉格朗日函数之前，先把它展开成便于逐项代换的形式：

第一项代入 \(\mathbf{w}=\sum_{i=1}^{n}\alpha_i y_i \mathbf{x}_i\)：

第二项保持不变：

第三项代入同一个 \(\mathbf{w}\) 表达式：

最后一项利用 \(\sum_{i=1}^{n}\alpha_i y_i=0\) 直接消失：

因此

于是对偶问题（Dual Problem）就是：

此时“对偶”二字的含义就精确了：原始问题在参数空间里直接求 \(\mathbf{w},b\)，对偶问题则在乘子空间里求 \(\boldsymbol{\alpha}\)；两者来自同一个拉格朗日结构，描述的是同一个最优解的两种表示。对 SVM 而言，更重要的结构变化是：数据 \(\mathbf{x}_i\) 不再单独出现，而只通过内积（Inner Product）\(\mathbf{x}_i^\top\mathbf{x}_j\) 进入目标函数，这正是核技巧（Kernel Trick）的入口。

若问题是凸的且满足 Slater 条件，则强对偶（Strong Duality）成立，可以用鞍点形式表达“先最小化再最大化”与“先最大化再最小化”等价：

对偶函数之所以是“下界”，来自一个简单但关键的不等式：对任意可行解 \(x\)（满足所有约束）与任意 \(\lambda\ge 0\)，都有

因此对任何 \((\lambda,\nu)\)，都有 \(g(\lambda,\nu)\le p^*\)（原始最优值），这就是弱对偶（Weak Duality）。

弱对偶（Weak Duality）总成立；也就是说，对偶问题给出的值永远不会高于原始问题的最优值。但弱对偶只保证“对偶值是下界”，并不保证这个下界恰好贴住原始最优值。若两者之间还差一截，这个差距就叫对偶间隙（Duality Gap）。

强对偶（Strong Duality）则更进一步：它要求原始最优值与对偶最优值完全相等，也就是对偶问题不只是给出一个保守下界，而是精确刻画了原问题的最优值。对很多凸优化问题而言，Slater 条件正是让这种“下界刚好贴住最优值”的关键保证。

从直观上看，Slater 条件要求可行域内部真的存在一个严格可行点。这意味着约束系统不是被边界死死卡住的退化结构，而是有真实的内部空间。可行域一旦有内部，拉格朗日乘子就更容易稳定地描述“目标函数下降趋势”和“约束反作用力”之间的平衡，因此原始问题与对偶问题之间更不容易出现缝隙。在凸优化里，这就是为什么 Slater 条件常被看作强对偶成立的重要通行证。

直观上，对偶变量（Dual Variables）可以看作约束的“影子价格（Shadow Price）”：如果把约束放宽一点点，最优目标值会如何变化。在很多问题中（例如支持向量机（SVM）），对偶化会把优化变量从“模型参数”转成“约束乘子”，并把数据依赖压缩为内积，从而自然导出核技巧（Kernel Trick）。

对偶变量（Dual Variable）常被称为影子价格（Shadow Price），因为它衡量的是：如果把某条约束稍微放宽一点，最优目标值会改善多少。这里的“价格”不是市场价格，而是“约束资源有多值钱”的边际刻度。

可以把约束想成一种稀缺资源。例如训练时有显存限制、预算限制、风险限制或几何边界限制；如果某条约束非常紧，那么它就像一个卡脖子的瓶颈。此时只要把这条约束稍微放宽一点，最优目标值就可能明显改善，于是它对应的对偶变量就会比较大。反过来，如果某条约束本来就很松，放宽它也几乎没有收益，那么它对应的对偶变量通常就是 0 或接近 0。

在数学上，这个直觉可以写成一种局部敏感度关系。若把约束写成

其中 \(b_i\) 表示第 \(i\) 条约束允许的“资源上限”或“边界位置”，那么对应的最优值函数可以记为 \(p^*(b)\)。在适当条件下，对偶变量 \(\lambda_i^*\) 可以理解为最优值对 \(b_i\) 的边际变化率，也就是“把第 \(i\) 条约束放宽一点，最优值会朝什么方向变化、变化多快”。

在最小化问题中，若某条约束对应的 \(\lambda_i^*\) 很大，通常表示这条约束非常关键：它一旦被放宽，最优目标值会明显下降；若 \(\lambda_i^*=0\)，则说明该约束在当前最优点并没有真正起作用，放宽它也不会立刻带来收益。这与前面的互补松弛完全一致：只有真正卡住最优解的约束，才会拥有非零影子价格。

因此，影子价格提供了一个非常有用的解释视角：原始变量告诉我们“最优解长什么样”，而对偶变量告诉我们“哪些约束最贵、最紧、最值得被放宽”。这也是为什么在优化理论、经济学和机器学习里，对偶变量不仅是求解工具，也是理解模型结构的重要语言。

Slater 条件（Slater's Condition）是凸优化（Convex Optimization）里最常见的正则性条件（Regularity Condition）之一。它的作用不是改变优化问题本身，而是保证对偶理论能够“工作得很干净”：在满足它时，很多凸问题会满足强对偶（Strong Duality），也就是原始问题最优值与对偶问题最优值相等；同时，KKT 条件也更容易从“必要条件”提升为判定最优性的核心条件。

对标准凸优化问题

如果 \(f(x)\) 和每个 \(g_i(x)\) 都是凸函数（Convex Function），每个 \(h_j(x)\) 都是仿射函数（Affine Function），那么 Slater 条件要求：至少存在一个严格可行点（Strictly Feasible Point） \(\tilde{x}\)，使得所有不等式约束都被“严格满足”，也就是

这里“严格满足”四个字最关键。普通可行点只要求 \(g_i(x)\le 0\)，也就是允许刚好压在边界上；而 Slater 条件要求存在某个点，能让所有不等式约束都留出一点余量，也就是完全处在可行域内部，而不是贴着边界。

这个条件可以用一个非常直观的图像来理解。把不等式约束围成的可行域想成一个房间：

• 如果房间内部真的有空间，存在一个点站在房间里，不碰任何墙，这就是满足 Slater 条件。
• 如果所谓“可行域”其实只是几面墙交出来的一条线、一个角、甚至一个点，根本没有真正的内部空间，那么 Slater 条件通常就不满足。

因此，Slater 条件本质上是在说：这个凸约束系统不能只是勉强拼出一个边界碎片，而要有真正的内部。一旦内部存在，原始问题和对偶问题之间的间隙通常就会消失，拉格朗日乘子和 KKT 条件也会变得更稳定、更有解释力。

一个简单例子可以把它说清楚。考虑约束

写成标准形式是 \(g(x)=-x\le 0\)。这个约束满足 Slater 条件，因为取 \(\tilde{x}=1\) 时，有 \(g(1)=-1<0\)。这说明可行域 \([0,+\infty)\) 不只是边界点 \(x=0\)，而是真正包含内部区域。

再看一个不满足 Slater 条件的例子：

由于 \(x^2\) 永远不小于 0，这个约束唯一允许的点只有 \(x=0\)。可行域虽然非空，但没有任何点能让 \(x^2<0\) 成立，所以不存在严格可行点，Slater 条件不成立。这样的约束系统只有边界、没有内部。

在机器学习常见的凸问题里，Slater 条件之所以频繁出现，是因为它几乎就是“强对偶成立的通行证”。例如在线性规划、逻辑回归的某些约束变体、支持向量机（SVM）的凸二次规划中，只要能找到一个严格可行点，就通常可以放心地从原始问题走到对偶问题，再用 KKT 条件解释最优解结构。反过来，如果没有 Slater 条件，就可能出现对偶间隙（Duality Gap），也就是对偶最优值严格小于原始最优值，此时只看对偶或只看 KKT 就不一定足够。

KKT 条件（Karush–Kuhn–Tucker Conditions）讨论的是带约束优化问题在最优点必须满足什么条件。无约束优化里，常见做法是令梯度（Gradient）为 0；但一旦问题带有不等式约束或等式约束，只看 \(\nabla f(x)=0\) 就不够了，因为最优点很可能被约束“顶”在边界上，而不是落在自由空间里的普通驻点。

标准形式写作：

这里 \(f(x)\) 是目标函数（Objective Function），表示希望最小化的量；\(x\) 是优化变量（Optimization Variable）；\(g_i(x)\le 0\) 是第 \(i\) 个不等式约束（Inequality Constraint）；\(h_j(x)=0\) 是第 \(j\) 个等式约束（Equality Constraint）。KKT 条件给出的就是：当 \(x^*\) 真的是一个最优解时，它与对应的拉格朗日乘子（Lagrange Multipliers）之间必须满足一组相互配合的条件。

在凸优化（Convex Optimization）里，如果问题满足适当的正则性条件，例如 Slater 条件（Slater's Condition），KKT 条件往往不只是必要条件，还可以成为判定最优性的核心工具。在线性规划、二次规划、支持向量机（Support Vector Machine, SVM）和许多机器学习训练问题中，KKT 条件都直接参与求解过程。

上图使用的是活跃边界 \(g(x)=1-x_1-x_2=0\)。边界 \(x_1+x_2=1\) 的切向方向可取 \((1,-1)\)；与它垂直的向量都是法向量（Normal Vector），例如 \((1,1)\) 或 \((-1,-1)\)。如果把约束写成函数 \(g(x)=1-x_1-x_2\)，那么梯度 \(\nabla g(x)=(-1,-1)\) 就是一条法向量；它指向 \(g(x)\) 增大的方向，也就是不可行侧。

图中的橙色箭头对应驻点条件（Stationarity）里真正参与平衡的两个向量：目标梯度 \(\nabla f(x^*)\) 与乘子加权后的约束法向量 \(\lambda^*\nabla g(x^*)\)。它们在最优点首尾相接后得到 0，于是 \(\nabla f(x^*)+\lambda^*\nabla g(x^*)=0\) 不是抽象记号，而是边界最优点上的几何平衡：

• 原始可行性（Primal Feasibility）：解必须落在可行域内。对这张图而言，可行域是半空间 \(x_1+x_2\ge 1\)，最优点 \(x^*\) 落在它的活跃边界 \(x_1+x_2=1\) 上。
• 对偶可行性（Dual Feasibility）：不等式约束的乘子必须非负，即 \(\lambda^*\ge 0\)。图中的计算给出 \(\lambda^*=0.65\)，表示这条边界在最优点处确实对目标下降施加了正的“反作用”。
• 驻点条件（Stationarity）：沿边界的切向方向已经不能继续下降，因此目标梯度不再含有切向分量，只能落在法向空间里。单个活跃约束时，这就变成 \(\nabla f(x^*)=-\lambda^*\nabla g(x^*)\)。图中的两根橙色箭头正是这两个大小相等、方向相反的向量。
• 互补松弛（Complementary Slackness）：约束若不接触最优点，就不会产生乘子；约束一旦卡在最优点上，对应乘子才会变成正值。当前图像展示的是活跃边界情形，所以 \(g(x^*)=0\) 且 \(\lambda^*>0\) 同时成立。

法向量之所以关键，是因为它刻画了“离开边界最快”的方向；切向方向则刻画了“沿边界滑动”的方向。边界最优点的本质结论是：目标函数想继续下降的那一部分趋势，已经完全被约束边界的法向作用抵消；沿边界本身则不存在进一步下降方向。

可以把 KKT 条件想成一个“遛狗”问题。优化目标是：狗想尽可能往远处跑；约束条件是：主人手里只有一根 5 米长的狗绳，因此狗的活动范围不能超过这条绳子的长度。不等式约束 \(g_i(x)\le 0\) 的作用，就像在说“不能超过这根绳子允许的极限”；等式约束 \(h_j(x)=0\) 则对应那些必须被精确满足的固定条件。

这个比喻里最重要的是区分“绳子是否真正起作用”。如果狗最后只跑到 3 米处就停下，例如已经闻到味道、找到目标，或者在那里已经达到最优状态，那么绳子仍然是松的，还留有 2 米余量。这时约束虽然存在，但它没有真正限制住解。相反，如果狗拼命往前冲，最后正好跑到 5 米极限，绳子就会被拉紧；此时狗还想继续前进，但被约束挡住了。KKT 条件刻画的正是这种“目标继续改进的趋势，与约束施加的阻拦作用，在最优点达到平衡”的状态。

其中最形象的一条就是互补松弛（Complementary Slackness）。它表达的是：每一个不等式约束在最优点都只有两种状态。

• 如果某个约束正好卡在边界上，即 \(g_i(x^*)=0\)，就像狗刚好把 5 米狗绳拉到极限，此时这条绳子真的“顶住了”最优解，它对应的乘子 \(\lambda_i^*\) 可以大于 0。
• 如果某个约束离边界还有余量，即 \(g_i(x^*)<0\)，就像狗只跑到 3 米处，绳子仍然松弛，那么它对应的乘子必须是 0，也就是 \(\lambda_i^*=0\)。

因此，乘子 \(\lambda_i^*\) 可以直观理解为绳子的拉力，也就是约束对最优解施加的压力。在优化语言里，这个量也常被解释为影子价格（Shadow Price）：如果把这条约束稍微放宽一点，最优目标值会改善多少。拉力不为 0，说明这条约束正在真正影响解；拉力为 0，说明这条约束虽然存在，但在最优点处并没有发挥作用。

把原问题写成统一形式后，先定义拉格朗日函数（Lagrangian）：

这个式子里的每个元素都有明确含义：

• \(\mathcal{L}\)：拉格朗日函数，把目标函数和约束统一写进一个式子里。
• \(x\)：原始变量（Primal Variable），也就是模型真正要优化的参数。
• \(f(x)\)：目标函数，表示希望最小化的代价、损失或能量。
• \(g_i(x)\)：第 \(i\) 个不等式约束函数；要求它满足 \(g_i(x)\le 0\)。
• \(h_j(x)\)：第 \(j\) 个等式约束函数；要求它满足 \(h_j(x)=0\)。
• \(\lambda_i\)：第 \(i\) 个不等式约束对应的拉格朗日乘子；它衡量该约束施加的“压力”或“拉力”大小，也可理解为对应约束资源的影子价格。
• \(\nu_j\)：第 \(j\) 个等式约束对应的拉格朗日乘子。
• \(\sum_i\) 和 \(\sum_j\)：分别表示把所有不等式约束和所有等式约束的影响累加起来。

在此基础上，KKT 条件通常写成四组：

这四组条件可以逐条理解：

• 原始可行性（Primal Feasibility）：最优解 \(x^*\) 首先必须是合法的，不能跑到可行域之外。也就是说，所有不等式约束都要满足 \(g_i(x^*)\le 0\)，所有等式约束都要精确满足 \(h_j(x^*)=0\)。
• 对偶可行性（Dual Feasibility）：不等式约束的乘子必须非负，即 \(\lambda_i^*\ge 0\)。这保证了它们表达的是“阻止变量越界的压力”，而不是把解往不可行方向拉过去的反向力量。
• 驻点条件（Stationarity）：在最优点处，目标函数的梯度 \(\nabla f(x^*)\) 与所有约束梯度加权后的合力必须平衡为 0。这里 \(\nabla f(x^*)\) 表示目标函数在 \(x^*\) 处最陡上升方向；\(\nabla g_i(x^*)\) 和 \(\nabla h_j(x^*)\) 分别表示约束边界的法向方向；乘子 \(\lambda_i^*\)、\(\nu_j^*\) 则控制这些方向各自施加多少“反作用力”。这条式子本质上是在说：最优点处已经不存在任何仍然可行且还能继续下降的方向。
• 互补松弛（Complementary Slackness）：每个不等式约束都满足 \(\lambda_i^* g_i(x^*)=0\)。因为这是两个量的乘积等于 0，所以只能出现两种情况：要么 \(g_i(x^*)=0\)，说明约束正好顶在边界上；要么 \(\lambda_i^*=0\)，说明这条约束在最优点没有施加压力。它精确区分了“活跃约束（Active Constraint）”和“不活跃约束（Inactive Constraint）”。

一个一维例子可以把这些符号落到实处。考虑：

把约束写成标准形式 \(g(x)=-x\le 0\)，于是拉格朗日函数是：

这里 \((x+1)^2\) 是目标函数；\(-x\le 0\) 是不等式约束；\(\lambda\) 是这条约束对应的乘子。KKT 条件变成：

这四项分别表示：解必须在 \(x\ge 0\) 的合法区域内；乘子必须非负；目标函数与约束施加的作用力在最优点平衡；约束要么卡住解、要么不施加压力。无约束时， \((x+1)^2\) 的最低点在 \(x=-1\)，但这不满足 \(x\ge 0\)，所以真正最优点被“推”到边界 \(x^*=0\)；再代入驻点条件 \(2(x+1)-\lambda=0\)，得到 \(\lambda^*=2\)。这正对应“边界在最优点处确实对解施加了压力”。

如果把目标函数换成 \(\min_x (x-2)^2\ \text{s.t.}\ x\ge 0\)，无约束最优点就是 \(x=2\)，它本来就在可行域内部，因此约束没有真正碰到最优点。此时 KKT 会给出 \(x^*=2\)、\(\lambda^*=0\)。这就是互补松弛最直观的含义：边界没有碰到解，压力就自动消失；边界一旦碰到解，乘子就会变成非零。

概率论与统计处理两类问题：第一类是在不确定性下如何描述事件、变量与数据生成过程；第二类是在只观察到有限样本时，如何反推总体规律与模型参数。在 AI 中，分类概率、回归噪声、采样、似然训练、置信评估与后验推断都建立在这套语言之上。

在进入公式前，先区分几个最常混淆的基础对象。概率论不是一开始就讨论“均值”和“方差”，而是先规定随机试验的结果空间、结果上的事件，以及把结果映射成数的随机变量，之后才谈分布、期望和统计推断。

• 样本空间（Sample Space）\(\Omega\)：一次随机试验所有可能结果的集合，其中希腊字母 \(\Omega\) 只是“全部可能结果”的记号。掷骰子时 \(\Omega=\{1,2,3,4,5,6\}\)，表示所有可能点数组成的集合。
• 事件（Event）：样本空间的子集，表示“哪些结果算作某件事发生”。例如“点数为偶数”对应集合 \(\{2,4,6\}\)；这句话的意思是，只要试验结果落在这个集合里，就说该事件发生。
• 随机变量（Random Variable）\(X\)：把随机结果映射为数的函数，可写作 \(X:\Omega\to\mathbb{R}\)。这里 \(X\) 是这个函数的名字， \(\Omega\) 是输入端的样本空间，箭头 \(\to\) 表示“映射到”， \(\mathbb{R}\) 表示实数集合。也就是说，每个随机结果都会被 \(X\) 变成一个实数。掷骰子时最自然的随机变量就是“点数本身”；在机器学习里，输入 \(X\)、标签 \(Y\)、噪声 \(\epsilon\) 都是随机变量。
• 概率分布（Probability Distribution）：描述随机变量取不同值的概率规律。离散情形常写作 \(P(X=x)\)，意思是“随机变量 \(X\) 恰好取值 \(x\) 的概率”；连续情形常写作密度 \(p(x)\)，它不是某一点的概率本身，而是概率密度函数（Probability Density Function, PDF），需要在区间上积分才得到概率。
• 期望（Expectation）\(\mathbb{E}[X]\)：按概率加权的平均，回答“长期来看这个随机变量的典型水平在哪里”。这里 \(\mathbb{E}\) 是 expectation 的标准记号，方括号中的 \(X\) 表示“对哪个随机变量取期望”。
• 方差（Variance）\(\mathrm{Var}(X)\)：围绕期望的波动强度，回答“它通常偏离平均水平多大”。其中 \(\mathrm{Var}\) 是 variance 的记号，括号里的 \(X\) 表示“考察哪个随机变量的波动”。
• 参数（Parameter）与统计量（Statistic）：参数描述总体，例如高斯分布中的 \(\mu\) 表示均值（Mean）， \(\sigma^2\) 表示方差（Variance）；统计量则由样本计算出来，例如 \(\bar{x}\) 表示样本均值（Sample Mean），上面的横线读作“x bar”，意思是“样本中所有 \(x\) 的平均值”。统计学习的核心任务之一，就是用统计量去估计未知参数。

概率（Probability）与似然（Likelihood）都可以写成 \(p(x|\theta)\) 这样的形式，但它们把“谁是已知、谁是待判断对象”放在不同位置。概率把参数 \(\theta\) 视为已知、把数据 \(x\) 视为随机结果；似然则把数据 \(x\) 固定下来，把参数 \(\theta\) 当作待比较对象。

也正因为公式形式相同，二者很容易混淆；真正的区别不在写法，而在它们回答的是相反方向的问题。条件分布 \(p(x|\theta)\) 在统计里经常同时出现在两种语境中：当参数 \(\theta\) 固定、数据 \(x\) 变化时，它表示“在这个模型下观察到不同数据的概率有多大”；当数据 \(x\) 固定、参数 \(\theta\) 变化时，它表示“哪些参数更能解释这份已经观察到的数据”。

因此，概率的读法是参数已知，看数据。例如抛硬币模型里，若已知正面概率 \(\theta=0.7\)，那么 10 次里出现 8 次正面的概率是

其中 \({10 \choose 8}\) 表示组合数（Binomial Coefficient）：从 10 次试验里选出 8 次作为正面的不同选法一共有多少种。它负责计数“8 次正面可以出现在哪 8 个位置上”，不是额外的概率项。

而 \(0.7^8 0.3^2\) 来自独立重复试验的乘法法则：如果每次抛掷相互独立，且正面概率是 \(0.7\)、反面概率是 \(0.3\)，那么任意一个“8 次正面、2 次反面”的具体序列，其概率都是 8 个 \(0.7\) 与 2 个 \(0.3\) 的乘积，也就是 \(0.7^8 0.3^2\)。

这里被当作变量的是结果 \(X\)；问题是“给定参数，这样的数据是否常见”。这就是通常意义上的概率或概率密度。

似然的读法正好反过来：数据已知，看参数。假设现在已经观察到 10 次抛硬币里有 8 次正面，这组数据不再变化；真正变化的是候选参数 \(\theta\)。于是同一个模型被改写为似然函数（Likelihood Function）：

此时 \(L(\theta|x)\) 不是“参数取某个值的概率”，而是一个关于 \(\theta\) 的评分函数：哪个 \(\theta\) 让已观察到的数据 \(x\) 更容易出现，哪个 \(\theta\) 的似然就更大。最大似然估计（Maximum Likelihood Estimation, MLE）做的正是这件事：寻找使 \(L(\theta|x)\) 最大的参数。

这里有一个必须严格区分的点：似然不是参数的概率分布。对固定数据来说， \(L(\theta|x)\) 不要求对 \(\theta\) 积分为 1，也不能直接解释为 \(P(\theta|x)\)。只有在贝叶斯框架里，把似然与先验（Prior） \(p(\theta)\) 相乘并做归一化之后，才得到参数的后验概率（Posterior）：

所以可以把三者关系记成一条清晰的链： \(p(x|\theta)\) 作为“关于 \(x\) 的函数”时是概率模型；作为“关于 \(\theta\) 的函数”时是似然函数；再结合先验并归一化后，才变成参数的后验概率。很多机器学习教材里说“最小化交叉熵等价于最大化对数似然”，本质上就是固定数据后，在参数空间里寻找最能解释样本的模型。

在机器学习模型里，这种“同一个式子，换个视角名字就变”的现象非常常见。设模型写成 \(p_\theta(y|x)\)，其中 \(x\) 是输入或上下文， \(y\) 是真实标签或真实 token， \(\theta\) 是模型参数。

当参数 \(\theta\) 固定、把输出 \(y\) 当作随机变量时， \(p_\theta(y|x)\) 是概率模型：它回答“在这个模型已经定好的前提下，不同输出有多可能”。例如语言模型会对整个词表输出一个条件概率分布，其中 \(c_t\) 表示第 \(t\) 个位置之前的上下文（context）， \(y_t\) 表示该位置真实出现的 token，因此 \(p_\theta(y_t|c_t)\) 就是“在上下文 \(c_t\) 下，模型给真实 token \(y_t\) 分配的概率”。

当观测到的 \((x,y)\) 固定、把参数 \(\theta\) 当作变量时，同一个式子 \(p_\theta(y|x)\) 就变成似然：它回答“哪些参数更能让这条已经看到的数据显得合理”。于是训练时最大化似然，就等价于最小化负对数似然：

因此可以把这个困惑直接拆开：固定参数看输出，它是概率；固定输出看参数，它是似然；对它取负对数后，它就是训练里使用的损失项。在语言建模里，对一个具体 token 而言，给定当前模型参数后， \(-\log p_\theta(y_t|c_t)\) 既可以看成该 token 的负对数概率，也可以在训练语境下看成该 token 对参数的负对数似然；两者是同一个数值对象，只是观察角度不同。

概率（Probability）描述不确定事件发生的可能性。设样本空间（Sample Space）为 \(\Omega\)，事件（Event）为 \(A\subseteq\Omega\)，则概率公理要求 \(P(A)\in[0,1]\)、\(P(\Omega)=1\)，以及互斥事件可加。这里“互斥事件可加”的意思是：如果两个事件不能同时发生，即 \(A\cap B=\{\}\)，那么“\(A\) 或 \(B\) 发生”的概率就是两者概率直接相加：

之所以能直接相加，是因为两者没有重叠部分，不会重复计数。若有重叠，则不能直接相加，而要减去交集 \(P(A\cap B)\)。

最小例子：掷一枚公平六面骰。样本空间是 \(\Omega=\{1,2,3,4,5,6\}\)。若事件 \(A\) 表示“点数为 1”，事件 \(B\) 表示“点数为 2”，则它们互斥，因此 \(P(A\cup B)=1/6+1/6=1/3\)。再看一个非互斥例子：若事件 \(C\) 表示“点数为偶数”，则 \(C=\{2,4,6\}\)，因此 \(P(C)=3/6=1/2\)。

联合概率（Joint Probability）表示多个事件同时发生的概率，即 \(P(A,B)=P(A\cap B)\)。它回答的是“这些条件一起成立的可能性有多大”。

仍用骰子例子：令 \(A\) 表示“点数为偶数”，\(B\) 表示“点数至少为 4”，则 \(A\cap B=\{4,6\}\)，所以 \(P(A,B)=2/6=1/3\)。在机器学习里，联合分布 \(p(x,y)\) 表示“输入 \(x\) 与标签 \(y\) 一起出现”的总体规律。

独立（Independence）表示一个事件是否发生，不会改变另一个事件发生的概率。若事件 \(A,B\) 相互独立，则它们同时发生的概率可直接写成概率乘积：

更一般地，若 \(A_1,\dots,A_n\) 相互独立，则

例：掷一枚公平硬币并同时掷一枚公平骰子。令 \(A\) 表示“硬币为正面”，\(B\) 表示“骰子为偶数”，则 \(P(A)=1/2\)、\(P(B)=1/2\)，且二者独立，因此 \(P(A\cap B)=1/2\times 1/2=1/4\)。

独立时还可等价写成 \(P(A|B)=P(A)\)：知道 \(B\) 发生，并不会改变对 \(A\) 的判断。

要注意：互斥（Mutually Exclusive）和独立（Independent）不是一回事。互斥表示不能同时发生；独立表示是否发生彼此无关。对非零概率事件而言，互斥通常意味着不独立，因为一旦知道 \(A\) 发生，就立刻知道 \(B\) 不可能发生。

条件概率（Conditional Probability）表示“已知 \(B\) 发生时，\(A\) 发生的概率”：

关键点不是“再算一次概率”，而是样本空间被缩小了。在上面的骰子例子中，已知 \(B\)（点数至少为 4）后，只剩 \(\{4,5,6\}\) 三种可能，其中偶数是 \(\{4,6\}\)，所以 \(P(A|B)=2/3\)，明显不同于原来的 \(P(A)=1/2\)。

在建模中，几乎所有监督学习目标都可写成条件概率最大化，例如分类模型学习的是 \(P(y|x)\)：给定特征 \(x\)，标签 \(y\) 的概率有多大。

边缘概率（Marginal Probability）是把不关心的变量“求和/积分掉”后得到的概率：

这两个公式的意思完全一致，只是分别对应离散情形与连续情形。 \(P(A,b)\) 表示“\(A\) 与 \(b\) 同时发生”的联合概率；若现在只关心 \(A\)，就必须把所有可能的 \(b\) 都加起来。连续情形下同理： \(p(x,z)\) 是关于 \((x,z)\) 的联合密度，若只关心 \(x\)，就把所有 \(z\) 的可能性沿该维度积分掉，得到 \(p(x)\)。

几何上，可以把边缘化（Marginalization）理解为把高维分布沿某个方向压扁后得到的投影。设二维联合分布的两个维度分别是身高与体重，平面上的每个位置都对应一个联合概率密度 \(p(\text{height},\text{weight})\)。如果现在根本不关心体重，只想知道身高的总体分布，那么就把每个固定身高处、沿着体重方向的所有概率质量全部累加起来；累加后的结果就是该身高对应的边缘密度 \(p(\text{height})\)。

因此，求和符号 \(\sum_b P(A,b)\) 或积分符号 \(\int p(x,z)\,dz\) 的几何含义，不是“神秘地消掉一个变量”，而是把那个维度上的所有可能性叠加到剩余维度上。它像从侧面看一个三维物体的投影：原来的结构仍然在，但你只保留了当前关心的坐标轴信息。

在 AI 中，边缘概率几乎总伴随着隐藏变量（Latent Variable）。例如主题模型里 \(z\) 可以表示隐藏主题（Hidden Topic），\(x\) 表示某个词；若只关心词出现的总体概率，就要把主题变量消去，得到 \(p(x)=\sum_z p(x,z)\)。很多推断算法的难点，本质上就是这个“沿隐藏维度求和/积分”的步骤代价很高。

补事件（Complementary Event）满足

它表示“\(A\) 不发生”的概率等于总概率 1 减去 \(A\) 发生的概率。

第二，若 \(A_1,\dots,A_n\) 把样本空间划分为互斥且完备的几部分（即两两互斥，且并集为 \(\Omega\)），则全概率公式（Law of Total Probability）为

它的含义是：事件 \(B\) 的总概率，可以拆成“先落入哪一种原因 \(A_i\)，再在该原因下发生 \(B\)”的加权和。贝叶斯公式中的分母 \(P(B)\)，很多时候就是用全概率公式展开出来的。

贝叶斯定理（Bayes' Theorem）把“从原因到结果”的概率反转为“从结果反推原因”：

把式子写出来并不难，真正容易混淆的是每一项到底在说什么。下面直接用一个具体场景来解释：设 \(A\) 表示“患者真的患病”，\(B\) 表示“检测结果为阳性”。已知患病率为 1%，检测的灵敏度（Sensitivity）为 99%，假阳性率（False Positive Rate）为 5%。则：

• 先验（Prior） \(P(A)\)：在还没看到这次检测结果前，对“此人患病”的原始判断。在这个例子里，先验就是总体患病率 \(P(A)=0.01\)。
• 似然（Likelihood） \(P(B|A)\)：如果一个人确实患病，那么检测为阳性的概率有多大。在这个例子里，检测灵敏度是 99%，因此 \(P(B|A)=0.99\)。
• 证据（Evidence） \(P(B)\)：不管一个人是否患病，检测结果为阳性在总体上出现的概率。它等于“真阳性 + 假阳性”的总和： \(P(B)=0.99\times 0.01 + 0.05\times 0.99 = 0.0594\)。
• 后验（Posterior） \(P(A|B)\)：在已经看到“检测阳性”这个证据之后，此人真正患病的更新后概率。代入上面的数值，有

因此，贝叶斯定理说的不是“把公式套进去算一下”，而是一个非常具体的更新过程：先从原始信念出发，用证据对它重新加权，再归一化，得到更新后的信念。这也是为什么常把它概括成：后验 = 似然 × 先验 ÷ 证据。

这个例子最重要的结论是：检测阳性后，真实患病概率并不是 99%，而只有约 16.7%。原因不是检测太差，而是先验患病率本来就很低；假阳性虽然比例不高，但基数更大。换言之，证据不会凭空决定结论，证据必须结合基线发生率一起解释。在 AI 里，这就是“看到证据后更新信念”的统一公式：朴素贝叶斯分类、贝叶斯滤波、概率图模型都在做这件事。

这里的“分布（Distribution）”指随机变量取值的不确定性如何在取值空间上分配。严格地说，概率分布（Probability Distribution）是一种概率测度（Probability Measure），它为每个事件 \(A\) 赋予概率 \(P(A)\)。

对一维实值随机变量 \(X\)，分布最常用的统一表述是累积分布函数（Cumulative Distribution Function, CDF）\(F(x)=P(X\le x)\)。离散与连续的差别，主要体现在如何从 \(F\) 得到“点上/区间上”的概率。

不同任务对应不同的数据分布假设（Distribution Assumption）。分布选得对，建模与推断会更稳定；分布假设错得太远，参数估计、置信区间乃至损失函数解释都会失真。

若 \(X\) 是离散型随机变量，其概率质量函数（Probability Mass Function, PMF）为 \(p(x)=P(X=x)\)，并满足 \(\sum_x p(x)=1\)。

若 \(X\) 是连续型随机变量，其概率密度函数（Probability Density Function, PDF）为 \(p(x)\)，满足 \(p(x)\ge 0\) 与 \(\int_{-\infty}^{+\infty} p(x)\,dx=1\)；区间概率由积分给出：\(P(a\le X\le b)=\int_a^b p(x)\,dx\)。因此 \(p(x)\) 本身不是“点上概率”。

两者都可写成同一 CDF 关系：连续情形 \(F(x)=\int_{-\infty}^{x} p(t)\,dt\)，离散情形 \(F(x)=\sum_{t\le x} p(t)\)。

高斯分布（Gaussian / Normal Distribution）由均值 \(\mu\) 与方差 \(\sigma^2\) 决定：

它的图像是熟悉的“钟形曲线（Bell Curve）”：离 \(\mu\) 越近，概率密度越高；离得越远，概率密度衰减越快。大量独立小扰动叠加后常近似高斯（中心极限定理的结果），所以测量误差、回归残差、传感器噪声、嵌入向量某些方向上的统计近似都常采用高斯模型。

例：若成年男性身高近似服从 \(\mathcal{N}(170,6^2)\)，则 170 cm 附近最常见，而 190 cm 属于离均值超过 3 个标准差的少见样本。回归里假设残差服从高斯，本质上是在说“误差多数小、极大误差少”。

拉普拉斯分布（Laplace Distribution）也是定义在实数轴上的连续分布，常用位置参数（Location） \(\mu\) 与尺度参数（Scale） \(b>0\) 描述：

它的图像在中心点 \(\mu\) 处更尖、尾部比高斯分布更厚（Heavier Tails）。这表示模型更偏好“大多数误差很小，但偶尔出现相对较大偏差”这一类数据形状，因此它对离群点（Outliers）的容忍度通常高于高斯模型。

拉普拉斯分布和绝对误差（Absolute Error）关系非常紧密：若回归残差假设服从拉普拉斯分布，那么最大似然估计会导向 \(L_1\) 损失；若把参数先验设为拉普拉斯分布，最大后验估计则会导向 \(L_1\) 正则。这也是它在稀疏建模（Sparse Modeling）和鲁棒回归（Robust Regression）里很常见的原因。

例：若某传感器大多数时刻误差接近 0，但偶尔会因为抖动或遮挡产生较大的偏差，那么用拉普拉斯分布描述误差，往往比高斯分布更贴近这种“中心尖、尾部较厚”的统计形状。

伯努利分布（Bernoulli Distribution）描述一次二元结果试验（0/1）：

它是二分类标签建模的最小单元，也是逻辑回归与二分类交叉熵的概率基础。若 \(X\) 表示“用户是否点击广告”，则 \(X=1\) 代表点击、\(X=0\) 代表未点击，模型输出的 \(p\) 就是点击概率。

伯努利变量的期望是 \(\mathbb{E}[X]=p\)，方差是 \(p(1-p)\)。因此当 \(p\) 接近 0 或 1 时，不确定性反而更小；当 \(p=0.5\) 时，不确定性最大。

如果把同一个伯努利试验独立重复 \(n\) 次，并把成功次数加总，那么得到的就不是伯努利分布，而是二项分布（Binomial Distribution）。换句话说，伯努利分布描述“单次是否成功”，二项分布描述“总共成功了多少次”。

二项分布（Binomial Distribution）描述 \(n\) 次独立伯努利试验中的成功次数。若每次成功概率都是 \(p\)，随机变量 \(X\) 表示总成功次数，则

这里 \({n \choose k}\) 表示“从 \(n\) 次试验里选出 \(k\) 次成功”的组合数；后面的 \(p^k(1-p)^{n-k}\) 表示某一种具体排列出现的概率。两者相乘，就得到“恰好成功 \(k\) 次”的总概率。

如果 \(X_1,\dots,X_n\) 独立同分布且 \(X_i\sim\mathrm{Bernoulli}(p)\)，那么它们的和

因此，二项分布本质上就是“多个伯努利随机变量求和后的分布”。它的期望是 \(\mathbb{E}[X]=np\)，方差是 \(np(1-p)\)。

例：若一枚硬币正面概率为 \(p=0.7\)，连续抛 10 次，则“正面出现几次”服从二项分布。此时恰好出现 7 次正面的概率是

多项式分布（Multinomial Distribution）是“多类别计数版”的伯努利：进行 \(n\) 次独立试验，类别概率为 \(\mathbf{p}\)，计数向量 \(\mathbf{k}\) 的概率为

若只有一次抽样，通常写作分类分布（Categorical Distribution）：

若把一次抽样重复 \(n\) 次并统计每类出现次数，就得到多项式分布，语言模型里的词频计数、主题模型中的词袋（Bag of Words）都与这种计数视角一致。概率分布一节的第三个图就是多项式分布：总计抽样6次，横轴表示分类1的次数，纵轴表示分类2的次数（因为只有3分类，因此不需要绘制三维），颜色表示抽取到不同分类的次数组合的概率。

泊松分布（Poisson Distribution）描述单位时间或单位空间内稀有事件的发生次数：

其中 \(\lambda\) 既是平均发生次数，也是方差。它适用于“事件相互独立、平均速率稳定、短时间内多次同时发生概率很小”的场景，例如单位分钟请求数、单位小时故障数、单位页面点击数。

例：若一个接口平均每分钟收到 3 次请求，则 \(\lambda=3\)。此时一分钟内 0 次请求的概率是 \(e^{-3}\approx 0.05\)；5 次请求的概率是 \(e^{-3}3^5/5!\approx 0.10\)。泊松分布常被用来做“到达数 / 故障数 / 事件数”建模。

期望（Expectation）是随机变量的“按概率加权的平均”，回答“长期来看这个量的典型水平在哪里”。离散情形下，它把每个可能取值按对应概率加权；连续情形下，则对概率密度做积分：

期望和均值很像，但不是同一个概念。 期望（Expectation）是总体分布层面的量，由概率模型 \(p(x)\) 决定，描述“如果无限次重复抽样，平均会稳定到哪里”；均值（Mean）通常有两种语境：一是把总体的中心位置也叫“总体均值”，这时它与期望是同一个量；二是指有限样本算出来的样本均值（Sample Mean） \(\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i\)，这是用样本近似期望的统计量。

因此可以把三者关系记成：总体均值 = 期望；样本均值 = 对期望的估计。例如公平骰子点数的期望是 \(\mathbb{E}[X]=3.5\)；如果你真的掷 6 次，样本均值可能是 3、4 或 4.5，不必恰好等于 3.5，但随着试验次数增多，它会越来越接近期望。

期望最重要的性质之一是线性性（Linearity）：\(\mathbb{E}[aX+b]=a\mathbb{E}[X]+b\)，不要求独立。例：公平骰子点数 \(X\) 的期望是 \((1+2+3+4+5+6)/6=3.5\)；若收入模型写成 \(Y=2X+1\)，则 \(\mathbb{E}[Y]=2\times 3.5+1=8\)。

矩（Moment）是概率统计里用来概括分布形状的一组数。理论上，“第 \(k\) 阶”指对 \(k\) 次幂取期望：矩天然与期望/均值绑定。

常用两类定义是：

• 原点矩（Raw Moment / Non-central Moment）：\(m_k=\mathbb{E}[X^k]\)（以 0 为参照）。
• 中心矩（Central Moment）：\(\mu_k=\mathbb{E}\big[(X-\mathbb{E}[X])^k\big]\)（以均值为参照）。

直觉上可以用“跷跷板”来理解：把概率质量看作分布在数轴上的“重量”，期望/均值决定“支点放哪里”才平衡；更高阶矩描述“重量围绕支点如何分布”。

一阶矩（First Moment）回答“中心在哪里”：均值/期望 \(\mathbb{E}[X]\) 给出平衡点。但一阶矩无法刻画离散程度：例如 \(X\in\{-1,+1\}\) 与 \(X\in\{-10,+10\}\) 都满足 \(\mathbb{E}[X]=0\)，但后者离中心更远。

二阶量用平方偏差的期望刻画离散程度：平方保证非负、避免正负偏差相互抵消，并对远离均值的样本赋予更大权重。在统计里，这对应二阶中心矩——方差 \(\mathrm{Var}(X)=\mathbb{E}[(X-\mathbb{E}[X])^2]\)；在力学类比里，这与转动惯量（Moment of Inertia）中按 \(r^2\) 加权的直觉一致：远处的“重量”对系统的“难摆动/难转动”贡献更大。

二阶原点矩与方差之间满足恒等式：

它说明二阶原点矩 \(\mathbb{E}[X^2]\) 以 0 为参照，会把两类效应叠加在一起：一是分布整体离 0 的偏移（由均值项 \(\mathbb{E}[X]^2\) 表示），二是围绕自身均值的离散/抖动（由方差项 \(\mathrm{Var}(X)\) 表示）。因此 \(\mathbb{E}[X^2]\) 变大并不等价于“波动更大”；把所有取值整体平移一个常数，方差不变，但二阶原点矩会随偏移显著改变。

一个最小例子可以把差异看得非常清楚。令 \(X\) 等概率取值 \(\{99,100,101\}\)，则

可以直接读成一句话：这组数“离 0 很远”（所以 \(\mathbb{E}[X^2]\) 很大），但“围绕自身均值很稳定”（所以方差很小）。

这也解释了 Adam 里的常见误解。Adam 说的“一阶矩/二阶矩”是把 mini-batch 梯度 \(g\) 当作随机变量，分别估计 \(\mathbb{E}[g]\) 与 \(\mathbb{E}[g^2]\)（逐参数维度）。它用的是二阶原点矩 \(\mathbb{E}[g^2]\)，不是方差 \(\mathrm{Var}(g)\)。原因很直接：如果梯度在一段时间内几乎恒定（例如每步都是 \(g=10\)），那么方差为 0，拿它做除法会造成数值灾难；但 \(\mathbb{E}[g^2]=100\) 给出了稳定的“绝对尺度”，使更新项 \(\frac{\mathbb{E}[g]}{\sqrt{\mathbb{E}[g^2]}}\) 仍然是有界的（再加上 \(\epsilon\) 做数值稳定）。

方差（Variance）衡量随机变量围绕均值的波动大小。它不是“偏离均值后再平均”，而是“偏离均值的平方再平均”；平方的作用是避免正负抵消，并放大大偏差：

因此，方差小表示样本更集中在均值附近；方差大表示波动更强。它刻画的是“不确定性的尺度”，而不是取值本身的大小。例如两个模型的平均误差相同，方差更大的那个模型，输出往往更不稳定。

协方差（Covariance）描述两个变量是否倾向同向变化：

若 \(\mathrm{Cov}(X,Y)>0\)，说明 \(X\) 大时 \(Y\) 也倾向变大；若 \(\mathrm{Cov}(X,Y)<0\)，说明一个变大时另一个倾向变小。直觉例子是：身高与体重常为正协方差，室外温度与暖气功率常为负协方差。

还要区分一点：协方差为 0 不必然意味着独立。例如令 \(X\) 在 \(\{-1,1\}\) 上等概率取值，定义 \(Y=X^2\)，则 \(Y\) 被 \(X\) 完全决定，但 \(\mathrm{Cov}(X,Y)=0\)。因此“零相关”比“独立”弱得多。

协方差矩阵（Covariance Matrix）\(\Sigma\) 在 AI 中极其关键：PCA、马氏距离（Mahalanobis Distance）、卡尔曼滤波与高斯模型都直接依赖它。它编码的是“各方向上的尺度”与“不同维度之间的耦合”。

标准差（Standard Deviation）衡量数据相对均值（Mean）的离散程度（Dispersion）。总体标准差（Population Standard Deviation）定义为：

样本标准差（Sample Standard Deviation）使用贝塞尔校正（Bessel's Correction）：

先平方再平均是为了避免正负抵消并加重大偏差；最后开平方是为了把单位恢复到原始尺度。若直接用方差，单位会变成“平方单位”，解释往往不直观；标准差则可以直接说成“典型偏离均值大约多少个原始单位”。

例：数据 \(\{2,4,4,4,5,5,7,9\}\) 的均值是 \(5\)，总体方差是 \(4\)，标准差是 \(2\)。这意味着一个典型样本与均值的偏离量级大约是 2，而不是每个点都恰好偏 2。

标准差还常被用来做标准化（Standardization）。例如某考试分数 80 分，班级均值 70、标准差 5，则它的 z-score 是 \((80-70)/5=2\)，表示它比均值高 2 个标准差。近似正态分布下，经验上约有 68% 样本落在 \(\mu\pm\sigma\)，95% 落在 \(\mu\pm2\sigma\)，99.7% 落在 \(\mu\pm3\sigma\)；这就是常见的 68-95-99.7 规则。

最大似然估计（Maximum Likelihood Estimation, MLE）先把已经观察到的数据（例如上面抛硬币10次有8次正面）固定住，再在参数空间里寻找“最能生成这批数据”的参数。设数据集为 \(D=\{x_1,\dots,x_n\}\)，参数为 \(\theta\)，则定义是：

其中\(p(D|\theta)\) 是“参数取 \(\theta\) 时看到整批数据 \(D\) 的概率/密度”； \(\arg\max\) 表示“找出让这个值最大的那个参数”。

若样本独立同分布（不相关且在同一个分布，例如抛硬币中10个独立事件。Independent and Identically Distributed, i.i.d.），联合似然可以拆成单个样本似然的乘积：

于是 MLE 常写成

实际训练几乎总是改为最大化对数似然（Log-Likelihood）：

取对数不会改变最优解，因为 \(\log\) 是单调递增函数；它只是把难处理的连乘变成易处理的求和。因此，最大化似然与最小化负对数似然（Negative Log-Likelihood, NLL）完全等价。

继续看抛硬币的例子。设单次结果 \(x_i\in\{0,1\}\)，其中 1 表示正面，0 表示反面。设正面概率为 \(\theta\)，那么单个样本就服从伯努利分布（Bernoulli Distribution）。它的概率质量函数（Probability Mass Function, PMF，用于描述离散随机变量，直接给出概率。对应概率密度函数PDF，给出给定连续随机变量对应位置的密度，因为连续，特定点的概率必须为0，只能密度和变量范围积分得到概率）写成：

左边的 \(p(\cdot|\theta)\) 里的 \(p\) 是“概率分布/概率质量函数”的记号， \(\theta\) 是模型参数，也就是“正面概率”。很多教材会把参数也记成 \(p\)，写成 \(p(x_i|p)\)；这并不算错，因为参数本身就是一个概率，但两个 \(p\) 同时出现时很容易视觉混淆，所以这里改用 \(\theta\) 来区分“模型符号”和“参数符号”。

当 \(x_i=1\) 时，

当 \(x_i=0\) 时，

如果 10 次里看到 7 次正面、3 次反面，那么整批数据的似然就是：

对应的对数似然是

我们现在要最大化似然，需要对 \(\theta\) 求导并令导数为 0：

所以 \(\hat{\theta}_{\mathrm{MLE}}=0.7\)。即“在所有候选 \(\theta\) 里， \(\theta=0.7\) 最能让 7 正 3 反这份数据显得不奇怪”。

在机器学习里，损失函数往往由概率建模假设（Probabilistic Modeling Assumption）诱导出来。做法是先写下观测数据在参数 \(\theta\) 下的概率模型，再把训练集的负对数似然（Negative Log-Likelihood, NLL）当作优化目标。于是，最小化损失就不再只是一个工程规定，而是等价于最大化“已观测数据在模型下出现的可能性”。

以最常见的回归假设为例，若模型输出写成 \(f_\theta(x)\)，并假设真实标签满足

这里的高斯分布指的不是 \(y\) 本身，也不是 \(f_\theta(x)\) 本身，而是误差项，也就是残差 \(y-f_\theta(x)\) 的分布。误差总是相对于模型当前给出的预测中心 \(f_\theta(x)\) 来计算：预测值附近最可能出现，偏离越远，概率越低。

从这个误差模型出发，可以把“误差分布”直接改写成“真实标签在给定输入下的条件分布”。因为 \(\varepsilon\) 服从均值为 0 的高斯分布，所以等价地，真实标签服从一个均值为 \(f_\theta(x)\) 的高斯分布：

这条式子的含义是：给定输入 \(x\) 之后，模型并不把输出 \(y\) 看成一个确定值，而是把它看成一个以预测值 \(f_\theta(x)\) 为中心、方差为 \(\sigma^2\) 的高斯随机变量。根据高斯分布的概率密度函数，可进一步写出条件概率密度：

这时 \(p_\theta(y_i|x_i)\) 的含义就自然了：它评估的是在当前参数 \(\theta\) 下，训练集中已经观测到的真实标签 \(y_i\)，作为“围绕 \(f_\theta(x_i)\) 摆动的一个样本”是否足够合理。被评分的始终是真实观测到的 \(y_i\)，而不是模型预测出来的 \(f_\theta(x_i)\)。\(f_\theta(x_i)\) 的作用不是直接成为被评分对象，而是作为条件分布的均值或位置参数，决定观测值最可能出现的位置。

这种思路并不限于高斯回归。分类任务里，条件分布不再是高斯，而会改成 Bernoulli 或 Categorical；若把噪声假设换成拉普拉斯分布（Laplacian Distribution），则导出的损失也会从平方误差变成绝对误差。更严谨地说，损失函数是概率模型在训练集上的负对数似然写开后的结果：高斯噪声导出平方误差（Squared Error），拉普拉斯噪声导出绝对误差（Absolute Error），Bernoulli 与 Categorical 分布则导出二分类或多分类交叉熵（Cross-Entropy）。

先看监督回归（Supervised Regression）。训练集写成 \(D=\{(x_i,y_i)\}_{i=1}^N\)，其中 \(x_i\) 是输入特征，\(y_i\) 是真实输出。按照上面的统一框架，这里仍然是把 \(x_i\) 当作给定条件，只为输出建模条件分布 \(p_\theta(y|x)\)，并让真实观测到的 \(y_i\) 在模型下尽可能不意外：

这里的参数 \(\theta\) 不在 \(x_i\) 里，而是出现在假设函数 \(f_\theta(x)\) 里。例如线性回归（Linear Regression）可写成 \(f_\theta(x)=\mathbf{w}^\top x+b\)，其中 \(\theta=(\mathbf{w},b)\)。回归里常说的“高斯分布”指的不是整张训练集的 \(y\) 服从高斯分布，也不是模型预测值 \(f_\theta(x)\) 本身服从高斯分布，而是指误差项，也就是残差 \(y_i-f_\theta(x_i)\) 的分布。误差总是相对于当前模型给出的中心值 \(f_\theta(x_i)\) 来计算。

具体假设是：

等价写成条件分布：

上式的意思是：在给定输入 \(x_i\) 的条件下，输出 \(y_i\) 不再被视为确定值，而被建模为随机变量，并且服从均值为 \(f_\theta(x_i)\)、方差为 \(\sigma^2\) 的一维高斯分布（Gaussian Distribution），当然，这里的不确定性就是模型引入的。根据高斯分布的概率密度公式，并结合 i.i.d. 假设（联合似然为逐样本似然的乘积），整批数据的似然为

取负对数似然（Negative Log-Likelihood, NLL）得到训练时真正被最小化的量：

当 \(\sigma^2\) 视为常数时，第一项与 \(\theta\) 无关，因此最小化 NLL 关于 \(\theta\) 等价于最小化平方误差和（Sum of Squared Errors, SSE）：

把残差（Residual）记为 \(r_i=y_i-f_\theta(x_i)\)，则上式就是最小化 \(\sum_i r_i^2\)。因此，在“高斯噪声 + 固定方差”的回归假设下，最大化似然（等价最大化对数似然）就是最小化残差平方和。

这就是“最小二乘（Least Squares）”为什么会从概率建模里自然出现；均方误差（Mean Squared Error, MSE）只是把 SSE 再除以 \(N\)，不改变最优解。

如果 \(\sigma^2\) 也未知，则 MLE 会同时估计 \((\theta,\sigma^2)\)。在固定 \(\theta\) 时，对 \(\sigma^2\) 的 MLE 为

注意这里是 \(1/N\)（MLE），而不是无偏估计常用的 \(1/(N-1)\)。

顺带一提：把回归模型退化为“常数预测” \(f_\theta(x)\equiv \mu\)，就回到“在高斯噪声下估计均值 \(\mu\)”，其 MLE 是样本均值。这也是很多教材先从 \(x_i=\mu+\varepsilon_i\) 入手的原因：那是回归的一个最小特例（此时 \(\theta=\mu\)）。

分类任务与回归不同：标签通常是离散变量，因此这里使用的不是概率密度函数（Probability Density Function, PDF），而是概率质量函数（Probability Mass Function, PMF）。做最大似然估计时，最常见的做法同样是把输入 \(x\) 视为给定条件，只为标签建模条件分布 \(p_\theta(y|x)\)，然后让已观测标签在模型下尽可能“显得合理”。

先看二分类（Binary Classification）。设标签 \(y_i\in\{0,1\}\)，模型输出正类概率 \(\pi_\theta(x_i)=p_\theta(y_i=1|x_i)\)，则单个样本服从伯努利分布（Bernoulli Distribution）：

在 i.i.d. 假设下，整批数据的似然为

取负对数似然，得到

这正是二分类交叉熵（Binary Cross-Entropy, BCE）。因此，在“标签服从伯努利分布”的假设下，最大化似然等价于最小化二分类交叉熵。若再把 \(\pi_\theta(x)\) 写成 sigmoid 作用在 logit \(z_\theta(x)\) 上，即 \(\pi_\theta(x)=\sigma(z_\theta(x))\)，就得到工程实现里最常见的 sigmoid + BCE 训练形式。

再看多分类（Multiclass Classification）。设类别总数为 \(C\)，并用 one-hot 向量 \(y_i=(y_{i1},\dots,y_{iC})\) 表示真实标签，其中只有真实类别对应那一项为 1，其余为 0。若模型输出类别概率 \(\pi_{\theta,1}(x_i),\dots,\pi_{\theta,C}(x_i)\)，且满足 \(\sum_{c=1}^{C}\pi_{\theta,c}(x_i)=1\)，则单个样本服从类别分布（Categorical Distribution）：

整批数据的似然为

取负对数似然，得到

这正是多分类交叉熵（Categorical Cross-Entropy）。若标签是标准 one-hot，那么每个样本只会保留真实类别那一项，损失就退化成 \(-\log \pi_{\theta,c^*}(x_i)\)；若标签本身是软标签（Soft Label），则公式不变，只是 \(y_{ic}\) 不再只有 0 和 1，而是一个分布。

若回归任务不再假设误差服从高斯分布，而是假设误差项 \(\varepsilon\) 服从拉普拉斯分布（Laplacian Distribution），即

那么等价地，真实标签在给定输入后的条件分布可写成

其中 \(f_\theta(x_i)\) 是位置参数（Location Parameter），\(b\) 是尺度参数（Scale Parameter）。拉普拉斯分布的一维概率密度函数为

在 i.i.d. 假设下，整批数据的似然为

取负对数似然，得到

当 \(b\) 视为常数时，第一项与 \(\theta\) 无关，因此最小化 NLL 关于 \(\theta\) 等价于最小化绝对误差和（Sum of Absolute Errors, SAE）：

这正是平均绝对误差（Mean Absolute Error, MAE）背后的概率来源。与高斯分布相比，拉普拉斯分布在中心更尖、尾部更厚，因此它对应的损失不再像平方误差那样强烈放大大残差，而是按线性方式惩罚偏差。也正因为如此，MAE 通常比 MSE 对离群点（Outlier）更稳健。

因此，高斯分布与最小二乘、拉普拉斯分布与绝对误差、Bernoulli / Categorical 分布与交叉熵，其实是同一个统计逻辑在不同任务类型下的三种展开：先假设观测数据服从某个条件分布，再对训练集做最大似然估计；把负对数似然写开后，就得到具体的训练损失。

最大后验估计（Maximum A Posteriori, MAP）在 MLE 的“数据解释能力”之外，再加入参数的先验（Prior）信息。它选择后验概率（Posterior）最大的参数：

根据贝叶斯定理：

其中 \(p(D|\theta)\) 是似然（Likelihood）， \(p(\theta)\) 是先验， \(p(D)\) 是证据（Evidence）。因为 \(p(D)\) 与参数 \(\theta\) 无关，所以在求最大值时它只是常数，可以直接忽略：

这个式子清楚地说明了 MAP 的结构： \(\log p(D|\theta)\) 负责拟合数据， \(\log p(\theta)\) 负责约束参数不要偏离先验认知。若改写成最小化形式，则有

因此，MAP 可以理解为“负对数似然 + 先验诱导的惩罚项（Penalty）”。这也是为什么很多正则化（Regularization）能够从贝叶斯视角解释：L2 正则通常对应高斯先验，L1 正则通常对应拉普拉斯先验。若先验在可行域内与 \(\theta\) 无关（例如均匀先验： \(p(\theta)=c\)），则 \(\log p(\theta)=\log c\) 是关于 \(\theta\) 的常数；在 \(\arg\max_\theta\) 中加上或去掉这一项都不改变最优点，因此 MAP 与 MLE 给出同一组参数（若均匀先验还隐含“只在某个范围内为常数、范围外为 0”，则等价于在该范围约束下做 MLE）。

继续用抛硬币解释。现在参数已经统一记作 \(\theta\)，因此先验也写成 \(p(\theta)\)，而不再写 \(p(p)\)。若对 \(\theta\) 设 Beta 分布（Beta Distribution）先验

Beta 分布是定义在区间 \([0,1]\) 上的连续分布，最常用来描述“某个概率值本身的不确定性”，因此非常适合作为伯努利参数 \(\theta\) 的先验。

这里 \(\propto\) 表示“正比于”，意思是左边真正的概率密度函数还差一个归一化常数（Normalization Constant），这个常数负责保证密度在区间 \([0,1]\) 上积分为 1。对 MAP 而言，这个常数不影响最大值位置，所以通常省略不写。

参数 \(\alpha\) 和 \(\beta\) 控制分布形状： \(\alpha\) 越大，分布越偏向较大的 \(\theta\)； \(\beta\) 越大，分布越偏向较小的 \(\theta\)。例如 \(\mathrm{Beta}(2,2)\) 会把概率质量更多放在中间区域，表达“更倾向认为硬币接近公平”； \(\mathrm{Beta}(8,2)\) 则更偏向 \(\theta\) 接近 1。

那么它表达的是：在看到数据之前，我们已经对“硬币正面概率应该落在什么范围”有一个先验偏好。

把这个先验与 7 正 3 反的似然 \(p(D|\theta)=\theta^7(1-\theta)^3\) 相乘，得到后验：

这说明后验仍然是 Beta 分布：

众数（Mode）指的是概率密度函数最高的那个位置，也就是“这个分布最偏好的参数值”。因为 MAP 的定义本来就是寻找后验概率/后验密度最大的参数，所以当后验分布已经写出来时，MAP 估计就是这个后验分布的众数。

因为后验与 \(\theta^{7+\alpha-1}(1-\theta)^{3+\beta-1}\) 成正比，所以只需最大化这个函数。取对数后，等价目标变成

对 \(\theta\) 求导并令导数为 0：

移项并整理可得

因此，当 \(\alpha,\beta>1\) 时，Beta 分布的众数（Mode）也就是 MAP 估计。

若取 \(\mathrm{Beta}(2,2)\) 先验，则

它比 MLE 的 \(0.7\) 更靠近 \(0.5\)。原因很具体： \(\mathrm{Beta}(2,2)\) 可以理解为在真实观测之外，先额外放入了“1 次正面 + 1 次反面”的温和偏好，所以最终估计不会被7正3反的样本完全带着走。样本很少时，先验的影响明显；样本很多时，数据项占主导，MAP 会逐渐逼近 MLE。

在机器学习里，MAP 与正则化（Regularization）本质上是同一件事的两种表述。不是“随意加一个惩罚项”，而是：一旦你给参数指定先验，取负对数后，这个先验就会自动变成优化目标里的正则项。

先看一般形式。MAP 最大化的是后验概率 \(p(\theta|D)\)，等价于最小化负对数后验：

第一项 \(-\log p(D|\theta)\) 是数据拟合项，第二项 \(-\log p(\theta)\) 就是先验带来的惩罚项。因此“正则化”并不是凭空发明出来的工程技巧，而是贝叶斯先验在优化问题里的直接体现。

若参数向量 \(\theta\) 服从零均值各向同性高斯先验（Isotropic Gaussian Prior），可以写成

这里 \(\tau^2\) 控制先验方差：方差越小，越强地偏好参数靠近 0。对它取负对数得到

把常数 \(\frac{1}{2\tau^2}\) 记成 \(\lambda\)，就得到熟悉的目标：

这正是 \(L_2\) 正则。它的作用可以理解为：先验认为“大权重不太可信”，所以优化时不仅要拟合数据，还要为过大的参数付出代价。由于高斯先验在 0 附近平滑、尾部衰减快，它通常会把参数整体压小，但不特别鼓励大量参数精确等于 0。

若先验改成拉普拉斯（Laplacian）分布：

则负对数先验变成

于是 MAP 等价于最小化

这就是 \(L_1\) 正则。它与 \(L_2\) 的关键区别在于：拉普拉斯先验在 0 处尖得更厉害，因此更强地偏好很多参数直接变成 0，也就是产生稀疏性（Sparsity）。

所以可以把对应关系记成一条很清楚的链：高斯先验对应 \(L_2\)，拉普拉斯先验对应 \(L_1\)；正则项的形状，本质上就是先验密度形状的负对数。很多看起来像“人为添加的惩罚项”，其实都可以解释为“在做 MAP”。

这里的分布假设有两个不同落点。若假设的是数据误差或残差 \(\epsilon\) 的分布，它进入的是似然 \(p(D|\theta)\)，决定数据拟合项的形状；若假设的是参数 \(\theta\) 自身的分布，它进入的是先验 \(p(\theta)\)，决定正则项的形状。前者回答“数据会怎样围绕模型波动”，后者回答“参数本身更可能落在什么区域”。

因此，高斯和拉普拉斯并不只用于描述数据集。高斯残差假设会把负对数似然化成平方误差，拉普拉斯残差假设会把负对数似然化成绝对误差；与此同时，零均值高斯参数先验会把负对数先验化成 \(L_2\) 正则，零均值拉普拉斯参数先验会把负对数先验化成 \(L_1\) 正则。它们使用的是同一类分布族，但一个作用在数据项 \(p(D|\theta)\)，一个作用在参数项 \(p(\theta)\)。

大数定律说明：当独立同分布样本越来越多时，样本平均会稳定地靠近真实期望（Expectation）。若 \(X_1,\dots,X_n\) 独立同分布，且 \(\mathbb{E}[X]\) 存在，则

这里的重点是“平均值会稳定下来”，而不是“每一次新观测都会让结果更接近真值”。它描述的是长期趋势：样本量越大，随机波动在平均过程中被不断抵消，样本平均就越不容易偏离真实期望太远。

最经典的例子是抛公平硬币。设正面记为 1、反面记为 0，则单次试验的期望是 \(\mathbb{E}[X]=0.5\)。前几次抛掷时，正面比例可能是 1、0、0.67、0.25，波动很大；但抛掷次数达到几百、几千次后，样本平均 \(\bar{X}\) 会越来越稳定地靠近 0.5。大数定律回答的是“为什么频率会稳定到概率附近”。

中心极限定理（Central Limit Theorem, CLT）描述的是：在独立同分布且方差有限的条件下，样本均值经过适当标准化后，会趋近于正态分布（Normal Distribution）。它给出的不是“平均值最终落到哪里”的结论，而是“平均值围绕真值波动时，波动形状如何分布”的规律。

因此，中心极限定理讨论的重点不是“均值会不会收敛”，而是样本均值在真值附近如何波动，以及这种波动的分布长什么样。标准写法是：

这里 \(\mu=\mathbb{E}[X]\) 是总体均值， \(\sigma^2=\mathrm{Var}(X)\) 是总体方差。所谓标准化（Standardization），就是先减去均值 \(\mu\)，把中心移到 0；再除以标准差 \(\sigma\)，把尺度统一成“多少个标准差”；再乘上 \(\sqrt{n}\)，把样本均值随着样本量增大而缩小的波动重新放回可比较的尺度。标准化之后，不同样本量下的波动可以放到同一个参考系里比较。

所谓方差有限，就是随机变量的波动强度不是无限大，满足 \(\mathrm{Var}(X)<\infty\)。直观上，这意味着样本虽然会波动，但不会被极端值以“无限强”的方式主导。像伯努利分布、二项分布、泊松分布、均匀分布和高斯分布都满足这个条件；而某些重尾分布则可能不满足，因此不能直接套用最基础的 CLT 表述。

为什么要乘上 \(\sqrt{n}\)？因为样本均值的波动规模大约是 \(\sigma/\sqrt{n}\)：样本越多，均值越稳定。如果不乘 \(\sqrt{n}\)，当 \(n\) 增大时， \(\bar{X}-\mu\) 会越来越接近 0，看不出其分布形状；乘上 \(\sqrt{n}\) 后，波动被拉回到常数量级，才会显现出稳定的正态极限。

继续看硬币例子。设 \(X_i\in\{0,1\}\) 且正面概率为 0.5，则 \(\mu=0.5\)， \(\sigma^2=0.25\)，标准差 \(\sigma=0.5\)。CLT 说的是：

例如当 \(n=100\) 时，正面比例 \(\bar{X}\) 的标准差大约是 \(0.5/\sqrt{100}=0.05\)。这意味着正面比例通常会落在 \(0.5\pm 0.1\) 这一量级附近；更精确地，用正态近似可写成

上图是样本量分别为1, 5, 20, 100的Bernoulli(0.5)分布，分别进行了30000轮测试，绘制的（每轮）标准化后的分布，可以看到样本量足够多时，其均值倾向于向中心（未标准化前的0.5对应此伯努利分布的总体均值）靠近。

所以 CLT 回答的是“为什么很多统计量在样本足够大时会近似高斯”，而 LLN 回答的是“为什么样本平均会逼近真值”。前者给出分布近似，后者给出收敛结论。置信区间、显著性检验、A/B test 和 mini-batch 梯度噪声分析，主要依赖的是 CLT 提供的近似正态性。

置信度（Confidence Level）与置信区间（Confidence Interval）属于统计推断（Statistical Inference）中的区间估计（Interval Estimation）。它们处理的不是“样本本身长什么样”，而是在只看到一批有限样本时，怎样给未知总体参数画出一个有覆盖保证的范围。在机器学习实验、A/B test、离线评测和指标报表里，样本均值、准确率、点击率、转化率和误差率后面常跟着一个区间，这个区间就是区间估计的产物。

若目标是估计总体均值 \(\mu\)，样本均值为 \(\bar{X}\)，且样本量足够大或总体近似正态，那么基于中心极限定理，可以构造近似的双侧置信区间：

若总体标准差 \(\sigma\) 未知，而样本来自正态总体或样本量适中且使用样本标准差 \(s\) 近似，则常写作：

这里每个元素的含义分别是：

• \(\bar{X}\)：样本均值（Sample Mean），是当前样本对总体均值的点估计（Point Estimate）。
• \(n\)：样本量（Sample Size）。样本越多，区间通常越窄。
• \(\sigma\)：总体标准差（Population Standard Deviation）；若未知，常用样本标准差 \(s\) 替代。
• \(\frac{\sigma}{\sqrt{n}}\) 或 \(\frac{s}{\sqrt{n}}\)：标准误（Standard Error），表示样本均值本身的波动尺度，而不是单个样本点的波动。
• \(\alpha\)：显著性水平（Significance Level）。若置信度为 95%，则 \(\alpha=0.05\)。
• \(z_{1-\alpha/2}\)：标准正态分布的分位数（Quantile）；95% 置信度时大约是 \(1.96\)。
• \(t_{1-\alpha/2,\,n-1}\)：Student t 分布的分位数，带有 \(n-1\) 个自由度（Degrees of Freedom），用于总体方差未知时。

在这个表达式里，置信区间 指的是最终得到的区间本身，例如 \([1.8,2.4]\)；置信度 指的是构造这个区间的方法在重复抽样下的长期覆盖率，例如 95%、99%。因此，95% 置信区间的严格含义是：如果用同一种抽样方式和同一种区间构造公式反复重复实验，那么大约 95% 的区间会覆盖真实参数。

这一定义有一个极其重要的解释边界。总体参数 \(\mu\) 在经典频率学派（Frequentist）统计里被视为固定但未知的常数；随机的是样本，因此随机的是区间端点。样本一旦观察完成，这次得到的区间要么覆盖 \(\mu\)，要么不覆盖，概率意义已经不再施加在参数本身上。于是，95% 置信度描述的是区间构造程序的长期可靠性，而不是“参数有 95% 概率落在这次区间里”的后验概率表述。

置信度并不局限于连续分布。它的定义依赖的是“重复抽样下的覆盖率”，而不是总体分布是否连续。对伯努利分布（Bernoulli Distribution）、二项分布（Binomial Distribution）、泊松分布（Poisson Distribution）这类离散分布，同样可以对参数构造 95% 或 99% 的区间估计。例如对二项分布中的成功概率 \(p\)，就可以根据观测到的成功次数构造 \(p\) 的置信区间；若参数或目标对象不是一维连续量，更宽泛的名称则是置信集合（Confidence Set）。

离散分布与连续分布的差别不在“能不能谈置信度”，而在于区间构造的细节。连续情形下，区间端点可以较平滑地调节到目标覆盖率附近；离散情形下，统计量只能取离散值，覆盖率往往无法恰好等于名义值，例如正好 95%，而常常只能做到“不低于 95%”。因此，离散分布里的精确区间常带有一定保守性（Conservativeness）：区间更宽一些，但覆盖保证更稳。这也是为什么在离散统计推断里，除了近似正态区间外，还常见 Clopper–Pearson 这类精确区间构造方法。

一个具体例子最容易说明这两个概念。设某模型在 100 次独立测试中的平均准确率估计为 \(\bar{X}=0.82\)，样本标准差为 \(s=0.10\)。若采用近似 95% 置信区间，可写成：

于是区间约为：

这里 \([0.8004,0.8396]\) 是置信区间，95% 是置信度。它表示：按这种抽样和构造方式长期重复下去，约 95% 的此类区间会覆盖真实平均准确率；这次具体得到的这个区间只是其中一个实现结果。

区间宽度主要由三个因素共同决定：

• 样本波动越大，即 \(\sigma\) 或 \(s\) 越大，区间越宽。
• 样本量越大，即 \(n\) 越大，标准误越小，区间越窄。
• 置信度越高，例如从 95% 提高到 99%，对应分位数更大，区间也会变宽。

因此，置信区间是在样本有限时对参数估计可靠性的定量表达；置信度则是这套区间构造方法愿意给出的覆盖承诺。两者必须一起理解：只有区间没有置信度，范围没有统计保证；只有置信度没有区间，覆盖承诺也无法落到具体参数估计上。

前面讨论的随机变量（Random Variable）通常只对应一次不确定试验，例如抛一次硬币、测一次身高、抽取一个样本标签。随机过程（Stochastic Process）则讨论一串彼此有关、按时间或空间索引起来的随机变量。它适合描述会随时间演化的不确定系统，例如天气变化、股价波动、队列长度、用户行为序列、传感器读数，以及自然语言中的 token 序列。

形式上，随机过程可记为：

这里 \(T\) 是索引集合（Index Set），常表示时间； \(X_t\) 是时刻 \(t\) 的随机变量。若 \(T=\{0,1,2,\dots\}\)，过程是离散时间（Discrete-time）的；若 \(T=[0,\infty)\)，过程则是连续时间（Continuous-time）的。每个 \(X_t\) 都有自己的分布，但更重要的是这些随机变量之间的联合分布（Joint Distribution）与依赖结构，因为随机过程关心的不是“某一时刻单独会怎样”，而是“整个序列怎样一起变化”。

从结果形态看，一次随机过程的实现不再是一个点，而是一条轨迹（Trajectory）或样本路径（Sample Path）。例如，设 \(X_t\) 表示第 \(t\) 天的气温，那么一次观测得到的是一整段温度序列 \((X_1,X_2,\dots,X_T)\)；若 \(X_t\) 表示语言模型在位置 \(t\) 生成的 token，那么一次实现就是一整句文本。

随机过程之所以在机器学习里重要，是因为很多任务天生就是时序问题。时间序列预测关心未来值如何演化，隐马尔可夫模型（Hidden Markov Model, HMM）关心隐藏状态如何随时间转移，强化学习关心状态—动作—奖励序列怎样展开，自回归语言模型则是在建模 token 序列的联合概率。因此，随机过程可以看作“把单个随机变量扩展到整条时间轴上的概率建模语言”。

马尔可夫性（Markov Property）讨论的是随机过程中的“记忆如何被压缩”。它刻画这样一种情形：如果当前状态已经把与未来演化有关的信息概括完整，那么预测下一步时就不再需要显式回看更久的历史。在这种表示下，过去对未来的影响已经通过当前状态被浓缩进来了。

设随机过程为 \(\{X_t\}_{t=0}^{\infty}\)，其中 \(X_t\) 表示时刻 \(t\) 的随机状态。若它满足一阶马尔可夫性，则有：

这条式子的含义是：在已经知道当前状态 \(X_t\) 的前提下，再额外知道更早的历史 \(X_{t-1},\dots,X_0\)，不会改变对下一时刻 \(X_{t+1}\) 的条件分布判断。左边是“条件在完整历史上的下一步分布”，右边是“条件在当前状态上的下一步分布”；两者相等，正是马尔可夫性的定义。

一个直接例子是天气变化。若把每天的天气记作随机变量 \(X_t\)，状态空间为 \(\{\text{晴},\text{阴},\text{雨}\}\)，那么常见建模假设是：明天是否下雨主要由今天的天气决定，而不需要把更早几天的天气逐项保留。此时“当前天气”就扮演了压缩历史信息的状态摘要。若今天是雨天，明天继续下雨的概率可以较大；若今天是晴天，明天下雨的概率可以较小。这种“只通过当前状态决定下一步分布”的结构，就是马尔可夫性。

满足马尔可夫性的随机过程，称为马尔可夫过程（Markov Process）或马尔可夫链（Markov Chain，离散时间、有限或可数状态时的常见名称）。因此，马尔可夫性是一个性质，马尔可夫过程是满足该性质的一类随机过程。若状态空间有限，常把一步转移概率写成转移矩阵（Transition Matrix） \(P\)，其中：

这里 \(P_{ij}\) 表示“当前在状态 \(i\) 时，下一步转移到状态 \(j\) 的概率”。矩阵的每一行对应当前状态固定后的下一步分布，因此每一行元素都非负，且行和为 1。

马尔可夫过程之所以重要，是因为它把一个潜在上非常复杂的时序依赖问题，压缩成了局部转移规律。隐马尔可夫模型（Hidden Markov Model, HMM）、马尔可夫决策过程（Markov Decision Process, MDP）、很多时间序列状态模型，以及强化学习中的环境状态转移，都建立在这一思想之上。它们的差别不在于是否使用马尔可夫性，而在于：状态是否可见、是否存在动作、是否附带奖励，以及是否只关心下一步还是关心长期回报。

马尔可夫性是一种建模假设，不是自然界自动保证的真理。若“当前状态”定义得不充分，历史信息就没有被真正压缩进去，此时过程在这个状态表示下就不具有马尔可夫性。例如，仅用“当前股价”预测明天走势通常不够，因为成交量、市场情绪、宏观事件等信息并未包含在状态中；但若把更完整的市场状态向量一并纳入，马尔可夫近似会更合理。因此，马尔可夫性的关键不只是公式，而是当前状态是否足以成为过去对未来影响的充分摘要。

熵（Entropy）刻画一个概率分布的不确定性（Uncertainty）。对离散分布 \(p\)：

把 \(-\log p(x)\) 理解为“事件 \(x\) 的信息量（Information Content）/惊奇”，熵就是它的期望值：越均匀的分布越难预测，熵越大；越尖锐（某个事件概率接近 1）的分布越确定，熵越小。

例：若 \(p\) 在 \(K\) 个类别上均匀（\(p_i=1/K\)），则

对数底决定单位：以 \(\log_2\) 为底单位是比特（Bits），以自然对数为底单位是纳特（Nats）。

语言也能帮助建立对熵的直觉。以字符为单位时，汉字集合更大，单个常用字符的平均出现概率往往更低，因此 \(-\log p(x)\) 更大；同时，汉语序列里的下一字符通常也更难直接预测，所以常给人“字符级信息更密、熵更高”的直觉。对比之下，韩语的字符系统更小，序列模式也通常更规则，下一字符更容易预测，因此字符级冗余感更强、熵的直觉更低。

若再做一个极粗略的字符级估算：把常用汉字集合近似看作 \(V=3000\)、把韩文字母集合近似看作 \(V=40\)，并暂时假设“下一字符”在各自词表上均匀分布，则最大熵分别约为 \(\log_2 3000\approx 11.55\) bits 与 \(\log_2 40\approx 5.32\) bits。这对应的就是：词表越大、单符号平均概率越低，单位符号的潜在信息量上界越高。

KL 散度（Kullback–Leibler Divergence）衡量两个分布之间的“相对熵”（Relative Entropy）。对离散分布 \(p,q\)：

它满足 \(D_{\mathrm{KL}}(p\|q)\ge 0\)，且当且仅当 \(p=q\) 时取 0；但它一般不对称（Asymmetric），即 \(D_{\mathrm{KL}}(p\|q)\ne D_{\mathrm{KL}}(q\|p)\)。信息论解释是：用 \(q\) 的码本去编码来自 \(p\) 的样本，会额外多付出多少平均码长。

在机器学习里，KL 常作为正则项出现，例如把新策略/新模型约束在参考分布附近（KL Regularization）。

交叉熵（Cross Entropy）是信息论里衡量“用分布 \(q\) 去编码来自分布 \(p\) 的样本”所需平均信息量的量。这里 \(p\) 是真实分布（True Distribution）/数据分布， \(q\) 是模型分布（Model Distribution）/预测分布：

当 \(p\) 固定时，最小化 \(H(p,q)\) 等价于最小化 KL 散度（Kullback–Leibler Divergence）：

分类问题里，真实标签通常用 one-hot 分布表示，这会把交叉熵简化成对“真实类别概率”的负对数：交叉熵损失（Cross-Entropy Loss）本质上就是负对数似然（Negative Log-Likelihood）。

“信息量为什么和概率有关？”因为在最优编码（Optimal Coding）里，一个事件 \(x\) 的最短平均码长与 \(-\log p(x)\) 同阶；以 \(\log_2\) 为底时单位是比特（Bits），以自然对数为底时单位是纳特（Nats）。熵（Entropy）就是期望信息量。

一个具体例子：设真实分布 \(p=(0.5,0.5)\)，模型分布 \(q=(0.9,0.1)\)，则

而真实熵 \(H(p)=-0.5\log 0.5-0.5\log 0.5\approx 0.693\)，两者的差就是 \(D_{\mathrm{KL}}(p\|q)\approx 0.511\)：模型越“错得自信”，KL 越大：

惊奇（Surprise）/信息量是针对单个事件的度量：若事件 \(x\) 的概率为 \(p(x)\)，则

概率越小，惊奇越大；概率越大，惊奇越小。在语言建模里，若当前模型参数已经固定，那么真实 token 的 \(-\log p_\theta(y_t|c_t)\) 本质上是该 token 的负对数概率，也就是它的“惊奇”。这里 \(c_t\) 表示当前位置之前的上下文， \(y_t\) 表示当前位置真实出现的 token。若把同一个式子看成关于参数 \(\theta\) 的函数，它又是该 token 对参数的负对数似然（Negative Log-Likelihood, NLL）。因此这里的“惊奇”和 token-level NLL 在数值上是同一个对象，只是视角不同。如果再按各个事件的真实概率对这种“惊奇”做加权平均，得到的就是熵（Entropy）：\(H(X)=\mathbb{E}[-\log p(X)]\)。换句话说，惊奇是单个事件的信息量，熵是这种信息量在整个分布下的期望。

困惑度（Perplexity）把“平均惊奇”指数化，得到一个更直观的尺度：可把它理解为模型在每一步预测时的“有效分支数（Effective Branching Factor）”。对长度为 \(N\) 的 token 序列，模型给出的条件概率是 \(q(x_t|x_{<t})\)，则平均 NLL（也就是交叉熵）为：

若使用自然对数，困惑度定义为：

因此：分布越均匀（更不确定），熵越高，平均惊奇越大，困惑度也越高。注意困惑度强烈依赖 tokenization 与评测语料，跨不同分词器/词表直接比较往往没有意义。

这一节处理的核心问题是：当面对搜索、更新、统计、调度、最短路径、依赖分析或训练流水线等任务时，数据应该怎样组织，操作应该怎样执行，才能既正确又高效。数据结构（Data Structure）决定“数据在内存里如何表示”，算法（Algorithm）决定“在这种表示上如何完成查询、插入、删除、遍历、排序与优化”。很多系统性能问题，本质上不是算力不足，而是底层组织方式与操作方式不匹配。

可以把它理解成“仓库布局与搬运规则”的组合：同样一批货物，若排成连续货架、串成链式节点、组织成树状目录，或连接成路网，后续的查找、插入、合并与运输成本会完全不同。现代 AI 工程虽然把注意力集中在模型上，但数据加载器、特征流水线、参数缓存、向量检索、计算图调度、图学习和索引系统，最终都建立在这些基础结构之上。

复杂度表只给出渐近上界，不能直接替代工程判断。真实系统还要同时考虑缓存友好性（Cache Locality）、常数项、并发开销、内存占用和实现复杂度。例如链表在理论上支持常数时间插入，但它对 CPU 缓存并不友好；数组在理论上中间插入较慢，但顺序扫描极快，因此在现代硬件上经常更有优势。

数组（Array）处理的核心问题是：当元素类型一致、数量可以按顺序编号时，如何支持最低成本的随机访问与批量扫描。它的关键性质是连续内存（Contiguous Memory）。若每个元素大小为 \(s\)，首地址为 \(\text{base}\)，则第 \(i\) 个元素地址为

这个式子说明数组访问为何是 \(O(1)\)：位置可以直接计算，不需要沿指针逐步跳转。矩阵、张量、mini-batch、时间序列缓存、本地特征块和 embedding 表中的一行，本质上都依赖这种“地址可算”的结构。

数组的代价也非常明确：若在中间插入或删除元素，后面的元素必须整体搬移，因此复杂度通常是 \(O(n)\)。这意味着数组适合“读多写少、顺序稳定”的任务，不适合“在任意位置频繁插入”的任务。

动态数组（Dynamic Array）是在数组上的工程扩展：容量不足时申请更大的连续空间，把原有元素整体拷贝过去，再继续追加。一次扩容代价很高，但若容量按倍数增长，则追加操作的均摊（Amortized）复杂度仍可视为 \(O(1)\)。Python 的 list、C++ 的 vector、Java 的 ArrayList 都遵循这一思想。

直觉上，数组像按编号排好的货架：拿第 137 件货非常快，但若要把一件货塞进中间，后面整排货物都要整体后移。

链表（Linked List）处理的是另一类问题：当序列顺序经常变化时，能否避免数组那样的大规模搬移。链表不要求连续内存，而是让每个节点（Node）保存数据和指向下一个节点的指针（Pointer）；双向链表（Doubly Linked List）还会额外保存前驱指针。

若已经拿到某个节点的位置，那么在其前后插入或删除节点只需要调整局部指针，代价通常是 \(O(1)\)。但链表无法像数组那样通过下标直接定位第 \(i\) 个元素，查找往往必须从头逐个走过去，因此通常是 \(O(n)\)。

链表适合做“结构改动频繁、定位方式不是按下标而是按已有节点句柄”的任务。例如 LRU 缓存中，经常需要把刚访问的元素移到头部；若配合哈希表记录节点位置，链表就能高效完成重排。

链表像一串用绳子串起来的标签。改顺序很方便，但想直接摸到第 500 个标签，就只能沿着绳子一个个数过去。

栈（Stack）定义的是一种后进先出（Last In First Out, LIFO）的访问约束。它处理的问题不是“怎样存更多数据”，而是“怎样强制最近进入的状态最先退出”。典型操作包括入栈 push、出栈 pop 与查看栈顶 top，它们都发生在同一端，因此实现代价通常是 \(O(1)\)。

函数调用栈、递归回溯、表达式求值、括号匹配、深度优先搜索中的显式状态保存，都依赖这种结构。其本质是把“尚未处理完的上下文”按嵌套顺序压起来，等内部任务结束后再按相反顺序恢复。

单调栈（Monotonic Stack）是栈在算法中的重要变体。它通过维护一个单调递增或单调递减的栈，把“下一个更大元素”“柱状图最大矩形”等问题从 \(O(n^2)\) 降到 \(O(n)\)。原因在于每个元素最多入栈和出栈各一次。

队列（Queue）定义的是先进先出（First In First Out, FIFO）的访问约束。进入得早的元素先被处理，后来进入的元素排在尾部等待。它适合表达“任务排队、波前扩张、按到达顺序消费”的过程。

广度优先搜索（Breadth-First Search, BFS）之所以使用队列，正是因为 BFS 要按距离层层扩展：先处理距离起点为 1 的节点，再处理距离为 2 的节点。这个“分层推进”机制与 FIFO 完全一致。

循环队列（Circular Queue）通过把底层数组首尾相连，可以避免频繁搬移；双端队列（Deque）则允许两端都做插入和删除，因此能够支持滑动窗口最值、0-1 BFS 等更复杂的算法模式。

哈希表（Hash Table）处理的核心问题是：当数据按“键（Key）”组织，而不是按位置组织时，如何快速找到对应的值（Value）。其思想是先通过哈希函数（Hash Function）把键映射成一个整数，再把这个整数映射到桶（Bucket）或槽位（Slot）上。

若哈希函数分布均匀，且装载因子（Load Factor）控制合理，则查找、插入和删除的平均复杂度都可接近 \(O(1)\)。这正是词表映射、去重、缓存索引、参数名字典和特征 ID 映射大量采用哈希表的原因。

哈希表的难点在冲突（Collision）处理。多个键可能映射到同一位置，常见解决方案包括链地址法（Separate Chaining）和开放定址法（Open Addressing）。因此“哈希表平均 \(O(1)\)”并不意味着永远常数时间，它依赖于哈希函数质量、负载控制和冲突处理策略。

Bloom Filter 本质上属于概率型数据结构（Probabilistic Data Structure），更准确地说，是一种近似集合成员查询结构（Approximate Membership Query, AMQ）。它解决的问题并不是“把元素精确存下来”，而是“用极小内存快速判断某元素是否可能出现过”。因此它通常作为哈希表、数据库索引或缓存系统之前的一层预过滤结构。

Bloom Filter 由一个长度为 \(m\) 的比特数组 \(B\in\{0,1\}^m\) 和 \(k\) 个哈希函数 \(h_1,\dots,h_k\) 构成，其中每个哈希函数都把元素 \(x\) 映射到区间 \(\{0,1,\dots,m-1\}\) 中的一个位置。插入元素 \(x\) 时，执行

查询元素 \(x\) 时，检查 \(B[h_1(x)],\dots,B[h_k(x)]\)。只要其中至少有一个位置为 0，就可以断定 \(x\) 一定不在集合中；若这些位置全部为 1，则只能说明 \(x\) 可能在集合中。

这一定义直接带来 Bloom Filter 最重要的判定性质：它允许假阳性（False Positive），但不允许假阴性（False Negative）。原因在于，不同元素可能把同一批 bit 位置反复置为 1，于是一个从未插入过的元素也可能“碰巧”命中全 1；但只要某个位置仍为 0，就说明没有任何已插入元素覆盖过这条哈希路径，因此该元素一定不存在。

设一共插入了 \(n\) 个元素，则某个 bit 在所有插入结束后仍为 0 的概率近似为 \(\left(1-\frac{1}{m}\right)^{kn}\approx e^{-kn/m}\)。于是查询一个未出现元素时， \(k\) 个位置恰好都为 1 的假阳性概率近似为

这里 \(m\) 是 bit 数组长度， \(n\) 是已插入元素数， \(k\) 是哈希函数数目， \(p\) 是假阳性概率。这个公式揭示了 Bloom Filter 的基本权衡： \(m\) 越大，冲突越少； \(n\) 越大，数组越接近被“染满”； \(k\) 太小会降低区分能力，太大则会过度占满 bit 位。固定 \(m\) 与 \(n\) 时，常见的近似最优选择是

直觉上，Bloom Filter 像一排共享的指示灯。每来一个元素，就按亮若干盏灯；查询时，只要对应灯中有一盏没亮，就可以确认它从未出现过。若全部亮着，也只能说明“这些灯曾被某些元素点亮过”，却不能保证就是当前这个元素点亮的。

Bloom Filter 最适合用于“先快速排除绝大多数不存在项，再把少量可疑项交给精确结构复核”的场景。例如缓存系统可先判断某个 key 是否可能在缓存中，若 Bloom Filter 直接给出“不在”，就可以避免无意义回源；LSM-Tree 存储系统可用它判断某个键是否可能存在于某个 SSTable；爬虫去重、黑名单预过滤、向量检索候选预筛都大量使用这一思想。

Bloom Filter 的边界也很明确。第一，它不保存原始元素，因此不能枚举集合内容，也不能像哈希表那样返回关联值。第二，标准 Bloom Filter 不支持安全删除，因为把某个 bit 清零可能误伤其他元素留下的痕迹；若确实需要删除，通常要改用计数 Bloom Filter（Counting Bloom Filter）。第三，当假阳性代价非常高、系统需要完全精确的成员判断时，应优先使用哈希表、B 树或其他精确索引结构。

树（Tree）处理的是“层次结构”和“递归划分”问题。树中的节点之间具有父子关系，除了根节点（Root）外，每个节点都有唯一父节点。它天然适合表达目录层级、决策分裂、区间划分、优先级组织与前缀共享。

树之所以重要，在于它把原本线性的搜索空间组织成递归结构，使很多操作能通过“向左还是向右”“进入哪个子树”逐步缩小问题规模。若每次都能把候选空间缩小到原来的一半，复杂度就会从线性级下降到对数级。

二叉树（Binary Tree）规定每个节点至多有两个孩子。前序遍历（Preorder）、中序遍历（Inorder）、后序遍历（Postorder）和层序遍历（Level-order）分别对应不同的信息读取顺序：前序适合序列化结构，中序适合读取二叉搜索树中的有序键，后序适合先处理子问题再合并，层序适合按深度观察整体形状。

二叉搜索树（Binary Search Tree, BST）在每个节点上保持“左子树键值更小、右子树键值更大”的顺序约束，因此查找、插入和删除都可以沿着比较路径进行。若树高度为 \(h\)，这些操作的复杂度一般与 \(O(h)\) 成正比。

问题在于普通 BST 在极端情况下会退化成链表，此时 \(h=n\)。平衡树（Balanced Tree）如 AVL 树、红黑树（Red-Black Tree）通过旋转（Rotation）维护高度受控，使 \(h=O(\log n)\)，从而把查找、插入和删除稳定在对数复杂度。数据库索引和有序映射容器大量依赖这一思想。

堆（Heap）维护的是局部顺序，而不是整棵树的全局有序性：在最小堆（Min-Heap）中，每个父节点都不大于子节点，因此根节点始终是全局最小值；最大堆（Max-Heap）则相反。它通常用数组实现，父子下标关系可以直接计算。

堆最适合实现优先队列（Priority Queue）：每次都要快速取出当前最重要、最小或最大的元素时，插入和弹出都只需 \(O(\log n)\)。Dijkstra、A* 搜索、任务调度、Top-K 维护和流式中位数都大量依赖优先队列。

Trie 树（Prefix Tree）把字符串按前缀共享组织起来。若插入单词集合 \(\{w_1,\dots,w_m\}\)，公共前缀只存一次，因此“是否存在某个前缀”“以某前缀开头的词有多少”都可以沿字符路径直接完成。

Trie 特别适合词典匹配、自动补全、敏感词过滤和子词切分。它牺牲了一部分空间，换来按字符长度而非按词典规模进行搜索的能力。

图（Graph）处理的是最一般的关系结构。若顶点集合为 \(V\)，边集合为 \(E\)，则图可写成 \(G=(V,E)\)。树本质上是图的一个特殊子类，但图允许环、允许多条连接、允许方向和权重，因此能表达社交关系、知识链接、网页跳转、道路网络、依赖图与神经网络计算图。

图的常见表示方式有邻接矩阵（Adjacency Matrix）和邻接表（Adjacency List）。前者适合稠密图，能 \(O(1)\) 判断两点是否相连；后者适合稀疏图，空间复杂度更低，遍历邻居更高效。

广度优先搜索（BFS）与深度优先搜索（DFS）是图遍历的两种基本组织方式。BFS 使用队列按层推进，适合无权最短路、层次扩展与最少步数问题；DFS 使用递归或显式栈沿一条路径尽量走深，适合回溯、环检测、拓扑排序、强连通分量与树形动态规划。

对邻接表表示的图，两者的时间复杂度通常都是 \(O(|V|+|E|)\)。区别不在渐近复杂度，而在访问顺序：BFS 保证按距离层层扩展，DFS 更擅长描述“先深入、后回退”的结构性问题。

最短路径（Shortest Path）问题处理的是：从起点到终点，总代价最小的路径是什么。若图无权，BFS 就能得到边数最少的路径；若边权非负，常用 Dijkstra 算法。它每次从优先队列中取出当前距离估计最小的顶点，并尝试松弛（Relax）相邻边。

Dijkstra 的核心更新为

其中 \(\mathrm{dist}[u]\) 是当前已知的从源点到 \(u\) 的最短距离估计， \(w(u,v)\) 是边权。这个公式表达的是最短路的本质：若“先到 \(u\)，再走到 \(v\)”更便宜，就更新对 \(v\) 的距离认知。

拓扑排序（Topological Sort）处理的是有向无环图（Directed Acyclic Graph, DAG）中的依赖顺序。若边 \(u\to v\) 表示“\(u\) 必须先于 \(v\)”，那么拓扑序就是一种满足全部先后约束的线性排列。

课程先修关系、编译依赖、工作流调度、神经网络计算图执行次序，本质上都属于这一问题。拓扑排序的价值不只是“排出一个顺序”，而是把依赖图转成一条能够实际执行的流水线。

最小生成树（Minimum Spanning Tree, MST）处理的是这样的问题：给定一个连通无向带权图 \(G=(V,E)\)，需要从边集合 \(E\) 中选出一部分边，把所有顶点连成一个整体，同时不产生环，并使总权重最小。若把所有生成树的集合记为 \(\mathcal{T}(G)\)，则标准形式可以写成

其中 \(T^*\) 是最优生成树；\(w(e)\) 是边 \(e\) 的权重；\(\sum_{e\in T} w(e)\) 表示树中全部边的总代价。这里的“生成树”有三个同时成立的约束：第一， \(T\subseteq E\)；第二，图在边集 \(T\) 下必须连通；第三， \(T\) 不能含环，因此边数必然满足 \(|T|=|V|-1\)。

这个定义明确了 MST 不是“找一棵看上去便宜的树”，而是在所有能够覆盖全部顶点的无环连通方案中做全局最小化。只强调“连通”会多出冗余边，只强调“边权小”又可能导致图不连通；MST 同时满足这两个条件。

直觉上，可以把 MST 理解成“以最低总造价把一组城市接通，但不修多余的回路”。如果形成了环，说明这条网络中至少有一条边是重复支出；如果某些城市没有接入，说明方案根本不可用。MST 就是在“全覆盖”和“最低成本”之间取得最紧的平衡。

MST 成立的核心理论基础是割性质（Cut Property）：把顶点集切成两个不相交部分后，跨越这个切分的最小权边，一定存在于某棵最小生成树中。这个性质的含义是：局部最便宜的“安全边（Safe Edge）”可以被逐步加入，而不会破坏全局最优性。Prim 与 Kruskal 虽然组织方式不同，但本质上都在不断选择这样的安全边。

Prim 算法的思路是“从一个起点向外生长一棵树”。设当前已经纳入树中的顶点集合为 \(S\)，则 Prim 每一步都在所有满足 \(u\in S,\ v\notin S\) 的边中，选择权重最小的一条，把新顶点接入当前树。这个过程像不断把新城市接入已经建好的主干网，因此特别适合用优先队列维护“当前边界上最便宜的边”。若图用邻接表存储并配合二叉堆实现优先队列，时间复杂度通常为 \(O(|E|\log |V|)\)。

Kruskal 算法的思路是“按全图范围从便宜到昂贵依次选边”。它先对所有边按权重升序排序，然后从小到大扫描：若当前边连接的是两个不同连通块，就把它加入结果；若会在当前结构中形成环，就跳过。为了高效判断“两个端点是否已经连通”，Kruskal 通常配合并查集（Disjoint Set Union, DSU）。排序代价主导总复杂度，因此复杂度通常写成 \(O(|E|\log |E|)\)，与 \(O(|E|\log |V|)\) 在数量级上接近。

两种算法解决的是同一个优化问题，但适合的工程语境不同。Prim 更像“从局部网络不断扩张”，适合稠密图或从某个核心节点逐步向外建设的场景；Kruskal 更像“全局看所有候选边，再逐一合并连通块”，在边集天然可排序、图较稀疏时实现尤其直接。

一个最小例子可以把公式和过程连起来。设四个顶点 \(A,B,C,D\)，边权为： \(w(A,B)=1\)， \(w(B,C)=2\)， \(w(A,C)=4\)， \(w(B,D)=3\)， \(w(C,D)=5\)。Kruskal 会先按边权排序： \((A,B),(B,C),(B,D),(A,C),(C,D)\)。前 3 条边分别把 \(A\) 与 \(B\)、 \(B\) 与 \(C\)、 \(B\) 与 \(D\) 连起来，此时已经得到 \(|V|-1=3\) 条边，且图连通无环，于是生成树为

其总代价为

若改选边集 \(\{(A,B),(A,C),(B,D)\}\)，总代价是 \(1+4+3=8\)；若再加入 \((B,C)\)，虽然成本局部看不高，但边数会超过 \(|V|-1\) 并形成环，因此不再是树。这个例子把“最低成本”“连通”“无环”三项约束如何同时生效展示得很清楚。

MST 常见于网络布线、电力传输、骨架路网设计、图像分割、聚类和图压缩。层次聚类中的单链接（Single Linkage）就可以通过图的最小生成树来理解：先把点看成顶点，把样本间距离看成边权，再在 MST 上剪断最长的若干条边，就得到若干连通簇。这也是为什么 MST 不只是图论题型，而是很多数据分析与机器学习方法的底层结构。

MST 也有明确边界。它只适用于无向、连通、带权图上的“全连通最低总成本”问题；若任务要求的是“从源点到其余点的最短路”，应使用最短路径算法；若图有方向，目标就不再是普通 MST，而会进入最小树形图（Minimum Arborescence）等更复杂的问题。

动态规划（Dynamic Programming, DP）处理的是这样一类问题：目标是求一个全局最优值、最优路径，或所有路径的总和，但如果直接把所有可能性全部枚举出来，计算量会迅速爆炸。它常见于序列决策、路径规划、字符串匹配、图搜索，以及隐马尔可夫模型（HMM）、条件随机场（CRF）这类结构化预测模型。

这类问题通常有两个共同特征。第一，重叠子问题（Overlapping Subproblems）：同一个中间子问题会被反复计算。第二，最优子结构（Optimal Substructure）：大问题的最优解可以由小问题的最优解递推得到。例如，在长度为 \(T\) 的序列上，若每一步有 \(|\mathcal{S}|\) 个可能状态，直接枚举所有状态路径往往需要考虑 \(|\mathcal{S}|^T\) 条候选路径；当 \(T\) 稍大时，这种暴力方法几乎不可用。

动态规划的核心在于：先定义能够代表子问题的状态，再写出状态之间的递推关系，并把已经算过的结果缓存下来复用。因此，它本质上是一种计算组织方式，而不是某个固定公式。

一个直观比喻是出差换乘。设想要从起点出发，经过很多站点，最终到达目的地。暴力法会把“到达每一站的所有走法”全部记下来；动态规划不会这样做。它只会为每个中间站保留一份最有价值的摘要，例如“到达这个站的最低成本”或“到达这个站的最大得分”。当继续前往下一站时，系统只需要查这份账本，而不必回头展开所有历史路径。

因此，动态规划通常包含四个步骤：定义状态、定义边界条件、写出转移方程、确定计算顺序。状态定义决定“中间结果要存什么”；边界条件决定“第一步从哪里开始”；转移方程决定“当前结果如何从更小问题得到”；计算顺序则保证所有依赖项在使用前已经计算完毕。

动态规划能够丢弃大量“暂时看起来不够好”的前缀路径，前提是状态（State）已经完整刻画了未来决策所需的全部信息。一旦这个条件成立，到达同一状态的两条前缀路径，未来能够接上的可行后缀集合完全相同，因此只需要保留其中更优的那一条。

设两条前缀路径都到达同一状态 \(s\)，其当前累计代价分别为 \(f_1(s)\) 与 \(f_2(s)\)，且 \(f_1(s)\le f_2(s)\)。若从状态 \(s\) 出发，后续任意可行决策产生的附加代价记为 \(g(s)\)，并且这个附加代价只由当前状态决定，而不再依赖此前的完整历史，则有

这个不等式表明：在同一状态上，较差的前缀会被较优前缀完全支配（Dominated）。无论后面接哪一段后缀路径，较差前缀都不可能反超。因此 Bellman 最优性原理允许动态规划只保留“到达该状态的最优值”，而不必保留全部历史路径。

所谓“一个当前次优的路径，后来却通向全局最优”，本质上对应另一种情形：这条路径与当前更优路径虽然看起来到达了同一个位置，但它们对未来的可行动作并不相同。此时它们实际上并不属于同一个状态，而是状态定义缺失了关键信息。

一个典型例子是带资源约束的路径规划。若状态只写成当前位置 \((i,j)\)，那么两条到达同一格子的路径会被合并；但若其中一条还保留一次传送机会，另一条已经把传送用掉，则它们未来的决策空间显然不同。正确的状态应扩展为 \((i,j,\mathrm{used})\) 或 \((i,j,\mathrm{fuel})\) 这类更完整的形式。只有在状态把“剩余资源、上一步动作、已使用预算、是否持仓”等会影响未来的因素都编码进去后，动态规划的剪枝才是安全的。

因此，动态规划处理“局部次优可能导向全局最优”的方式，不是保留所有看起来有潜力的路径，而是通过正确设计状态，使真正会影响未来的差异体现在不同状态上。同一状态内部只保留最优前缀；不同状态之间分别递推。动态规划的正确性，最终依赖的正是这一点：未来只依赖当前状态，而不依赖通向当前状态的完整历史。

若记 \(t\) 为阶段或时间步， \(s\) 为当前状态，一个非常典型的动态规划写法是：

这条式子表达的是：要得到“第 \(t\) 步处于状态 \(s\) 时的最优值”，不必重新枚举所有完整路径，而是只需查看所有能够转移到 \(s\) 的前驱状态 \(s'\)，并在它们已有的最优值基础上，加上这一步的局部得分，再从中取最大。

• \(\mathrm{DP}[t,s]\)：第 \(t\) 步、状态为 \(s\) 的最优子问题值。
• \(\mathrm{Prev}(s)\)：所有可以转移到状态 \(s\) 的前驱状态集合。
• \(\mathrm{score}(s',s,t)\)：从 \(s'\) 转移到 \(s\) 时，在第 \(t\) 步新增的局部得分或代价。
• \(\max\)：表示当前任务要找“最好的一条路径”。若任务目标是最小代价，则可改为 \(\min\)；若任务目标是把所有路径概率加总，则可改为 \(\sum\)。

边界条件通常写成：

其中 \(\mathrm{init}(s)\) 表示序列从状态 \(s\) 开始的初始代价或初始分数， \(\mathrm{local}(s,1)\) 表示第一步在该状态产生的局部贡献。没有这个起点，后续递推就无从展开。

动态规划真正带来的收益来自复杂度压缩。以一阶序列模型为例，若每一步有 \(|\mathcal{S}|\) 个候选状态、总长度为 \(T\)，暴力枚举往往需要考虑 \(|\mathcal{S}|^T\) 条完整路径；而若采用“时间步 + 当前状态”的动态规划状态定义，则通常只需在每个时间步枚举所有前驱状态，计算复杂度可以降为 \(O(T|\mathcal{S}|^2)\)。这种从指数级到多项式级的下降，正是动态规划在序列模型中不可替代的原因。

若任务不仅要求最优值，还要求恢复最优路径，则通常还会额外保存“当前最优值来自哪个前驱状态”的回溯信息（Backpointer）。这意味着动态规划不仅能回答“最优值是多少”，还能回答“这条最优路径具体怎么走”。

更重要的是，动态规划并不只对应一种运算。对于最优路径问题，递推中的核心运算往往是 \(\max\) 或 \(\min\)；对于总概率、配分函数这类问题，核心运算则是 \(\sum\)。这也是为什么 HMM 的维特比算法、前向算法，以及 CRF 的前向后向算法，虽然目标不同，但都属于动态规划。

在 HMM 中，动态规划最典型地体现在两类问题上。第一类是维特比算法（Viterbi Algorithm）：它要求“给定观测序列后，哪一条隐藏状态路径最可能”，因此递推中的核心运算是 \(\max\)。第二类是前向算法（Forward Algorithm）：它要求“所有隐藏状态路径合起来，总概率是多少”，因此递推中的核心运算是 \(\sum\)。两者使用的是同一张状态网格，只是“每一步如何聚合前驱信息”不同。

在 CRF 中，动态规划同样是核心计算工具。训练时，需要对所有可能标签路径做归一化，这对应配分函数（Partition Function）的计算；解码时，需要找得分最高的那条标签路径，这对应最优路径搜索。在线性链 CRF 中，这两件事都可以通过“时间步 + 当前标签”的动态规划状态来高效完成，否则若直接枚举所有标签序列，计算量会随序列长度呈指数增长。

因此，在机器学习语境里，动态规划可以概括为：把原本必须整体枚举的结构化问题，改写成一系列局部状态上的递推计算，并通过缓存中间结果把重复计算消掉。一旦看到“序列路径很多、局部决策可递推、同类子问题会重复出现”这三个信号，通常就应该优先考虑动态规划。

设字符串 \(A=a_1a_2\dots a_m\) 与 \(B=b_1b_2\dots b_n\)。编辑距离要回答的问题是：至少经过多少次插入、删除、替换，才能把 \(A\) 变成 \(B\)。若直接枚举所有编辑序列，可能性会指数增长；但若定义 \(\mathrm{DP}[i,j]\) 表示“把 \(A\) 的前 \(i\) 个字符变成 \(B\) 的前 \(j\) 个字符所需的最小编辑次数”，问题就能递推解决。

这里三项分别对应：删除 \(a_i\)、插入 \(b_j\)、或把 \(a_i\) 替换成 \(b_j\)（若本来相同，则替换代价为 0）。边界条件是 \(\mathrm{DP}[0,j]=j\)、\(\mathrm{DP}[i,0]=i\)，因为空串变成长度为 \(j\) 的串需要做 \(j\) 次插入，反之需要做 \(i\) 次删除。这个例子非常典型地体现了动态规划：状态是前缀长度，转移是三种编辑操作，目标是求最小总代价。

设一个 \(m\times n\) 网格，每个格子 \((i,j)\) 都有进入代价 \(w_{i,j}\)，只能向右或向下移动。问题是：从左上角走到右下角的最小总代价是多少。若定义 \(\mathrm{DP}[i,j]\) 表示“到达格子 \((i,j)\) 的最小总代价”，则递推很直接：

因为到达 \((i,j)\) 只有两种可能：从上方 \((i-1,j)\) 走下来，或从左侧 \((i,j-1)\) 走过来。边界条件是第一行与第一列只能沿单一路径累计。这个例子说明，动态规划并不局限于字符串或序列模型；只要问题具有“局部来源有限、全局目标可递推”的结构，就可以用同样的思路求解。

贪心算法（Greedy Algorithm）处理的是这样一类问题：希望快速构造一个全局可行解，并且每一步都只做当前看来最优的局部选择，而不回头修改已经作出的决定。它广泛出现在排序、调度、压缩、近似优化，以及许多机器学习训练与推断流程中。

贪心的核心假设是：当前最好的局部选择，能够导向全局最优，或至少导向足够好的近似解。它像走山路时每一步都先选眼前最高、最稳的落脚点，而不是先把整座山的所有路径都完全规划出来。贪心的优势是快、简单、容易实现；风险是局部最优未必等于全局最优。

若记第 \(t\) 步可选动作集合为 \(\mathcal{A}_t\)，一个抽象的贪心选择可写为：

这里 \(\mathrm{score}(a\mid \text{current state})\) 是当前状态下动作 \(a\) 的局部收益；\(\arg\max\) 表示从所有可选动作里挑出得分最高的那个。贪心算法关心的是“眼下哪一步最好”，而不是“未来所有步骤联合起来后哪条完整路径最好”。

因此，贪心方法是否正确，取决于问题本身是否满足贪心选择性质（Greedy-choice Property）。如果这个性质成立，局部最优就能拼成全局最优；如果不成立，贪心通常只能作为启发式方法或近似算法。

决策树训练就是一个典型例子。每个节点都不会提前规划整棵树的全局最优结构，而是只在当前节点上选择信息增益、基尼下降或误差下降最大的切分。这个过程本质上就是贪心：每一步都先把当前最值得切的地方切开。它训练快、解释性强，但也正因为是局部选择，单棵树通常不是全局最优树结构。

分治算法（Divide and Conquer）处理的是“大问题可以被拆成若干个同结构小问题”的场景。它广泛出现在排序、搜索、矩阵运算、索引构建，以及大规模数据处理与并行计算中。

分治的思想可以概括为三步：分解（Divide）— 递归求解（Conquer）— 合并（Combine）。它像整理一大堆文档时，先按主题拆成若干小堆，再分别处理，最后再合并成有序结果。与动态规划不同，分治更强调“子问题相互独立”，而不是“子问题结果需要反复复用”。

分治算法的时间复杂度常写成递推式：

这里 \(n\) 是问题规模；\(a\) 表示被拆成多少个子问题；\(n/b\) 是每个子问题的规模；\(f(n)\) 是“分解 + 合并”本身的额外代价。这个式子不告诉我们具体怎么做，但它准确描述了分治算法的结构骨架。

例如，归并排序（Merge Sort）把长度为 \(n\) 的数组分成两个规模约为 \(n/2\) 的子数组，递归排好序后再线性合并，因此它的复杂度递推就是 \(T(n)=2T(n/2)+O(n)\)。

在机器学习工程中，分治思想常见于大规模近邻索引构建。例如构建 kd-tree 时，算法会按某个维度把样本集递归切成两半，再在左右子集上继续构树。这样得到的层次化空间划分，能显著加速后续的近邻搜索。它的本质并不是“学习一个模型”，而是通过递归拆分把原本需要全表扫描的搜索过程组织得更高效。

许多软件与机器学习问题都可以抽象成图（Graph）：节点（Node）表示状态、样本、词、网页或知识实体，边（Edge）表示转移、相似性、依赖关系或可达关系。图搜索与最短路径算法要回答的问题是：如何从起点高效找到目标节点，或找到总代价最小的一条路径。

图搜索的核心是“沿着边扩展状态空间，但尽量避免无意义的重复探索”。无权图最短路径常用广度优先搜索（BFS），因为它按层扩展，第一次到达目标通常就是步数最少的路径；带非负权图常用 Dijkstra，因为它总是优先扩展当前总代价最小的候选节点。

带权最短路径算法里的基本更新步骤通常写成“松弛（Relaxation）”：

这里 \(\mathrm{dist}(u)\) 是当前已知从起点到节点 \(u\) 的最小代价， \(w(u,v)\) 是边 \(u\rightarrow v\) 的权重， \(\mathrm{dist}(u)+w(u,v)\) 则是“先到 \(u\) 再走到 \(v\)”这条新候选路径的总代价。若它比当前记录的 \(\mathrm{dist}(v)\) 更小，就更新。

这个式子看起来和动态规划很像，原因是二者都在做“由已知子结果递推新结果”。区别在于：图搜索更强调如何选择下一个要扩展的节点，以及如何在一般图结构中避免重复访问。

在语音识别、机器翻译和图搜索推断中，解码过程经常会把候选状态组织成图或格（Lattice）。此时，寻找最优输出序列本质上就是图上的路径搜索问题。很多动态规划解码器也可以从“图上最优路径”的角度理解，因此图搜索是连接通用软件算法与结构化机器学习推断的重要桥梁。

二分查找（Binary Search）处理的是“搜索空间有序，或可行性判断具有单调性”的问题。它不仅用于有序数组查找，也广泛用于阈值搜索、参数调优、数值逼近和工程系统中的边界定位。

二分查找的核心是：每次利用单调性砍掉一半搜索空间。它像猜数字游戏：如果知道答案一定在某个区间里，而且中点左侧和右侧满足不同性质，那么每问一次都能把候选范围减半。

若当前搜索区间为 \([l,r]\)，中点通常取：

接着依据单调判定函数 \(\mathrm{check}(\mathrm{mid})\) 缩小区间：

• 若 \(\mathrm{check}(\mathrm{mid})\) 为真，说明答案在左半边或恰好是中点，则令 \(r=\mathrm{mid}\)。
• 若为假，说明答案在右半边，则令 \(l=\mathrm{mid}+1\)。

算法正确性的关键不在于公式本身，而在于维护区间不变式（Invariant）：在每一步更新后，真正的答案仍然留在当前区间中。

在机器学习里，二分查找常用于阈值定位。例如，当需要找到“使召回率至少达到某个目标值的最小分类阈值”时，只要阈值越大召回率越低这一单调关系成立，就可以在阈值区间上做二分查找，而不必逐点穷举。类似地，很多数值求根、超参数边界搜索、分位数定位问题也都可写成二分框架。

随机采样（Random Sampling）处理的是这样一类问题：总体太大、精确计算太贵，或者目标本身就是概率性的，因此只能通过抽样近似整体行为。它是统计学习、蒙特卡洛估计、bootstrap、自助重采样、mini-batch 训练和负采样的共同基础。

随机采样的核心是：不必每次都看完整总体，而是通过足够有代表性的随机子样本估计总体性质。它像民意调查：不可能每天逐个询问所有人，但若抽样方式合理，少量样本也能给出相对稳定的总体估计。

若目标是估计随机变量 \(X\) 下某个函数 \(f(X)\) 的期望 \(\mathbb{E}[f(X)]\)，最常见的蒙特卡洛估计写为：

这里 \(x_i\sim p(x)\) 表示样本 \(x_i\) 是按分布 \(p(x)\) 随机抽到的； \(n\) 是样本数； \(\hat{\mu}\) 是用样本均值近似真实期望的估计量。样本越多，估计通常越稳定，但代价也越高。

这一思想在机器学习里非常普遍：SGD 不是每次都在全量数据上算梯度，而是用 mini-batch 的样本均值近似全数据梯度；negative sampling 不是对所有负类都求和，而是随机抽一小部分负样本近似完整目标。

bootstrap 是一个很典型的例子。随机森林训练时，会对原始训练集做有放回采样，得到多份不同的 bootstrap 子集，再分别训练多棵树。这里真正起作用的不是“树”本身，而是随机采样制造了多个略有差异的数据视角，从而让集成后的模型更稳。

机器学习基础概念（Machine Learning Foundations）回答四类核心问题：数据从哪里来、模型在学什么、模型为什么能泛化、结果该如何评价。把这些问题分开看，会比死记算法名称更有效：学习范式决定监督信号来自哪里，假设空间与归纳偏置决定模型愿意相信什么，数据集工程决定模型实际看到了什么，模型评估决定这些学习结果是否真的能迁移到未见样本。

这四个词描述的是同一条“训练=优化”的概念链，但位于不同层级。把层级理清后，公式与实现会自然对齐：模型 \(f_\theta\) 先给出预测，再用损失函数把预测变成数值误差，最后把误差在数据集上汇总成代价函数，并加入正则/约束得到最终的目标函数。

假设函数（Hypothesis Function）也常被直接称为模型（Model）或预测函数（Predictor），记作 \(f_\theta\)。它回答的问题是：给定输入 \(x\)，模型输出什么。参数 \(\theta\) 决定这条映射的具体形状。

线性回归（Linear Regression）的假设函数是最经典的例子：

目标函数（Objective Function）记作 \(J(\theta)\)，是优化器真正要优化的函数。工程上最常见、也最清晰的写法是：目标函数 = 代价函数 + 正则化项（没有正则化时可视为正则项为 0，因此 \(J(\theta)=L(\theta)\)）。

在线性回归里，若用 L2 正则（Ridge / Weight Decay），常见目标函数可以写成：

把 \(L(\theta)\) 展开后，就是：

代价函数/成本函数（Cost Function）记作 \(L(\theta)\)，通常指把样本损失在训练集上做平均或求和后的整体量，也就是经验风险（Empirical Risk）。不少教材会把它直接称为训练损失（training loss），并且在不引起歧义时把它与目标函数混用。

在线性回归里，常用“均方误差的平均”作为代价函数：

把 \(\ell_i(\theta)\) 取为平方误差后，等价写法是：

损失函数（Loss Function）记作 \(\ell\)，通常定义在单个样本上，把“预测与目标的差距”映射为一个标量。它回答的问题是：这一条样本我错了多少。

在线性回归里，最常见的单样本损失是平方误差：

同一份训练数据，之所以会被不同模型学出完全不同的规律，根源在于每个模型都自带一套“允许学什么、不允许学什么”的结构约束。假设空间（Hypothesis Space）、模型容量（Model Capacity）与归纳偏置（Inductive Bias）共同描述的，就是这套约束。

假设空间（Hypothesis Space）是模型可表达函数的集合，常记为 \(\mathcal{H}\)：

这里 \(f_\theta\) 是由参数 \(\theta\) 决定的预测函数， \(\Theta\) 是参数可取的范围。这个定义的关键不在于“参数有多少”，而在于模型最终允许出现哪些映射形状。例如，一元线性回归的假设空间只包含直线；二次多项式回归的假设空间包含抛物线；深度神经网络的假设空间则更大，能表示复杂得多的非线性函数。

因此，训练并不是在所有可能函数中盲目搜索，而是在某个特定假设空间里找一个最合适的函数。假设空间太小，真实规律可能根本装不进去；假设空间太大，模型又容易把偶然噪声也解释成模式。

模型容量（Model Capacity）描述的是假设空间的表达能力有多强，也就是模型能拟合多复杂规律。容量高，不代表一定更好；它只表示模型“有能力”表示复杂函数。是否真的学得好，还取决于数据量、正则化、优化过程和任务本身。

容量可以从多个角度理解。参数更多通常意味着容量更高，但这不是唯一标准；树的深度、核方法的核函数形式、特征维度、网络层数、隐藏维度、注意力头数，都会改变容量。工程上常用一个朴素判断：如果模型连训练集主要结构都拟合不了，容量偏低；如果训练集几乎完美、验证集却明显变差，容量往往偏高或约束不足。

容量与复杂度控制始终是一组平衡。表格数据上的浅层树模型可能已经足够；图像、语音、自然语言这类高度复杂任务，则通常需要更高容量的模型族。容量本身不是缺点，关键在于它是否与数据规模和任务难度匹配。

归纳偏置（Inductive Bias）是模型在有限样本下从已见数据推广到未见数据时，默认采用的结构性偏好。只靠训练集上有限个点，无法唯一确定整个输入空间上的函数；模型之所以还能做出泛化判断，是因为它隐含地偏好某些解释，而排斥另一些解释。

把学习目标写成经验风险最小化时，这一点会更清楚：

这里 \(\hat R_n(f)\) 是经验风险（Empirical Risk），表示函数 \(f\) 在训练集上的平均损失； \(\hat f\) 是最终选出的模型。关键约束正是 \(f\in\mathcal{H}\)：优化并不是在所有可能函数中找最优解，而是在一个被模型结构预先限制过的空间里找解。这个限制本身就是归纳偏置。

归纳偏置的来源很多。线性模型偏好线性关系；KNN（K-Nearest Neighbors）偏好局部相似样本给出相似输出；卷积神经网络（CNN）偏好局部连接与平移等变（Translation Equivariance）；树模型偏好分段常数的轴对齐切分；Transformer 则偏好通过注意力在 token 之间建立可变依赖。正则化、数据增强、参数共享、预训练初始化、优化器的更新轨迹，也都会进一步塑造模型的归纳偏置。

在统计学习（Statistical Learning）里，训练目标可以从三个层次来理解：期望风险（Expected Risk）描述模型在真实数据分布上的平均误差；经验风险（Empirical Risk）描述模型在有限训练集上的平均误差；结构风险（Structural Risk）则在经验风险之外，把模型复杂度一并纳入考虑。三者回答的是同一个问题的不同版本：模型到底应该怎样才算“学得好”。

期望风险也常被称为真实风险（True Risk）或总体风险（Population Risk）。若真实数据来自未知分布 \(P(X,Y)\)，模型为 \(f\)，单样本损失为 \(\ell(f(x),y)\)，则期望风险定义为：

这条式子的含义很直接：把模型放到所有可能出现的真实样本上，计算平均损失。理论上，这才是机器学习真正想最小化的对象，因为泛化能力最终取决于模型在未知数据上的表现，而不是只取决于训练集上的表现。

困难在于，真实分布 \(P(X,Y)\) 并不可见。训练时手里只有有限样本，而没有“全体可能数据”的上帝视角。因此，期望风险通常不能被直接计算，只能被估计。

经验风险是用训练集对期望风险做出的现实近似。设训练集为 \(\mathcal{D}=\{(x_i,y_i)\}_{i=1}^{n}\)，则经验风险定义为：

它就是模型在当前这批已观测样本上的平均损失。工程上常见的 training loss，本质上反映的正是经验风险，或它的 mini-batch 近似。经验风险最小化（Empirical Risk Minimization, ERM）的训练逻辑也很朴素：既然期望风险不可直接计算，就先把训练集上的平均损失压低。

ERM 的关键前提是：训练集足够代表真实分布。当样本数量增加且采样足够合理时，经验风险通常会更接近期望风险；但在有限样本条件下，两者并不相等。二者之间的差距，本质上就是泛化误差（Generalization Gap）的来源。若模型只是把训练集中的偶然模式、局部噪声和标注误差也一并记住，那么 \(\hat R_n(f)\) 可以很低，而 \(R(f)\) 仍然很高，这正是过拟合（Overfitting）的典型形式。

结构风险（Structural Risk）是在经验风险之外，再把模型复杂度或假设空间规模纳入考虑的目标。它对应的思想是结构风险最小化（Structural Risk Minimization, SRM）：模型不仅要在训练集上拟合得好，还要避免复杂到足以随意记忆有限样本。

在统计学习理论的严格表述中，SRM 常写成在一族嵌套假设空间之间做选择；在工程实践里，它更常以“经验风险 + 复杂度惩罚”的形式出现，例如：

这里 \(\Omega(f)\) 是复杂度项（Complexity Penalty）， \(\lambda\) 控制数据拟合与复杂度约束之间的权衡。L2 正则化（L2 Regularization）、L1 正则化（L1 Regularization）、Weight Decay、早停（Early Stopping）以及对模型深度、宽度和树复杂度的限制，都可以看作结构风险最小化思想的具体实现。

因此，结构风险并不是对经验风险的否定，而是对 ERM 的补充：在有限样本条件下，仅仅把训练误差压到最低，并不能保证模型在真实分布上表现最好。模型必须同时控制复杂度，才能让“训练集上学到的规律”更有机会迁移到未见样本。

这三者共同构成了机器学习里最基本的张力。期望风险是理论上真正想优化的目标，但它不可直接见；经验风险是训练时可观测、可优化的替代量；结构风险则提醒我们，有限样本下不能把“训练集表现更好”直接等同于“真实世界表现更好”。换句话说，监督学习不仅是在找一个拟合训练集的函数，更是在有限数据和有限模型约束下，寻找一个最可能泛化的解释。

从这里继续往下，就会自然出现另一个问题：如果高维真实数据本身就带有强结构约束，那么经验风险为何常能在有限样本下逼近期望风险，模型又为何能够泛化到未见样本？流形假设（Manifold Hypothesis）正是对这个问题的一条几何回答：真实数据并不会任意填满整个高维空间，而是集中在某个低维、连续、受约束的结构附近。

流形假设（Manifold Hypothesis）给出了现代机器学习里一条极其重要的几何直觉：现实世界中有意义的数据，虽然表面上嵌在极高维空间里，但真正有效的变化自由度通常远低于表观维度。也就是说，高维观测往往不是填满整个空间，而是集中分布在一个低维流形（Low-dimensional Manifold）附近。

图像是最容易理解的例子。一个 \(1024\times 1024\) 的 RGB 图像在像素空间中维度极高，但自然图像并不会均匀占据这个巨大空间：物体形状、光照条件、视角变化、相机成像规律与纹理结构都受到强约束。因此，“像真实猫照片”的图像实际上只落在高维像素空间中的极小区域里。文本也类似。一个长度为 \(T\) 的 token 序列组合数极其巨大，但真正同时符合语法、语义和任务约束的文本，只占离散组合空间中很小的一部分。模型之所以能够泛化，一个重要原因正是：它并不需要学会覆盖整个高维空间，而只需要学会沿着这些低维结构建模。

流形（Manifold）首先是一个几何对象。它的关键性质不是“弯不弯”，而是局部上看起来像普通的低维欧几里得空间，整体上却可以弯曲、卷曲并嵌入到更高维空间中。更正式地说，若一个集合对其上每一点，都存在一个足够小的邻域，可以用 \(\mathbb{R}^d\) 中的局部坐标平滑描述，那么这个集合就可以看作一个 \(d\) 维流形。

地球表面是最直观的例子。站在操场或街道上时，局部地面几乎是平的，可以用二维坐标定位；但从整体看，地球表面显然不是二维平面，而是嵌入三维空间中的弯曲曲面。因此，地球表面就是一个嵌在三维空间里的二维流形。对只能沿地面运动的观察者而言，真正相关的不是三维空间全部坐标，而是地表上那两个局部自由度。

机器学习教材里常见的瑞士卷（Swiss Roll）把这个概念进一步可视化。可以先想象一张二维纸，再把它卷进三维空间。卷起来之后，样本点在外部看来落在三维空间里，但沿着纸面定位某一点时，真正需要的仍然只是二维坐标。外在维度变高了，内在结构却没有变。这正是流形概念在机器学习里最重要的几何直觉：数据的表观维度可以很高，但它的内在维度却可能很低。

这类卷曲结构还带来另一个机器学习里非常关键的后果：嵌入空间中的欧氏距离（Euclidean Distance）与流形上的测地距离（Geodesic Distance）并不一定一致。两点在外部空间里看起来可能很近，因为一条直线可以直接“穿过空气”连接它们；但若真实数据只能沿流形本身变化，那么真正相关的距离应当是沿曲面或曲线走过去的那条路径长度。流形学习（Manifold Learning）之所以强调邻域图、测地近似和局部结构，正是因为外部直线距离经常不能反映数据在内在结构上的真实远近关系。

放到高维数据上，这个判断尤其关键。一张 \(1000\times1000\) 的灰度图像在像素空间里有一百万维，但“真实人脸图像”显然不会填满整个一百万维空间。姿态、光照、表情、年龄、拍摄距离等因素彼此耦合，使真实样本只落在高维像素空间中一个极薄、极小、受连续约束的区域附近。文本也是同样的逻辑：虽然 token 组合空间极其巨大，但真正同时满足语法、语义、上下文与任务约束的句子，只会沿着某种低维结构变化，而不会任意填满整个离散组合空间。

因此，在机器学习语境中谈流形，真正想表达的并不是完整搬运微分几何的全部形式系统，而是一个更直接的判断：有意义的数据并不会随机散落在高维空间中，而是集中在某个低维、连续、受约束的结构附近。后面关于自由度、主成分、隐空间、低维近似以及 LoRA 任务子空间的讨论，都是围绕这个判断展开的不同形式化视角。

沿着前面“表观维度高、内在结构低”的判断继续往下走，就会自然落到自由度（Degrees of Freedom）这个概念上。表观维度说的是“数据在形式上有多少个坐标轴”；自由度说的是“这些数据实际上有多少种彼此独立的有效变化方式”。二者并不相同。一个对象可以嵌在极高维空间里，但真正能变化的自由度却很少。

例如，一张脸部图片在像素空间里有数百万维，但很多像素并不能独立随意变化：头部转向、光照强弱、表情变化、年龄纹理、拍摄距离这些因素彼此耦合，共同决定了大部分像素的联动变化。因此，“一张脸”看起来是高维数组，真正支配它变化的自由度却远小于像素总数。文本也一样。句子表面上由许多 token 组成，但语法结构、主题、语气、说话者意图与上下文约束，使它不可能在每个位置上完全独立自由地变化。

这也是流形假设真正重要的地方：它不是抽象地说“数据在低维流形上”，而是在说有效自由度远少于表观维度。一旦把这层理解清楚，后面关于主成分、隐空间、隐主题、低秩近似乃至 LoRA 的很多思想都会变得顺理成章，因为它们都在试图用更少的自由度，去抓住决定数据或参数变化的核心结构。

一旦接受了“高维数据实际靠近低维结构”这一点，后面许多术语就会自然连起来。主成分（Principal Components）强调几何视角：在一组高维数据里，哪些方向承载了最主要的变化。隐空间（Latent Space）强调表示视角：把原始高维观测压缩到一个更低维、但仍保留关键信息的内部空间。隐主题（Latent Topics）则更偏语义视角：在文本与文档分解里，低维方向常常可以被解释为若干潜在语义因素，例如“体育”“金融”“法律”这类人类能命名的主题轴。

这三个词并不完全同义，但常常指向同一个底层事实：高维观测可以通过少数主导方向或潜在因子来近似描述。主成分更强调方差最大的坐标轴；隐空间更强调模型内部那间低维“房间”；隐主题则是在某些任务里，对这些低维方向做出的语义解释。它们分别对应几何、表示与语义三种语言，但共享同一条低维结构主线。

PCA（Principal Component Analysis）是这条思路最经典、也最直接的算法形式。它在无监督条件下寻找方差最大的几个方向，并把数据投影到这些方向张成的低维子空间中。若数据矩阵为 \(X\)，PCA 本质上是在找一个低维线性子空间，使投影后的重建误差尽量小。在线性代数上，这与奇异值分解（SVD）直接对应：保留最大的前 \(r\) 个奇异值及其奇异向量，就得到最佳的 rank-\(r\) 近似。

这类思想并不只存在于经典降维里。自动编码器（Autoencoder）通过瓶颈层学习隐空间；潜在语义分析（Latent Semantic Analysis, LSA）和主题模型在文档-词矩阵里抽取潜在主题；词向量、句向量与深度表示模型把高维离散符号压缩到稠密向量空间。它们的目标函数和可解释性不同，但都默认：原始高维观测背后存在一个更低维、更有结构的变化空间。

LoRA（Low-Rank Adaptation）通过把参数更新 \(\Delta W\) 限制在一个低秩子空间中，实现对大模型的参数高效微调（PEFT）。它的核心做法不是直接改写原始权重矩阵的全部自由度，而是把更新写成两个低秩矩阵的乘积：

LoRA 应放在“低维结构”这条主线上理解，但不能把它与 PCA 直接等同。它的核心不是对输入数据做主成分分析，而是对模型参数更新施加低秩约束。

这个约束的含义是：模型不能在完整高维参数空间中任意改动，而只能在一个 rank-\(r\) 的低维更新子空间里移动。从思想上看，它确实与“只保留主导方向”高度相似；若事后对某个全量更新矩阵做 SVD，最佳低秩近似也会只保留最主要的奇异方向。但 LoRA 学到的并不是传统 PCA 意义上“数据方差最大”的主成分，而是对当前任务损失下降最有用的低维更新方向。前者是无监督的统计主轴，后者是由反向传播和任务目标共同决定的优化子空间。

因此，把 LoRA 理解为“逼迫模型只在少数主导方向上修改参数”是成立的；但这些方向更准确地说是任务相关的低维适配方向，而不是直接等同于原始数据的 PCA 主成分。也正因为如此，LoRA 与内在维度（Intrinsic Dimension）讨论天然相连：如果一个下游任务真正需要修改的有效自由度本来就不高，那么让模型只在一个低秩子空间里更新，不仅不会显著损失性能，反而会自动抑制大量无意义的噪声方向。

这里先按监督信号来源划分学习范式。监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、自监督学习（Self-supervised Learning）和强化学习（Reinforcement Learning）回答的是同一个问题：模型训练时的监督信号究竟来自哪里。它们属于同一分类标准，因此可以并列讨论。

监督学习（Supervised Learning）使用带标签的数据对 \((x,y)\) 训练模型：输入 \(x\) 是特征（Feature），输出 \(y\) 是目标或标签（Label）。模型学习的不是“记住答案”，而是学习一个映射 \(f_\theta:x\to y\)，使它对新样本也能给出合理预测。

但“学一个映射”还不够，训练时还必须回答另一个更具体的问题：怎样才算模型学得好。监督学习里最常见的回答，是在训练集上逐个比较预测与真实标签的差距，再把这些差距汇总成一个总体目标；这就导向经验风险最小化（Empirical Risk Minimization, ERM）。

经验风险最小化的典型目标写成：

这里 \(N\) 是样本数， \(f_\theta(x_i)\) 是模型预测， \(y_i\) 是真实标签， \(\ell\) 是损失函数（Loss Function）。这条式子的含义不是抽象求和，而是：逐个样本计算“预测错了多少”，再取平均，把平均错误压到尽可能小。

例：垃圾邮件分类里， \(x\) 可以是邮件文本特征， \(y\in\{0,1\}\) 表示“正常/垃圾”；房价预测里， \(x\) 可以是面积、地段、楼龄， \(y\) 是价格。前者是分类（Classification），后者是回归（Regression），但“有标签地学映射、再用损失函数衡量误差”这一训练逻辑完全一致。

分类任务（Classification）要预测的是离散类别，也就是样本属于哪一类。输出可以是一个类别 id，也可以是一组类别概率。例如二分类里常见输出 \(P(y=1|x)\)，表示“给定特征 \(x\) 时，样本属于正类的概率”。

垃圾邮件识别、肿瘤良恶性判断、情感分析、图像里的猫狗识别都属于分类任务。它更像“做选择题”：模型最终要在有限候选里做判断。训练时常配合交叉熵（Cross-Entropy）这类损失，因为模型不仅要选对类别，还要给正确类别足够高的置信度。

回归任务（Regression）要预测的是连续数值，也就是标签不是几个固定类别，而是在某个数值区间内连续变化。输出通常直接是一个实数，或一个多维连续向量。

房价预测、销量预测、温度预测、广告点击率中的停留时长估计都属于回归任务。它更像“做填空题”：模型不能只说“高”或“低”，而必须给出具体数值。训练时常配合均方误差（MSE）或平均绝对误差（MAE），因为关心的是预测值与真实值到底差了多少。

分类与回归都属于监督学习，因为它们都有标签；真正的区别在于标签空间的形状：分类的标签空间是离散集合，回归的标签空间是连续区间。这个区别会直接决定模型输出层形式、损失函数选择以及评估指标。

无监督学习（Unsupervised Learning）只有输入 \(x\)，没有人工标签 \(y\)。它的目标不是拟合“标准答案”，而是从数据中发现结构（Structure），例如聚类（Clustering）、降维（Dimensionality Reduction）、密度估计（Density Estimation）与异常检测（Anomaly Detection）。

一个直观类比是：监督学习像“拿着答案册做题”，无监督学习像“没有答案册，只能自己把一堆材料按相似性归类”。例如电商用户没有现成“用户类型”标签，但可以根据浏览、购买、停留时间等行为聚成“价格敏感型”“冲动购买型”“高价值复购型”等群体，用于运营分层。

自监督学习（Self-supervised Learning）介于监督与无监督之间：原始数据没有人工标签，但任务标签可以由数据本身自动构造出来。核心思想是从数据内部制造预测任务，让模型在完成这些任务的过程中学到可迁移表示（Representation）。

语言模型的下一个 token 预测就是最典型的自监督任务：前文是输入，后一个 token 是由原始文本自动给出的“监督信号”。图像领域里，旋转预测、遮挡恢复、不同增强视角匹配也属于同一路线。

掩码预测（Masked Prediction）把输入中的一部分信息故意遮住，再要求模型恢复。例如 BERT 会把句子中的部分 token 替换成特殊标记 \([MASK]\)，模型要根据上下文预测被遮住的词。

类比来看，这像完形填空：你不是死记整句，而是学会根据上下文推断缺失信息。它迫使模型同时利用左侧和右侧上下文，因此特别适合编码器（Encoder）型表示学习。

强化学习（Reinforcement Learning, RL）研究的是：智能体（Agent）在环境（Environment）中持续交互，根据环境返回的奖励（Reward）学习策略（Policy），使长期累计回报（Cumulative Return）尽可能大。它关心的不是“单个输入该预测什么标签”，而是一串连续动作最终能否带来更高的长期收益。

形式化地，强化学习通常把问题写成马尔可夫决策过程（Markov Decision Process, MDP）：智能体在时刻 \(t\) 观察状态 \(s_t\)，选择动作 \(a_t\)，环境转移到新状态 \(s_{t+1}\) 并返回奖励 \(r_{t+1}\)。若策略记为 \(\pi(a\mid s)\)，则典型目标是最大化期望累计折扣回报

这里 \(\gamma\in[0,1)\) 是折扣因子（Discount Factor），用于控制未来奖励相对于当前奖励的重要性。和监督学习相比，强化学习最根本的差异在于反馈信号的性质：监督学习收到的是指导性反馈（Instructional Feedback），也就是“正确答案应当是什么”；强化学习收到的是评估性反馈（Evaluative Feedback），也就是“这一步或这条轨迹好不好”。奖励只告诉策略结果优劣，却通常不直接给出当前状态下的最优动作。

因此，强化学习并不是监督学习的一个别名。它当然也会使用梯度下降、神经网络和损失函数，但这些只是优化工具；两者真正不同的是监督结构。监督学习寻找的是输入到输出的静态映射，强化学习寻找的是动态环境中的最优序贯决策策略。

工程上之所以容易混淆，是因为两者经常交叉出现。RLHF 中的奖励模型训练本身是监督学习，行为克隆（Behavioral Cloning）也是把专家轨迹当作标签来学习；SFT、DPO 这类方法也能在部分对齐任务上用监督式目标逼近强化学习的效果。但只要训练过程仍然缺少逐步给定的正确动作标签，并且目标仍是通过交互或评分信号改进长期决策策略，它在范式上仍然属于强化学习。

可以把强化学习先想成一个小机器人走迷宫。这个故事里有六个最核心的角色：

• 智能体（Agent）：做决策的主体，也就是那个小机器人。
• 环境（Environment）：机器人所处的外部世界，例如迷宫、棋盘、游戏地图、推荐系统或对话上下文。
• 状态（State, \(s\)）：机器人当前看到的局面，例如“前面是墙，右边有路”。
• 动作（Action, \(a\)）：机器人此刻可以做的选择，例如左转、右转、前进。
• 奖励（Reward, \(r\)）：环境给这一步行动的反馈，例如捡到金币加 1，掉进陷阱减 1。
• 策略（Policy, \(\pi\)）：机器人脑子里的“通关秘籍”，也就是在什么状态下该怎么行动的规则。

于是强化学习的目标可以直接翻译成一句人话：不断修改这本“通关秘籍”，让整局游戏玩下来拿到的总分尽可能高。

为什么这里不只看即时奖励，而要看“整局总收益”？因为很多任务里，奖励会延迟出现。下棋时，一步好棋未必立刻得分，但可能为十步后的胜利铺路；推荐系统里，一次推荐是否合理，也要看用户后续点击、停留和转化。因此强化学习常用于游戏对战、机器人控制、资源调度、广告竞价、推荐排序，以及大模型对齐等场景。

为了衡量“从现在开始，这套打法最终值不值得”，强化学习定义长期回报（Return，也常称累计回报）：

这条式子不要硬背，可以直接按故事来读。前半部分 \(G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k+1}\) 说的是“从当前时刻开始，整局游戏最终能拿多少分”： \(r_{t+k+1}\) 是未来第 \(k+1\) 步得到的奖励， \(\gamma\) 是折扣因子（Discount Factor），表示未来奖励要不要打折。它的直觉很像“现在的 100 块通常比一年后的 100 块更值钱”：当 \(\gamma\) 越接近 1，模型越重视长期收益；当它更小，模型就更短视。后半部分 \(\max_\pi\ \mathbb{E}_\pi[G_t]\) 则是在说：在所有可能的策略 \(\pi\) 里，去寻找那个能让期望长期回报最大的策略。这里的 \(\mathbb{E}_\pi\) 是期望，后面的方括号 \([G_t]\) 只是表示“取期望的对象是 \(G_t\) 这个随机回报”，并不是额外的新符号。之所以要写期望，是因为同一个策略在同一个环境里重复运行，过程里往往带有随机性——例如环境可能有随机事件，策略本身也可能按概率选动作。所以强化学习真正优化的不是“某一次刚好打得特别好”的偶然结果，而是“长期重复玩这局游戏时，平均下来能拿到的总分”尽可能高。

马尔可夫决策过程（Markov Decision Process, MDP）是强化学习的标准数学建模框架，用来描述“状态如何转移、动作如何作用、奖励如何定义，以及长期目标如何写成优化问题”。它就是把前面的迷宫故事写成一套可推导、可计算的数学记号。最常见的写法是五元组 \((\mathcal{S},\mathcal{A},P,R,\gamma)\)：

• \(\mathcal{S}\)：状态空间（State Space），也就是所有可能局面的集合。
• \(\mathcal{A}\)：动作空间（Action Space），也就是所有可选动作的集合。
• \(P(s'|s,a)\)：状态转移概率，表示在状态 \(s\) 做动作 \(a\) 后，到达下一状态 \(s'\) 的概率。
• \(R(s,a)\) 或 \(R(s,a,s')\)：奖励函数，表示这一步能拿到什么反馈。
• \(\gamma\)：折扣因子，决定未来奖励在总目标里占多大比重。

“马尔可夫”这个词听着吓人，意思其实很简单：如果当前状态已经把关键信息都概括好了，那么未来只取决于当前状态和当前动作。像下棋时，只看当前棋盘局面就足够，不必把每一步历史都原样背下来。

理解了这个核心循环后，主流强化学习算法其实只是三大门派：价值派、策略派，以及在大模型时代出现的对齐派。它们不是在解决不同问题，而是在用不同方式学习同一件事：怎样改进策略。

价值派（Value-Based）的思路像一个精打细算的记账员。它不直接记“现在该怎么做”，而是先问一个更根本的问题：如果我在当前状态下做这个动作，从长期看到底划不划算。这个“划算程度”的估计，就是动作价值函数（Action-value Function） \(Q(s,a)\)。

这里最容易混淆的是： \(Q(s,a)\) 不是“这一步眼前立刻拿到的奖励”，也不是单独指“这一步的成本”。它表示的是：在状态 \(s\) 下先执行动作 \(a\)，然后后面继续尽量做好选择，最终总共大约能拿到多少长期回报。如果某个动作会消耗时间、体力、资源或带来风险，这些通常会被写进奖励函数里，表现成负奖励；因此 \(Q(s,a)\) 看的是长期净效果，而不是只看眼前奖励，也不是只看单独成本。

Q-Learning 之所以叫这个名字，是因为它要学习的对象就是动作价值函数 \(Q(s,a)\) 的估计（Q 源自 quality，表示动作在某状态下的“好坏程度”）。Q-Learning 的直觉是：如果我在状态 \(s\) 下选择动作 \(a\)，环境会先立刻返还一个即时奖励 \(r\)，然后把我带到下一状态 \(s'\)。这里的 \(r\) 只是在给“这一步刚刚发生了什么”打分；而 \(Q(s,a)\) 想学的则是“这一步连同后面整局走势一起看，最终值多少”。所以 Q-Learning 做的事情，不是把即时奖励直接当成答案，而是用这一步新看到的结果，回头修正账本里对 \(Q(s,a)\) 的动作价值估计：

这条更新式最好逐项拆开看：

• 更新式左边的 \(Q(s,a)\) 表示“这次更新后，要重新写回账本的那个值”。
• 箭头右边最后那个 \(Q(s,a)\) 表示“更新前账本里原来记着的旧估计”。同一个符号在箭头两边都出现，是因为它表示的是同一个账本位置更新前后的值。
• \(s\) 是当前状态，例如“机器人现在站在岔路口，左边是墙，右边能走”。
• \(a\) 是当前状态 \(s\) 下刚刚执行的那个动作，例如“向右走一步”。
• \(r\) 是执行动作 \(a\) 后，环境立刻返还的即时奖励。例如这一步踩到金币就加 1，踩到陷阱就减 1。
• \(s'\) 是执行完当前动作 \(a\) 之后到达的下一状态。这里的撇号只是表示“下一个状态”，不是别的特殊运算。
• \(a'\) 表示在下一状态 \(s'\) 中任意一个可选动作。它带撇号，只是为了和当前动作 \(a\) 区分开。
• \(Q(s',a')\) 表示：如果机器人已经来到下一状态 \(s'\)，此时选择动作 \(a'\)，那么从那以后预期长期回报大约是多少。
• \(\max_{a'}Q(s',a')\) 的意思是：把下一状态 \(s'\) 里所有可选动作 \(a'\) 的长期价值都估一遍，再挑出其中最大的那个估计。它回答的问题是：如果我已经走到了下一状态，并且从下一步开始尽量做最好的选择，后面大概还能再拿到多少长期回报。
• \(\gamma\max_{a'}Q(s',a')\) 表示把“未来还能拿到的最好长期回报”按折扣因子 \(\gamma\) 打折后算回来，因为越远的未来通常权重越小。
• \(r+\gamma\max_{a'}Q(s',a')\) 是新的目标值（TD target）：它把“这一步立刻拿到的即时奖励”与“从下一步开始最好情况下还能拿到的折扣后长期回报”加在一起。
• \(r+\gamma\max_{a'}Q(s',a')-Q(s,a)\) 是新目标与旧估计之间的差，也就是时序差分误差（TD error）。如果这个差为正，说明原来低估了；如果这个差为负，说明原来高估了。
• \(\alpha\) 是学习率，控制这次修正到底改多少。 \(\alpha\) 大，账本改得快但更容易抖；小则更稳，但学得更慢。

把整条式子连起来看，就是：先记录“当前这一步实际拿到了多少即时奖励”，再估计“到了下一状态后，如果接下来尽量做最好的选择，还能拿到多少折扣后长期回报”，把这两部分合成一个新的目标值，然后用它去修正旧账本里对 \(Q(s,a)\) 的动作价值估计。这就是 Q-Learning 的核心。

DQN（Deep Q-Network）并没有改变这个思路，它只是把“小本子记账”升级成“让神经网络来记账”。当状态非常大时，例如 Atari 游戏的原始像素画面，手工建一个巨大 Q 表几乎不可能，这时就用深度网络直接输入状态，输出每个动作的价值估计。DQN 的本质不是新的哲学，而是：让价值派能处理高维感知输入。

用迷宫里的“死胡同”再对照一遍，会更容易把这件事和更新式对上。常见有两种奖励设计：

• 如果每走一步都有即时奖励（很多任务里是每步一个小的负奖励，表示时间或能量成本），那么一旦走进死胡同，哪怕还没走到尽头，后续回退/绕路的每一步都会继续累积这些代价。沿着死胡同走得越深，后续必然要付出的额外代价越多，于是死胡同深处的状态会先学到更低的 \(\max_{a'}Q(s,a')\)；再通过更新式里的 \(\gamma\max_{a'}Q(s',a')\) 把“更差的未来”逐步回传到入口处，最终拉低“最开始走进死胡同那一步”的 \(Q(s,a)\)。
• 如果奖励非常稀疏：只有到达终点那一刻给一次奖励，其余步奖励为 0，那么走进死胡同本身不会产生额外的负奖励，它的影响来自“把终点奖励推迟了”。假设终点奖励为 \(R_{\mathrm{goal}}\)，到达终点的时间为 \(T\)，则从时刻 \(t\) 起的长期回报约为 \(G_t=\gamma^{T-t-1}R_{\mathrm{goal}}\)：走到终点越晚，\(\gamma<1\) 时折扣越多，回报越小。这会表现为：越靠近终点的状态动作对先学到较大的 Q，越远的状态动作对学到的 Q 会多乘几个 \(\gamma\)。若环境还有最大步数上限（time limit），超过上限视为失败并给 0 回报，那么绕进死胡同也可能把轨迹拖到上限之外，使得许多状态动作对的 TD target 直接变为 0，从而把入口处那一步的 \(Q(s,a)\) 也压低。

策略派（Policy-Based Methods）直接参数化策略（Policy）本身：给定状态 \(s\)，模型直接输出动作概率分布 \(\pi_\theta(a|s)\)，再通过优化让高回报动作变得更可能被采样。这类方法把“该怎么行动”直接写进策略函数，而不是先显式学习一个动作价值表。

这条路线尤其适合连续动作空间，因为当动作不是“左转/右转”这种离散选项，而是“方向盘打多少角度”“机械臂关节转多少度”这种连续控制量时，根本不适合把每个动作都列成账本。于是它选择直接练本能：给定状态，直接输出动作概率分布，而这个分布本身就是策略 \(\pi_\theta(a|s)\)。

策略梯度（Policy Gradient）的核心思想非常直白：凡是最终带来高回报的动作，就提高它以后再次发生的概率；凡是带来低回报的动作，就降低它的概率。它的基本形式写成

这条式子同样最好逐项拆开看：

• \(J(\theta)\) 是策略的总体目标，也就是“让整条策略长期回报尽可能大”这件事。
• \(\nabla_\theta J(\theta)\) 表示“如果我想把总目标 \(J(\theta)\) 变大，参数 \(\theta\) 应该往哪个方向改”。
• \(\theta\) 是策略模型的参数。在机器人里它可能是控制器参数，在神经网络里它就是网络权重。
• \(s_t\) 是时刻 \(t\) 的状态，也就是当前看到的局面。
• \(a_t\) 是时刻 \(t\) 真正执行的那个动作。
• \(\pi_\theta(a_t|s_t)\) 是“在状态 \(s_t\) 下，策略给动作 \(a_t\) 分配了多大概率”。它不是奖励，也不是价值，而是策略本身的偏好强弱。
• \(\log \pi_\theta(a_t|s_t)\) 不是又引入了一个神秘对象，它只是对这个概率取对数。这样做的主要原因是数学上更容易求导，并且能把一整条轨迹上的概率乘积改写成对数求和。
• \(\nabla_\theta \log \pi_\theta(a_t|s_t)\) 表示：如果想让动作 \(a_t\) 在状态 \(s_t\) 下更容易再次发生，参数 \(\theta\) 应该朝哪个方向改。它给的是“增大该动作概率的方向”。
• \(G_t\) 是从时刻 \(t\) 开始，这次动作后面最终带来的长期回报。它在这里扮演“事后评分”的角色：若 \(G_t\) 高，说明这次动作最终效果好；若低，说明效果差。
• \(\nabla_\theta \log \pi_\theta(a_t|s_t)\,G_t\) 这项可以直观理解为：先找到“怎样让这次动作更常发生”的方向，再用 \(G_t\) 来决定这个方向该被强化多少。动作后果越好，就推得越用力；后果越差，就反过来压制。
• \(\mathbb{E}[\cdot]\) 表示对很多次采样结果取期望，因为单次轨迹有随机性。策略梯度真正优化的不是“某一次刚好运气好”的结果，而是长期平均表现。

把整条式子连起来看，就是：先执行一个动作，等整段后果出来后，再回头问“这次动作究竟值不值”。如果值，就提高它以后再次出现的概率；如果不值，就降低它的概率。这就是策略派“直接练本能”的本质。

PPO（Proximal Policy Optimization）是在策略梯度上加护栏。纯策略梯度的问题是：如果某一步更新太猛，策略可能一下子学歪，训练直接崩掉。PPO 的核心就是限制“这次别改太多”：

这条式子也可以逐项拆开看：

• \(r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t|s_t)}\) 是新旧策略对同一动作概率的比值。若它接近 1，说明这次更新前后，策略对这个动作的看法变化不大；若它远离 1，说明改动已经很大。
• \(\pi_{\theta_{\mathrm{old}}}(a_t|s_t)\) 是更新前旧策略给这个动作的概率； \(\pi_\theta(a_t|s_t)\) 是更新后新策略给它的概率。
• \(A_t\) 是优势函数（Advantage）。它回答的问题不是“这次总共拿了多少分”，而是“这个动作比当前状态下的平均水平到底好多少”。若 \(A_t>0\)，说明这步动作比平均更好；若 \(A_t<0\)，说明更差。
• \(r_t(\theta)A_t\) 可以理解成“如果完全按这次新旧概率比去更新，那么这个动作会被奖励或惩罚多少”。
• \(\mathrm{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\) 是 PPO 最关键的护栏：它强行规定概率比不要偏离 1 太远。 \(\epsilon\) 就是护栏宽度。
• 外面的 \(\min(\cdot,\cdot)\) 表示：原始更新和“截断后的保守更新”两者里，只取更保守的那个。这样即使优化器很激进，也不会让策略一步跳太远。

所以 PPO 的本质可以直接说成人话：方向仍然按“好的动作多做，差的动作少做”来改，但每次只允许小步微调，防止策略训练失控。这也是它在机器人控制和大模型对齐里都非常常用的原因。

语言模型本来做的是下一个 token 预测：给定前文，猜下一个词最可能是什么。这很像一只会续写的鹦鹉。大模型对齐（Alignment）要解决的问题是：怎样让它不只是“会接话”，还要更有帮助、更安全、更符合人类偏好。

把语言模型放进强化学习视角后，整个映射会立刻清楚起来：用户输入的 prompt 加上当前已生成前缀 \((x,c_t)\) 就是状态；当前要选的下一个 token \(y_t\) 就是动作；整段最终回答 \(y\) 就是一条完整轨迹；而模型本身给出的下一个 token 条件概率分布 \(\pi_\theta(y_t|c_t,x)\)，就是所谓生成策略（Generation Policy）。所以“修改生成策略”并不神秘，本质上就是：修改模型在每个上下文里更倾向说哪些 token。

RLHF（Reinforcement Learning from Human Feedback）的做法是：先收集人类偏好数据，例如“回答 A 比回答 B 更好”；再训练一个奖励模型 \(r_\phi(x,y)\)，让它学会像裁判一样给回答打分；最后用 PPO 这类策略优化方法，把高分回答的概率调高、低分回答的概率调低。一个常见目标写成

这里 \(\pi_{\mathrm{ref}}\) 是参考模型，通常是监督微调（SFT）后的初始模型；KL 项的作用是防止模型为了讨好奖励模型而“跑偏”太远。可以把 RLHF 理解成：先找人类裁判总结出一套评分标准，再让模型在这套标准下稳步调整说话方式。

DPO（Direct Preference Optimization）认为这套流程有点重：既要训练奖励模型，又要跑强化学习优化。它利用偏好数据做了数学改写，直接把“回答 A 优于回答 B”的信息作用到策略本身，跳过了显式奖励模型与完整 RL 回路。直观地说，DPO 像是把“裁判打分 + 再训练”合成一步，工程更简单，训练也更稳定。

GRPO（Group Relative Policy Optimization）则进一步强调“相对好坏”而不是绝对打分。它让模型针对同一个问题先生成一组候选答案，再在组内比较谁更好、谁更差，然后根据这个相对排名更新策略。它的直觉很像班级作文比赛：不是先给每篇作文一个绝对分，而是先把同一组作文排个名次，再让模型朝更优答案的方向调整。GRPO 的优势在于省掉了沉重的价值网络（Critic），因此特别适合数学推理、代码生成这类可以比较优劣、但很难稳定打绝对分的任务。

与“学习范式”不同，下面这些概念不再按监督信号来源分类，而是分别回答另外几个问题：表示该怎样学、计算该怎样近似、已有知识该怎样迁移、在极少样本下又该怎样适配。因此它们更适合看成与学习范式并列的训练目标或训练策略。

表示学习（Representation Learning）讨论的是：如何把原始输入自动变换成更有用的特征表示，使后续任务更容易处理。它关心的不只是“最后预测对不对”，还关心模型内部是否学到了稳定、可迁移、对任务有判别力的中间表示。

传统特征工程（Feature Engineering）与表示学习处理的是同一个核心问题：如何把原始输入变成更适合下游任务的表示。但二者的方法论不同。特征工程主要依赖人工设计表示，例如词频、n-gram、统计量、规则特征与人工交叉特征；表示学习则强调由模型通过优化过程自动学出表示，例如 PCA、自编码器、词向量、上下文化表示以及深度网络中的隐藏状态。因此，传统手工特征本身通常不直接归入表示学习；只有当表示是通过训练自动获得时，它才更准确地属于表示学习范畴。

从 one-hot、BoW、词嵌入，到 BERT 的上下文化表示、Sentence-BERT 的句向量，主线始终一致：把原始符号或原始观测映射到更适合计算的表示空间。监督学习、自监督学习、对比学习都可以被用来学习表示；区别只在于监督信号来自哪里、训练目标如何设计。

对比学习（Contrastive Learning）通过“拉近正样本、推远负样本”学习表示。这里的关键不是类别标签本身，而是样本之间的相对关系：哪些应该相似，哪些必须区分。因此它特别适合表示学习、检索、多模态对齐和度量学习（Metric Learning）。

它的真正价值不只在于“学会匹配”，更在于学会区分性特征（Discriminative Features）。如果训练信号只告诉模型“这两个文本有关”，模型很容易停留在泛泛的共性描述上；而当训练持续提供“相似对”和“不相似对”，模型就被迫回答更尖锐的问题：究竟是什么让这两个文本属于同一语义区域，又是什么让它们必须分开。对比学习因此天然擅长抑制“表面上正确但没有区分度”的表示，转而强化真正决定语义边界的特征。

例如在商品评论表示学习里，句子“物流很快，包装也完整”和“物流很快，但东西是坏的”都包含“物流很快”这类高频表述。若模型只抓住表面词汇重叠，就可能把二者编码得非常接近；但在对比学习里，前者可能与“发货速度快、体验不错”构成正样本，后者则会与“收到商品后无法使用”“质量有问题”这类负面评价更接近。模型因此会逐步学会：真正决定语义边界的，不是共享的套话，而是“包装完整”“东西是坏的”这类改变整体语义走向的区分性片段。

从几何角度看，对比学习学到的是一个更有结构的向量空间。语义接近的文本会在局部形成簇（Cluster），语义无关或语义相反的文本则被推向更远位置。情感分析、语义检索、重复问句检测、意图聚类之所以能直接建立在 embedding 之上，本质上就是因为模型已经把“哪些内容应当靠近、哪些内容应当远离”编码进了空间结构，而不只是输出一个任务特定的分类分数。

在 NLP 中，这条路线并不是突然出现的。Word2Vec 已经体现了早期的对比式思想：真实共现词是正样本，随机采样词是负样本，模型通过区分“真实上下文”和“噪声配对”学习词向量。后来的句向量和文档向量模型，则把这种思想从词级扩展到句子级和文档级：正样本可以是复述句、问答配对、查询与相关文档，负样本则是不相关句子或困难反例（Hard Negatives）。

一个常见形式是 InfoNCE 损失：

其中 \(z_i\) 是当前样本表示， \(z_i^+\) 是与它匹配的正样本表示， \(\mathrm{sim}(\cdot,\cdot)\) 是相似度函数（常用余弦相似度）， \(\tau\) 是温度参数（Temperature），控制分布尖锐程度。这个目标的含义是：在一堆候选中，让正确配对拿到最高分，同时把不相关样本推远。

对比学习在句向量任务中的意义尤其大。交叉编码器（Cross-Encoder）把两个句子拼接后联合编码，能够做非常细的交互判断，但它直接输出的是“这一对句子有多像”，而不是可复用的独立句向量；一旦候选集合很大，计算量会迅速爆炸。双编码器（Bi-Encoder）路线则把两个文本分别编码成独立向量，再用余弦相似度或点积比较。SBERT 正是这一路线的经典代表：它通过孪生网络（Siamese Network）与对比式微调，把原本不适合作为通用句向量的 BERT 表示空间，改造成适合检索、聚类与语义匹配的 embedding 空间。

工程上，负样本既可以来自同一 batch 中的其他样本（In-batch Negatives），也可以来自专门构造的困难负样本（Hard Negatives）。所谓困难负样本，指的不是“完全无关”的反例，而是在表面上很像、但语义上不应被判为同一项的样本。例如检索里，与查询主题相近但并不真正回答问题的文档；句向量训练里，措辞高度相似却语义立场不同的句子；推荐里，风格相近但用户最终没有点击或转化的候选。它们之所以“困难”，正是因为模型若只依赖浅层词汇重叠、模板结构或主题相近性，很容易把这类负样本误判成正样本。

困难负样本的价值在于：它迫使模型放弃过于粗糙的匹配捷径，转而学习更细粒度的区分信号。随机负样本通常太容易分开，训练后期提供的梯度会迅速变弱；而困难负样本更接近真实决策边界，能持续推动表示空间学习“看起来相似但本质不同”的区别。不过它也有代价：若负样本挖掘质量不高，容易把本来就相关的样本错当成负例，形成假负样本（False Negatives），反而会伤害表示质量。因此，现代检索和 embedding 训练里，Hard Negatives 往往与 in-batch negatives、教师模型挖掘（teacher mining）或 reranker 筛选结合使用，而不是完全依赖人工拍脑袋构造。

CLIP、Sentence-BERT、现代检索 embedding、推荐召回模型，乃至许多 query-document dual encoder，本质上都在利用这种“正样本拉近、负样本推远”的训练逻辑。区别主要不在原理，而在样本如何构造、负样本如何选择，以及表示对象是词、句子、文档还是跨模态对。

负采样（Negative Sampling）是与对比学习和词向量训练密切相关的一类近似策略。它的核心动机是：当候选空间极大时，没有必要每次都与所有候选比较；只保留 1 个正样本和少量负样本，就能得到足够强的判别信号。换句话说，它把原本代价高昂的“大规模归一化选择问题”，近似成若干个“真配对还是噪声配对”的二分类判断。

在 Word2Vec 的 Skip-gram 中，若直接对全词表做 softmax，分母需要对 \(|{\cal V}|\) 个词求和，计算代价很高。负采样则对每个正样本对 \((w,c)\) 只保留少量噪声词 \(w_i\)，并最大化：

这里 \(\sigma\) 是 sigmoid 函数，第一项鼓励真实配对的内积更大，第二项鼓励噪声配对的内积更小。这样一来，计算量就从与词表大小同阶，降到与 \(1+k\) 个样本同阶。负样本也不一定完全随机：Word2Vec 常按词频的 \(0.75\) 次方采样；现代对比学习则常用 in-batch negatives 或 hard negative mining。推荐系统召回、知识图谱嵌入、句向量训练等任务里，这种思想到今天仍然非常常见。

迁移学习（Transfer Learning）讨论的是：先在数据更丰富、任务更通用的源任务上学到参数或表示，再把这些知识迁移到目标任务。它不是按监督信号划分出来的独立“学习方式”，而是一种跨任务复用知识的训练策略。现代大模型先预训练、再微调，本质上就是迁移学习。

BERT 就是这一思路的典型例子。它通常先在大规模通用文本上做语言建模预训练，例如维基百科（Wikipedia）这类覆盖面很广的语料；模型先学到词法、句法、语义关系以及上下文表示能力。随后再把这一预训练模型迁移到具体任务上，例如情感分类、自然语言推断（NLI）、命名实体识别（NER）或文本匹配，只需接上任务头并用该任务的数据继续微调，就能把通用语言知识转化为面向目标任务的能力。

它与对比学习不在同一层面。对比学习回答的是“预训练阶段该用什么目标来学表示”；迁移学习回答的是“学到的表示如何迁到新任务”。两者经常配合出现：例如先在海量无标签图像上用对比学习预训练视觉编码器，再把该编码器迁移到医学影像分类、工业缺陷检测或小样本识别任务上。

少样本学习（Few-shot Learning）处理的是“每个任务只有极少标注样本”时如何仍然快速泛化。它通常建立在迁移学习或预训练模型之上：模型先学到一套通用表示，再在很少示例下快速适配新任务。困难不在于单个任务本身，而在于模型必须把以往经验迁移到新任务上。直觉上，它更像“学会如何快速学习”，而不是“把一个任务彻底学透”。

零样本（Zero-shot）指模型在目标任务上没有任何专门示例，也能凭借已有知识完成任务。大语言模型通过指令理解实现的很多能力都属于这一类。例：不给任何情感分类样例，只写“判断下面评论是正面还是负面”，模型仍可能完成分类。

单样本（One-shot）指只给 1 个示例。这个示例的价值不是提供统计规律，而是告诉模型“输出格式、任务边界和你想要的判别标准”。例如先给一条“商品评论 → 正面”的例子，再让模型判断下一条评论。

K 样本（K-shot）指给每类或每任务提供 \(K\) 个示例。随着 \(K\) 增大，模型更容易对任务意图和判别标准形成稳定估计。工程上，prompt 中的 few-shot 示例本质上就是在上下文窗口里做一种“临时任务适配”。

元学习（Meta-learning）研究“让模型更快适应新任务”。MAML（Model-Agnostic Meta-Learning）的核心不是直接学一个最终答案，而是学一个好的初始化参数 \(\theta\)，使模型只需少量梯度更新就能适配新任务。

MAML 的外层目标可概括为：

其中 \(\mathcal{T}\) 表示一个任务， \(\alpha\) 是内层更新步长。读法是：先用当前参数在某任务上走一步，再看更新后的参数在该任务上的表现好不好；如果“一步后就变好”，说明初始化是好的。类比来看，MAML 训练的不是“会做每道题的学生”，而是“只要老师讲一遍就能迅速举一反三的学生”。

原型网络（Prototypical Networks）把每个类别表示成嵌入空间中的一个“类中心（Prototype）”。对类别 \(k\)，其原型定义为该类支持集（Support Set）样本嵌入的平均：

这里 \(f_\theta(x_i)\) 是样本的向量表示， \(S_k\) 是类别 \(k\) 的支持样本集合。分类时，把新样本映射到嵌入空间，看它离哪个原型最近。直觉上，这像“每一类先算一个代表点，新样本按离哪个代表点最近来归类”。在 few-shot 图像分类中，这种方法往往比直接训练复杂分类头更稳。

池化（Pooling）可以先按一句人话来理解：把一组相邻或相关的特征，压缩成更短、更稳定、更容易继续处理的摘要。它不是重新发明新特征，而是对已有特征做聚合（Aggregation）或下采样（Downsampling）。这里的下采样指：沿某些维度减少位置数或采样点数，让表示尺寸变小、分辨率变粗。例如把 \(4\times 4\) 的特征图压成 \(2\times 2\)，或把一长段序列压成更短的摘要向量，都属于下采样。

若把一组输入特征记为 \(x_1,\dots,x_k\)，则池化可以抽象写成

这里 \(\mathrm{Pool}\) 可以是最大值（Max Pooling）、平均值（Average Pooling）、求和（Sum Pooling）或更复杂的加权聚合。它们做的事不同，但主线一致：把“多个位置/多个元素的表示”变成“更少的表示”。

池化之所以重要，是因为很多任务并不需要保留每个细节位置的完整分辨率。图像分类不一定关心边缘恰好落在第 17 个还是第 18 个像素；句子分类也不一定要求记住某个情绪词出现在第 6 个还是第 7 个 token。此时，把局部细节适度压缩，往往能提升稳定性、降低计算量，并让后续层更关注“有没有出现模式”，而不是“模式的坐标是否一模一样”。

最大池化（Max Pooling）保留一组特征里最强的那个响应。若某个窗口里有一个边缘、某个关键词或某个邻居信号特别强，最大池化会把它留下来。它更像在问：这一小块区域里，最显著的模式有没有出现。

平均池化（Average Pooling）对一组特征取平均，更强调整体趋势而不是最强局部点。它更像在问：这一块区域总体上激活强不强、语义平均水平如何。

求和池化（Sum Pooling）常见于图网络和集合建模，用于累积总量信息。若节点数量本身有意义，求和会把“有多少邻居/总共多强”也编码进去；平均池化则更强调归一化后的平均强度。

全局池化（Global Pooling）表示不再只看局部窗口，而是直接把整张特征图、整段序列或整个节点集合压成一个向量。例如全局平均池化（Global Average Pooling, GAP）会把一整个空间维度平均掉，得到“每个通道在全局上的平均响应”。自适应池化（Adaptive Pooling）则把输出尺寸预先固定，例如无论输入特征图多大，最终都压成 \(1\times 1\) 或 \(7\times 7\)。

在卷积神经网络（CNN）里，池化最经典的含义是沿空间维度做局部下采样。例如一张特征图经过 \(2\times 2\) 最大池化后，宽高会缩小，局部最强响应被保留下来。它的直接收益有三点：减小特征图尺寸、扩大后续层的感受野（Receptive Field）、并降低模型对小幅平移和局部扰动的敏感度。

在时序模型和文本模型里，池化更常表示沿时间或序列长度维度做聚合。例如把所有 token 表示做平均池化，得到整句向量；把一段音频帧表示做最大池化，得到“这一整段里最强的模式”。这里池化的重点不再是二维空间下采样，而是把变长序列压成固定长度表示，方便做分类、检索或相似度计算。

在图神经网络（GNN）里，池化有两层常见含义。第一层是邻域聚合（Neighborhood Aggregation）：一个节点把邻居表示做均值、求和或最大值，再更新自己；这可以理解为“节点级局部池化”。第二层是图级读出（Graph-level Readout）：把整张图的节点表示再做一次全局聚合，得到整个图的表示，用于图分类、图回归等任务。

在 Transformer 里，池化通常不再以“池化层”这一模块形式高频出现，但概念仍然存在。句子分类常取 \([\mathrm{CLS}]\) 位置表示，或对所有 token 做平均池化；Embedding 模型也常对最后一层隐藏状态做 mean pooling / max pooling 得到句向量。进一步看，注意力（Attention）本身也可以理解成一种带内容依赖的加权聚合：区别只在于普通池化的规则通常固定，而注意力的权重是由输入动态决定的。

池化保留的是摘要信息，丢掉的是更精细的位置细节。最大池化更偏向“是否出现过显著模式”，平均池化更偏向“整体平均状态如何”，求和池化则更偏向“总量有多大”。因此，池化总带有一种 trade-off：表示更紧凑、更稳、更省算力，但精确定位能力会下降。

这也是为什么不同任务会选择不同聚合方式。图像分类往往欢迎一定程度的位置不敏感，因此池化很自然；语义检索希望一整句压成一个句向量，因此句级池化很常见；但像语义分割、目标检测、序列标注这类任务，输出本身依赖逐位置判断，就不能过早把位置信息池掉，否则细粒度边界会被抹平。

若说下采样（Downsampling）是在压缩表示，那么上采样（Upsampling）就是反过来把较粗的表示扩展回更细的空间分辨率。它做的不是凭空创造新信息，而是把低分辨率特征重新铺回更高分辨率的位置网格中，方便恢复空间结构、边界或局部细节。

插值（Interpolation）是最直接的上采样方式。最邻近插值（Nearest Neighbor Interpolation）相当于把原像素或原特征直接复制到更密的网格里，速度快、实现简单，但边界可能显得生硬；双线性插值（Bilinear Interpolation）则按周围位置做平滑加权，结果更连续，但也更容易把边界抹平。它们的共同特点是：上采样规则是固定的，不需要学习参数。

转置卷积（Transposed Convolution）则是可学习的上采样。它不是“把普通卷积矩阵简单转置后就 magically 还原图像”，而是指：若把普通卷积看作一个线性算子，转置卷积对应的是这个线性算子的转置形式，因此能够把较小的特征图映射到较大的特征图。因为它带有可学习卷积核，所以模型可以学习“该怎样把粗特征展开成更适合任务的细特征”。

在视觉任务里，这三者的分工很常见。语义分割、图像生成、超分辨率、U-Net 解码器、扩散模型解码器都需要上采样：有时先用插值把尺寸放大，再接普通卷积细化；有时直接用转置卷积一步完成“放大 + 学习性重组”。前者通常更稳、更少棋盘格伪影（Checkerboard Artifacts），后者表达力更强，但更依赖实现细节与核大小、步幅（Stride）设置。

机器学习更关心模型离开训练集之后能否维持稳定表现。泛化（Generalization）、过拟合（Overfitting）、欠拟合（Underfitting）与偏差—方差权衡（Bias–Variance Tradeoff）描述的，就是这件事。

泛化（Generalization）指模型在未见样本上的表现。若训练数据与未来输入都来自同一数据分布 \(P(X,Y)\)，则模型的总体风险可写成：

这里 \(R(f)\) 是真实风险（Population Risk），表示模型 \(f\) 在整个真实分布上的平均损失； \(\ell(f(x),y)\) 是单样本损失；期望 \(\mathbb{E}\) 表示对所有可能样本做平均。训练时真正能看到的只有有限样本，因此优化的通常是经验风险 \(\hat R_n(f)\)，而不是这个理想化的总体风险。

训练误差与测试误差之间的差距，常称为泛化间隙（Generalization Gap）。间隙小说明模型在未见数据上比较稳定；间隙大则说明模型过度依赖训练样本中的偶然细节。

欠拟合（Underfitting）表示模型过于简单，连训练集里的主结构都学不出来；过拟合（Overfitting）表示模型对训练集学得过细，把噪声、异常点和偶然波动也当成了规律。两者都属于泛化失败，只是失败方式不同。

判断时通常同时看训练误差与验证误差。欠拟合时，训练误差和验证误差都偏高；过拟合时，训练误差可能很低，但验证误差明显更高。前者更像“模型看不懂题”，后者更像“模型把练习册答案背熟了，却没有真正掌握规律”。

过拟合并不只由参数多导致。高维稀疏特征、标签噪声、样本量不足、分布偏移、数据泄露、过长训练时间和过弱正则化，都会放大过拟合风险。欠拟合则常见于模型容量不足、特征表达太弱、训练尚未收敛，或者任务本身需要非线性而模型只允许线性表达。

偏差（Bias）与方差（Variance）是分析泛化误差来源的经典视角。对平方损失（Squared Loss），常见分解写成：

左边的 \(\mathbb{E}[(Y-\hat f(X))^2]\) 是模型的平均平方误差； \(\mathrm{Bias}^2\) 表示模型平均预测与真实函数之间的系统性偏离； \(\mathrm{Variance}\) 表示模型对训练样本波动的敏感度； \(\sigma^2\) 是数据本身不可约的噪声（Irreducible Noise），即使模型和训练过程都完美，也无法完全消除。

高偏差通常对应模型表达能力不足，例如用直线去拟合强非线性关系；高方差通常对应模型过于敏感，例如少量训练样本变化就会让决策边界大幅摆动。工程上，降低偏差常靠更强模型、更好特征和更充分训练；降低方差常靠更多数据、正则化、数据增强、早停（Early Stopping）和集成学习（Ensemble Learning）。很多建模决策，本质上都是在这两类误差之间做权衡。

大部分监督学习训练都可以概括成同一条主线：先定义单样本损失，再在训练集上取平均形成经验风险，最后通过优化算法把它压低。正则化（Regularization）是在这条主线之上加入额外约束，用来控制复杂度并改善泛化。

经验风险最小化（Empirical Risk Minimization, ERM）是统计学习的基本训练原则。设训练集为 \(\mathcal{D}=\{(x_i,y_i)\}_{i=1}^{n}\)，则经验风险定义为：

这里 \(n\) 是样本数， \(f(x_i)\) 是模型对第 \(i\) 个样本的预测， \(y_i\) 是真实标签， \(\ell\) 是损失函数。经验风险最小化就是在假设空间 \(\mathcal{H}\) 中寻找让这条平均损失最小的函数：

这条原则覆盖范围极广。线性回归最小化的是平方误差经验风险，逻辑回归和多分类神经网络最小化的是交叉熵经验风险，序列标注模型最小化的是序列级条件对数似然。算法形式不同，骨架是一致的。

正则化（Regularization）是在经验风险之外，再加入一个偏好“更简单、更平滑、更稳定”解的约束项。常见写法是：

这里 \(\Omega(f)\) 是正则项（Regularizer），刻画模型复杂度； \(\lambda\) 是正则化强度，决定“拟合训练集”和“控制复杂度”之间的权衡。 \(\lambda\) 越大，模型越保守；越小，模型越自由。

L2 正则（L2 Regularization）偏好较小权重，常写成 \(\Omega(f)=\|\mathbf{w}\|_2^2\)；L1 正则（L1 Regularization）偏好稀疏解，常写成 \(\Omega(f)=\|\mathbf{w}\|_1\)。更广义地看，早停、Dropout、数据增强、权重共享、标签平滑、参数冻结、低秩适配，都是在不同层面对模型自由度施加约束，因此都可以看作正则化思想的工程实现。

机器学习中的很多训练与评估结论，都建立在一个默认前提上：训练样本与未来样本来自同一统计机制。这个前提通常写成 IID（Independent and Identically Distributed，独立同分布）假设。只要这个前提破坏，训练集表现与线上表现之间就可能出现明显断裂。

设样本对 \((x_i,y_i)\) 来自某个联合分布 \(P(X,Y)\)，IID 假设写成：

这里“独立（Independent）”表示一个样本是否出现，不影响另一个样本的生成；“同分布（Identically Distributed）”表示所有样本都来自同一个联合分布 \(P(X,Y)\)。这个假设让训练集平均损失能够作为总体风险的近似，也让交叉验证、置信区间和很多泛化理论成立。

IID 是理想化近似，而不是自然界的铁律。时间序列、推荐系统、金融交易、医疗数据、A/B 实验日志、用户行为数据，常常都存在相关性、群组效应、时间漂移或采样偏差，因此不能机械套用 IID 设定。

当训练分布与测试分布不一致时，就发生了分布偏移（Distribution Shift）：

分布偏移有几种常见形式。协变量偏移（Covariate Shift）指 \(P(X)\) 变化，而 \(P(Y|X)\) 基本稳定；例如线上用户年龄结构变了，但“给定用户画像时是否点击”的规律没明显变。标签偏移（Label Shift）指 \(P(Y)\) 变化，例如欺诈率在促销期突然上升。概念漂移（Concept Drift / Concept Shift）指 \(P(Y|X)\) 本身发生变化，例如垃圾邮件发送策略升级后，原来有效的文本模式不再可靠。

因此，训练集、验证集与测试集的切分不能只追求随机均匀，还必须尽量模拟未来部署环境。若线上是时间推进场景，测试集就应按时间后移；若线上按用户或设备泛化，切分就应按实体隔离；若业务分布持续漂移，还需要做持续监控、重训和再校准。分布偏移不是评估里的边角问题，而是机器学习系统走向生产后的主要失效来源之一。

数据集工程（Dataset Engineering）决定了模型看到什么、以什么尺度看到、又会被哪些偏差误导。很多所谓“模型问题”，根源其实是数据问题：标签噪声、分布漂移、类别极不均衡或特征泄漏，都会直接扭曲训练结果。

数据集工程里常见一个实用分层：黄金数据集（Gold Dataset）与白银数据集（Silver Dataset）。黄金数据集通常指由高质量人工标注、规则严格审核或专家确认得到的小而精数据，标签噪声低，适合做最终评测、关键验证集或高价值监督信号；白银数据集则通常来自启发式规则、弱监督（Weak Supervision）、模型打标、日志回收或大规模自动清洗，规模更大、成本更低，但噪声也更高。实际工程中，常见策略不是二选一，而是用白银数据集提供覆盖面和规模，用黄金数据集提供校准、纠偏与最终可信评估。

数据划分的目标，是把学参数、做模型选择、汇报最终结果这三件事严格隔离开。若同一批数据既用来训练参数，又用来调超参数，最后还拿来汇报效果，评估结果通常会乐观得不真实，因为模型已经间接“看过”了答案。

从统计学习角度看，这三类数据分别承担三种不同职责：训练集负责让模型学习参数；验证集负责帮助人或训练流程做工程决策；测试集负责模拟真正的未知数据，给出最后一次、尽量无偏的泛化评估。三者分工清楚，模型评估才有可信度。

训练集（Training Set）用于更新模型参数。监督学习中，训练集包含输入 \(x\) 与标签 \(y\)；模型在这批样本上计算损失（Loss）、反向传播梯度（Gradient）并更新参数，因此训练集直接决定“模型学到了什么”。它回答的问题是：在已观测样本上，模型有没有学会输入与输出之间的对应关系。

训练集通常应占数据的大头，因为参数学习需要足够多的样本来稳定估计模式。实践中常见比例是 70% 到 80%，但这不是固定规则：若数据总量非常大，训练集比例可以更高；若数据本来就少，则往往需要把更多精力放在交叉验证（Cross Validation）而不是死守固定比例。

训练集上的误差通常是三者里最低的，这并不说明模型已经具有泛化能力。一个模型完全可能在训练集上表现极好，却只是记住了样本中的噪声与偶然性。训练集成绩更多反映“拟合能力”，而不是“真实上线表现”。

验证集（Validation Set）用于模型选择（Model Selection）和超参数调优（Hyperparameter Tuning）。它不直接参与参数更新，但会影响训练流程中的关键决策，例如学习率（Learning Rate）、正则化强度、模型深度、树的数量、batch size、阈值选择，以及是否执行 Early Stopping。

验证集回答的问题不是“模型能不能学会”，而是：在若干候选配置里，哪一个更可能在新数据上表现最好。因此，验证集像训练过程中的“模拟考试”：它不是最终成绩单，但会决定你在训练期间如何改模型、如何调参数、何时停止训练。

验证集通常占总数据的 10% 到 15% 左右。若数据量很小，单独留出一份验证集的代价会较高，此时更常见的做法是使用 \(K\) 折交叉验证，让每个样本轮流充当验证数据，以减少一次随机划分带来的偶然性。交叉验证的细节放在后面的“模型评估”部分展开。

测试集（Test Set）用于最终评估模型的泛化能力（Generalization）。它应尽量只在方案冻结之后使用：模型结构、超参数、训练策略、阈值和后处理规则都不再修改时，才在测试集上做一次最终评估。它回答的问题是：如果把模型部署到真实世界，它在新样本上的表现大致会怎样。

测试集通常占总数据的 10% 到 15%。它的重要性不在于比例有多大，而在于它必须保持“未参与决策”。如果开发过程中反复查看测试集结果，并据此继续改模型，那么测试集就已经被污染，不再是独立评测，而变成了另一个隐性的验证集。

因此，测试集更像真正的“高考卷”或“盲测集”：它的价值在于最后一次、尽量无偏的评估，而不是参与训练流程本身。

最常见的简单划分是训练集 / 验证集 / 测试集 = 70% / 15% / 15%，或 80% / 10% / 10%。这种划分适合样本量较大、类别分布较稳定的任务，因为单次随机切分已经足以给出相对稳定的训练与评估结果。

当数据量较小、类别极不平衡、或者不同子群体差异明显时，划分策略就必须更谨慎。分类任务常采用分层抽样（Stratified Split），确保训练、验证、测试三部分的类别比例大致一致；时间序列任务则必须按时间顺序切分，避免未来信息泄漏到过去；用户级、设备级、病人级任务常需要按实体分组切分，防止同一实体的样本同时出现在训练集和测试集中，造成过于乐观的结果。

因此，“如何划分”本身就是建模的一部分。划分方式若与真实部署场景不一致，即使指标很好，也可能只是评估设定过于宽松，而不是真正泛化能力强。

数据泄露（Data Leakage）指测试集或验证集中的信息以直接或间接方式进入训练过程，从而导致模型评估结果虚高。它的危险不在于“代码报错”，而在于模型会表现得看似极好，却无法在真实新数据上复现。

最常见的数据泄露有几类。第一类是先对全量数据做预处理，再切分数据，例如先用全量数据计算标准化均值和方差，再划分训练 / 测试集；这样测试集的信息已经进入了训练流程。第二类是用测试集反复调参，例如每改一次模型就看一次测试集成绩，直到测试集最好看为止。第三类是特征中混入未来或标签信息，例如用预测时不可能知道的字段做输入，或把目标变量的某种变形偷偷带进特征。

避免数据泄露的原则只有一句：任何依赖数据分布统计量、特征构造规则、模型选择决策或阈值选择的步骤，都只能在训练集内部完成，再把同样的变换应用到验证集和测试集。标准化、特征选择、缺失值填补、目标编码（Target Encoding）、降维（PCA）和重采样（Resampling）都要遵守这一原则。

因此，数据集划分不只是“把数据分三份”这么简单，而是整个实验设计（Experimental Design）的一部分。只有训练集、验证集、测试集的职责边界清晰，交叉验证使用得当，且数据泄露被严格控制，模型指标才具有解释价值和可复现实验意义。

归一化（Normalization）与标准化（Standardization）都在解决“不同特征量纲和尺度差异过大”问题，但含义不同。最常见的最小-最大归一化把数据映射到固定区间：

它把特征压到 \([0,1]\)，适合像像素值、比例值这类天然有上下界的量。标准化则是减去均值、再除以标准差：

标准化后的特征均值为 0、标准差为 1，更适合线性模型、距离模型和很多神经网络优化过程。类比来看，归一化像“把不同长度的尺子都缩到同一长度区间”；标准化像“先平移到共同中心，再按波动尺度统一单位”。

特征工程（Feature Engineering）是把原始数据加工成更利于模型学习的表示。它不是“多造点列”这么简单，而是在把领域知识编码进输入空间。例：时间戳可以拆成小时、星期、是否节假日；用户行为日志可以构造近 7 天点击次数、转化率、时间衰减统计；文本可以做 TF-IDF、n-gram 或实体抽取。

类比来看，特征工程像做菜前的备料：同样的原料，如果已经切片、去骨、配好比例，后续烹饪会顺畅得多。经典机器学习对特征工程高度依赖；深度学习则把一部分特征学习自动化了，但在表格数据、推荐、广告和风控里，特征工程仍然决定上限。

类别不平衡（Class Imbalance）指某些类别样本远多于另一些类别。欺诈检测、故障检测、医学筛查里最典型：正类往往极少。如果不处理，模型可能通过“永远预测多数类”获得看似不错的 Accuracy，却在关键少数类上彻底失效。

常见处理方法包括：重采样（过采样少数类、欠采样多数类）、类别加权（Class Weighting）、阈值调整（Threshold Tuning）和使用更合适的指标（如 Precision、Recall、PR-AUC）。例如在信用卡欺诈场景中，正类只占 0.1%，此时“全判正常”会有 99.9% Accuracy，但业务价值几乎为 0。

模型评估（Model Evaluation）回答的不是“模型能不能在训练集上做对”，而是“模型在新数据上是否可靠，以及错误代价如何”。不同任务对应的指标重点不同：分类关心类别区分，回归关心数值偏差，排序关心相对顺序。

交叉验证（Cross Validation）在数据较少时特别重要。最常见的 \(K\) 折交叉验证把数据分成 \(K\) 份：每次用其中 1 份做验证、其余 \(K-1\) 份训练，循环 \(K\) 次，最后对 \(K\) 个验证结果取平均。

它的作用像“轮流把不同一份数据拿出来当模拟考试卷”，从而降低一次随机划分带来的偶然性。对小数据集而言，单次划分可能刚好“运气好或坏”；交叉验证则给出更稳定的泛化估计。

校准（Calibration）讨论的是：模型给出的概率值，是否真的能当概率解释。分类模型不只输出“判成哪一类”，还常输出一个置信分数，例如 \(0.9\)。若一个模型在所有“预测概率约为 0.9”的样本子集上，最终真的有约 90% 预测正确，那么它就是校准良好的；若它经常把只有 60% 把握的样本说成 90%，就属于过度自信（Overconfident）。

二分类中，若模型输出正类概率 \(\hat p(x)\in[0,1]\)，理想校准条件可写成：

这里左边表示：在所有预测概率等于 \(p\) 的样本中，真实为正类的条件概率；右边的 \(p\) 是模型自己报出的概率。两者相等时，概率输出就与真实频率一致。多分类场景下，常把模型最大类别概率当作置信度，并检验“报 80% 置信度的样本，是否真的大约 80% 正确”。

校准与准确率不是同一件事。一个模型可以分类很准，但概率不可靠；也可以概率尺度较准，但分类边界并不最优。前者常见于深层神经网络：argmax 分类结果不错，但 softmax 概率偏尖，置信度系统性偏高。涉及风险控制、医学筛查、自动驾驶、检索重排、多阶段决策时，概率是否可信往往和“分对多少”同样重要，因为阈值决策、人工复核和代价加权都依赖这个概率尺度。

校准的可视化工具通常是可靠性图（Reliability Diagram）。做法是把预测置信度分成若干区间，例如 \([0.0,0.1),[0.1,0.2),\dots\)，然后对每个区间分别计算平均置信度与真实准确率。若图上的点接近对角线 \(y=x\)，说明校准较好；若点普遍落在对角线下方，说明模型报得比实际更自信；若点在对角线上方，则说明模型偏保守。

常用数值指标是期望校准误差（Expected Calibration Error, ECE）：

这里 \(M\) 是置信度分箱数， \(B_m\) 是第 \(m\) 个置信度区间中的样本集合， \(|B_m|\) 是该区间样本数， \(n\) 是总样本数， \(\mathrm{acc}(B_m)\) 是该区间的实际准确率， \(\mathrm{conf}(B_m)\) 是该区间的平均预测置信度。ECE 的含义很直接：把每个置信区间里“说得多准”和“实际多准”的差值取绝对值，再按样本占比加权平均。ECE 越小，表示整体校准越好。

另一类常见指标是 Brier Score。对二分类，它定义为：

这里 \(\hat p_i\) 是第 \(i\) 个样本的预测正类概率， \(y_i\in\{0,1\}\) 是真实标签。它既惩罚分类错误，也惩罚概率刻度不准，因此兼顾区分能力与概率质量。与单纯 Accuracy 不同，Brier Score 会区分“错得有多离谱”：把一个负样本报成 \(0.51\) 和报成 \(0.99\)，代价并不相同。

工程上最常见的后处理方法是温度缩放（Temperature Scaling）。设原始 logits 为 \(z_i\)，则缩放后的 softmax 概率写成：

这里 \(T>0\) 是温度参数。 \(T>1\) 会把分布拉平，降低过度自信； \(T<1\) 会把分布压尖，提高置信度。温度参数通常在验证集上通过最小化负对数似然（Negative Log-Likelihood, NLL）来拟合，然后固定用于测试或部署阶段。它不会改变类别排序，因此常能在几乎不影响 Accuracy 的前提下改善概率校准。

分类指标通常从混淆矩阵（Confusion Matrix）出发。设正类预测结果统计为真阳性 \(TP\)、假阳性 \(FP\)、真阴性 \(TN\)、假阴性 \(FN\)。不同指标本质上是在回答不同问题：是看“总共判对多少”，还是看“判成正类时有多准”，还是看“真实正类抓到了多少”。

准确率（Accuracy）定义为

它衡量“总体上判对了多少比例”，适合类别相对平衡、不同错误代价接近的场景。但在类别极不平衡时会误导：例如癌症筛查里，99% 都是阴性时，模型全判阴性也可能有 99% Accuracy，却毫无检测价值。

精确率（Precision）定义为

它回答的是：“所有被模型判成正类的样本里，有多少真的为正。”当误报成本很高时，Precision 特别重要。例：垃圾邮件过滤里，如果把正常邮件误判成垃圾邮件代价很高，就要关心 Precision。

召回率（Recall）定义为

它回答的是：“所有真实正类里，有多少被模型找出来了。”当漏报成本很高时，Recall 更关键。例：医学筛查里漏掉患者可能比多做一次复检更危险，因此 Recall 往往比 Precision 更重要。

F1 值（F1 Score）是 Precision 与 Recall 的调和平均：

之所以用调和平均而不是普通平均，是因为它会惩罚“一高一低”的不平衡情况。若一个模型 Precision 极高但 Recall 很低，它并不能拿到高 F1。F1 适合正负样本不平衡、且希望兼顾漏报与误报的场景。

AUC-ROC 衡量模型在不同分类阈值下区分正负样本的整体能力。ROC 曲线横轴是假阳性率（False Positive Rate），纵轴是真阳性率（True Positive Rate）。AUC 是曲线下面积，范围在 \([0,1]\)；越接近 1，说明模型越能把正样本排在负样本前面。

它不依赖某一个固定阈值，因此适合比较“排序能力”。但在极端不平衡数据上，PR 曲线（Precision-Recall Curve）常更敏感，因为 ROC 容易被大量真阴性“冲淡”。

回归指标（Regression Metrics）衡量预测值与真实值之间的数值偏差。它们关注的不是“判对类别”，而是“偏差有多大、对大误差是否敏感、模型解释了多少波动”。以房价预测为例，预测 300 万和真实 320 万之间的差距，就是典型回归误差。

平均绝对误差（Mean Absolute Error, MAE）定义为

它直接度量“平均差了多少个原始单位”，解释最直观。若房价单位是万元，MAE=12 就表示平均误差约 12 万元。由于使用绝对值，MAE 对离群点没有 MSE 那么敏感。

均方误差（Mean Squared Error, MSE）定义为

平方会放大大误差，因此 MSE 对离群点更敏感。它常用于你希望“大错要被重罚”的场景。高斯噪声假设下，最小化 MSE 还对应最大似然估计，因此它不仅是工程指标，也是概率建模结果。

均方根误差（Root Mean Squared Error, RMSE）是

它保留了 MSE 对大误差更敏感的性质，同时把单位拉回原始量纲，因此更易解释。若房价 RMSE 为 20 万元，可以直接理解为“典型误差量级约 20 万元”。

\[R^2\]（决定系数，Coefficient of Determination）回答的是：相比于最朴素的瞎猜基线，你的回归模型到底把预测提升了多少。要理解它，只需要在脑子里放两条线：一条是“什么都不知道时只能猜平均值”的水平线，另一条是模型给出的预测曲线。

先看最朴素的基线。假设你要预测一批房子的价格，但你手里没有面积、地段、楼龄这些特征，别人却逼着你给出预测。此时最不容易挨打的办法，不是胡乱报一个数字，而是对所有房子都猜样本平均价 \(\bar y\)。在散点图上，这对应一条横向的水平线。

真实房价 \(y_i\) 会散落在这条平均线的上下。每个点到平均线的垂直距离 \(y_i-\bar y\)，就是“瞎蒙平均值”时犯下的误差。把这些误差平方后全部加起来，就得到

这就是公式里的分母。它衡量的不是模型误差，而是这批数据本身原来就有多分散、多混乱。也可以把它理解为目标变量的总波动、总混沌程度，或者说“在完全不用特征时，世界原本有多少东西解释不了”。

现在再看你的模型。你训练出一个回归模型，它根据输入特征给出预测 \(\hat y_i\)。在图上，这不再是那条死板的水平线，而是一条试图穿过散点云中心的预测曲线。模型当然不可能完美，所以每个真实值 \(y_i\) 与预测值 \(\hat y_i\) 之间仍会有垂直误差，这个误差就是残差（Residual）。

把这些模型仍然没解释掉的误差平方后加起来，就得到

这就是公式里的分子，也叫残差平方和（Residual Sum of Squares, RSS）。它代表模型已经尽力之后，世界上依然残存的混沌。分子越小，说明模型越贴近真实数据；分子越大，说明模型虽然复杂，但其实没把问题解释清楚。

于是

这条式子就可以直接读成一句大白话：先看模型还剩下多少解释不了的波动，再除以最开始总共有多少波动，得到“模型搞不定的比例”；最后用 1 减掉它，剩下的就是模型成功解释掉的波动比例。

因此，若 \(R^2=0.8\)，意思不是“正确率 80%”，而是目标变量原本有 100 份波动，模型大约解释掉了其中 80 份，只剩 20 份还没解释；若 \(R^2=0\)，说明你的模型折腾半天，效果和“永远预测平均值”完全一样；若 \(R^2<0\)，则表示模型比这个最朴素基线还差，常见原因是模型设错了、特征没信息，或实现上有 bug。

从老板视角看， \(R^2\) 的灵魂拷问其实只有一句：相比直接拿平均值糊弄事，你这个复杂回归模型到底多解释了多少真实波动。这也是为什么 \(R^2\) 特别适合回答“模型有没有真正利用特征学到东西”，但它不能替代 MAE、RMSE——因为 \(R^2\) 讲的是解释比例，而不是误差到底有多少个原始单位。

优化算法（Optimization Algorithms）解决的问题非常朴素：模型参数该往哪个方向改，才能让损失函数持续下降。只要训练目标能写成“最小化某个损失函数”，背后就需要一套更新参数的规则。线性回归、逻辑回归、神经网络、大语言模型训练，本质上都绕不开这个问题。

这里要先分清两件事。优化（Optimization）关心的是“训练损失能不能降下来”；泛化（Generalization）关心的是“模型在新样本上好不好”。一个优化器可能把训练集拟合得很好，但泛化依然一般；反过来，一个优化器如果连训练损失都压不下去，模型通常也谈不上有效。因此优化算法决定的是你如何走向一个解，而不是直接保证这个解一定最好。

梯度下降（Gradient Descent）是最核心的一阶优化思想。设损失函数为 \(L(\theta)\)，参数为 \(\theta\)，则梯度 \(\nabla_\theta L(\theta)\) 给出“损失上升最快的方向”。既然梯度指向上坡，那么要让损失下降，就应沿着它的反方向更新参数：

这里 \(\theta_t\) 是第 \(t\) 步的参数， \(\eta\) 是学习率（Learning Rate），决定每一步走多大； \(\nabla_\theta L(\theta_t)\) 是当前位置的斜率信息。学习率太大，容易一步跨过谷底甚至震荡发散；学习率太小，又会下降得极慢。它像蒙着雾下山：梯度告诉你脚下哪边更陡，学习率决定你每次迈多大步。

为什么很多模型不直接“解公式”，而要反复迭代？因为在深度学习里，参数维度极高，损失面又往往非凸（Non-convex），通常没有漂亮的闭式解（Closed-form Solution）。这时最现实的办法不是一次算出全局最优，而是利用局部斜率，一步一步把损失往下压。

当总损失是逐样本损失的平均时，梯度下降还可以写得更具体：

这也回答了“为什么可以批量喂输入”：梯度对求和是线性的，整体梯度等于逐样本梯度的平均，所以可以并行算每个样本的梯度，再求平均后统一更新参数。

满足这种“逐样本求和/求平均”结构的损失函数其实非常多。典型例子包括：线性回归里的均方误差（MSE）、平均绝对误差（MAE），二分类里的 logistic loss / binary cross-entropy，多分类里的交叉熵（Cross-Entropy），语言模型训练里的负对数似然（Negative Log-Likelihood, NLL）。它们都可以写成“每个样本先各自算一份损失，再在整个数据集上取平均”的形式，因此天然适合 mini-batch 训练。

但并不是所有目标都能严格写成这种完全独立的逐样本平均。若损失显式依赖样本之间的相对关系，情况就会复杂一些。例如排序学习里的 pairwise/listwise loss、度量学习中的 triplet loss，以及对比学习里的 InfoNCE，都会让一个样本的损失依赖同一个 batch 中的其他样本。此时虽然仍然可以按 batch 计算梯度，但它已经不是“每个样本各算各的、最后简单平均”那么干净的分解了。

工程上还常见另一种情况：目标函数可以写成“逐样本平均损失 + 正则项（Regularization）”。例如

其中 \(\Omega(\theta)\) 可以是 \(\|\theta\|_2^2\) 这类参数惩罚项。前半部分仍然按样本分解，后半部分则是直接作用于参数本身，而不对应某一个单独样本。很多现代训练目标，本质上都是这两部分的组合。

几个常用训练量需要先分清：

• 批大小（Batch Size）：一次更新使用多少个样本。
• 步（Step / Iteration）：一次参数更新。
• 轮（Epoch）：完整遍历一次训练集。

若训练集大小为 \(N\)，batch size 为 \(B\)，则每个 epoch 的步数约为 \(\lceil N/B\rceil\)。工程里经常会说“训练了多少 step”，因为真正发生参数变化的是 step，而不是 epoch 这个更粗的计数单位。

批量梯度下降（Batch Gradient Descent, BGD）每次都用整个训练集来计算一次精确梯度，再更新参数。这里的 batch 指的不是现代深度学习里常说的一个 mini-batch，而是“整批训练数据”。它的优点是方向最稳定、梯度方差最小；缺点是每一步都很贵，数据一大就几乎不可用。它更适合小数据集、凸优化问题，或教材里说明“梯度下降原理”时使用。

随机梯度下降（Stochastic Gradient Descent, SGD）每次只用一个样本的梯度做更新。它的方向噪声很大，看起来像“跌跌撞撞地下山”，但每一步极便宜、更新极频繁，因此在数据流式到来或样本极多时很有价值。

• 优点：更新快、内存开销小、天然适合在线学习（Online Learning）与流式数据（Streaming Data）。
• 优点：梯度噪声有时反而是好事，更容易离开鞍点（Saddle Point）和较差的局部极小。
• 缺点：轨迹抖动大，若学习率控制不好，训练容易不稳定。

它像店长根据每一位新顾客的反馈立刻调价：反应很快，但也容易被个别顾客带偏。

适用场景：当你需要用最新样本尽快产生参数更新时，SGD（batch size=1）是最直接的选择，典型包括：

• 在线学习（Online Learning）/流式数据（Streaming Data）：样本持续到来，要求增量更新，而不是离线反复扫全量数据。
• 分布漂移（Distribution Shift）与非平稳（Non-stationary）环境：用户偏好、市场、策略对抗等持续变化，需要快速跟踪新分布。
• 低延迟更新需求：例如广告/推荐/风控的在线校准，需要“见到一条新反馈就更新一点”。
• 资源受限或样本极大：内存无法容纳大 batch 或无法频繁计算全量梯度时，用单样本更新换取更低的每步计算与存储成本。

在现代深度学习里，若使用 GPU/TPU 训练，大多数时候会用小批量梯度下降来兼顾吞吐与稳定性；纯 SGD 更常出现在在线/增量训练与部分强化学习（Reinforcement Learning, RL）设置中。

小批量梯度下降（Mini-batch SGD）是在 BGD 与 SGD 之间折中：每次用一个 batch 的平均梯度更新。它既能利用 GPU 的并行算力，又保留一定梯度噪声，因此现代深度学习几乎都在这个范式下训练。

batch 太小，梯度估计噪声会很大；batch 太大，虽然每步更稳定，但显存压力更高、更新频率更低，有时还会让优化和泛化都变钝。因此 batch size 不是“越大越好”，而是吞吐、稳定性、显存和泛化之间的折中。

单纯的梯度下降在“峡谷形”损失面里很容易左右来回震荡：沿陡峭方向上下摆动，沿真正有用的谷底方向前进却很慢。动量法（Momentum）的直觉是：不要只看当前这一脚的斜率，而要把过去几步的方向累积成一种“惯性”。

其中 \(g_t\) 是当前梯度， \(v_t\) 是累计出来的速度， \(\beta\in[0,1)\) 控制“记住过去多少信息”。 \(\beta\) 越大，方向越平滑、惯性越强；越小，则越接近普通梯度下降。类比来看，它像推一个有重量的小球下山：不会因为脚下的微小凸凹就频繁改道，而会沿长期更一致的下降方向滚动。

AdaGrad 与 RMSProp 属于自适应学习率（Adaptive Learning Rate）方法。它们的核心思想是：不同参数的梯度尺度不同，不应该所有维度都用同一个固定步长。历史上梯度很大的维度，后续步子要缩小；梯度稀疏或很小的维度，则可以走得更积极。

AdaGrad 累积历史平方梯度：

其中 \(g_t\odot g_t\) 表示逐元素平方， \(\epsilon\) 是数值稳定项。这样一来，历史上梯度一直很大的维度会被自动缩小学习率。AdaGrad 在稀疏特征（Sparse Features）任务里很有效，例如早期的文本与推荐场景；但它的问题是 \(s_t\) 只增不减，训练到后期学习率可能衰减得过头，参数几乎不再动。

RMSProp 用指数滑动平均替代“无限累积”，缓解这个问题：

这样历史信息会逐步“遗忘”，使学习率缩放更关注近期梯度尺度。可以把 AdaGrad 理解成“终身记账”，而 RMSProp 更像“滚动记账”。

Adam（Adaptive Moment Estimation）把动量法（Momentum）的一阶矩估计与 RMSProp 的二阶矩估计结合起来，因此它同时解决优化中的两个核心痛点：方向感（往哪走）与节奏感（每步走多大）。直觉上，可以把它理解为“带惯性的方向盘 + 自动变速箱”：方向由平均梯度决定，步长由梯度的尺度自动缩放。

• 索引约定：第 \(t\) 次更新先在 \(\theta_t\) 处计算 \(g_t\)，再把它并入动量得到 \(m_{t+1}\)；下标 \(t+1\) 表示“更新后状态”，不是未来信息。
• \(m_{t+1}\)：并入 \(g_t\) 后的一阶矩（动量）估计。
• 右边第一项 \(\beta_1 m_t\)：把历史动量按系数 \(\beta_1\) 保留下来，表示“历史方向对新方向的贡献”。
• 右边第二项 \((1-\beta_1)g_t\)：把当前梯度按系数 \(1-\beta_1\) 注入动量，表示“当前观测对新方向的贡献”。
• \(g_t\)：第 \(t\) 步的梯度，通常由当前 mini-batch 估计得到（\(g_t=\nabla_\theta L(\theta_t)\)）。
• \(m_t\)：一阶矩估计的滑动平均（动量项），可理解为“平均梯度方向”。
• \(\beta_1\in[0,1)\)：动量衰减系数，越大表示记忆越长、方向越平滑。

两项系数满足 \(\beta_1+(1-\beta_1)=1\)，因此这是指数滑动平均（Exponential Moving Average, EMA，越近发生的事情，参考价值越大；越久远的事情，参考价值越小）。当 \(m_0=0\) 时，可把它展开为：

上式说明：越久远的梯度 \(g_k\) 权重按 \(\beta_1^{t-k}\) 指数衰减；经验上可把有效记忆长度理解为 \(O\!\left(\frac{1}{1-\beta_1}\right)\)。因此 \(\beta_1\) 越大，平均窗口越长，方向越平滑但响应越慢；\(\beta_1\) 越小，平均窗口越短，方向更敏捷但更易受噪声影响。

RMSProp（Root Mean Square Propagation）用梯度平方的指数滑动平均（Exponential Moving Average, EMA）来估计每个参数维度的“尺度”，再用该尺度对当前梯度做逐元素归一化，从而把更新步伐控制在更稳定的量级。

• 索引约定：第 \(t\) 次更新先在 \(\theta_t\) 处计算 \(g_t\)，再用它更新得到 \(v_{t+1}\)；用 \(v_{t+1}\) 缩放 \(g_t\) 表示“用本次更新后的尺度估计做归一化”，不涉及未来信息。
• \(v_t\)：上一轮更新结束后的二阶原点矩估计（EMA 状态，“更新前的尺度缓存”）。
• \(v_{t+1}\)：梯度的二阶原点矩（Second Raw Moment）估计，逐（梯度）维近似 \(\mathbb{E}[g^2]\)，刻画“历史梯度大小”的典型尺度。
• \(g_t\odot g_t\)：当前梯度的逐元素平方（\(\odot\) 为 Hadamard 乘积），只保留幅度信息。
• \(\sqrt{v_{t+1}}\)：均方根（Root Mean Square, RMS）尺度；平方使量纲变为 \(g^2\)，开方把量纲还原到 \(g\)，从而可与 \(g_t\) 相除。
• \(\tilde g_t\)：按 RMS 尺度归一化后的梯度；分式表示逐元素相除（每个参数维度各自缩放）。
• \(\beta_2\in[0,1)\)：衰减系数，控制尺度估计的记忆长度；越大表示对历史尺度更“长记忆”。
• \(\epsilon\)：数值稳定项，避免分母为 0 或过小。

该缩放把“方向”和“尺度”解耦：方向仍由 \(g_t\) 给出；步长由 \(\sqrt{v_{t+1}}\) 自适应调节。若某维长期梯度偏大，则 \(\sqrt{v_{t+1}}\) 变大、该维更新被压小；若某维长期梯度偏小，则分母较小、该维相对步子更大。

若把 RMSProp 作为独立优化器使用，参数更新可写为 \(\theta_{t+1}=\theta_t-\eta\,\tilde g_t\)。在 Adam 中，同样的 RMS 缩放作用在一阶矩估计上：用 \(\hat m_{t+1}\) 替代 \(g_t\) 作为分子，并在下一节通过偏置修正得到 \(\hat v_{t+1}\) 作为分母。

因为 \(m_0=v_0=0\)，训练初期的滑动平均会系统性偏小（“没热起来”）。Adam 用偏置修正把它拉回合理尺度：

• \(\hat m_{t+1},\hat v_{t+1}\)：偏置修正后的估计，用来抵消初始化为 0 导致的早期偏小。
• 分母 \(1-\beta^{t+1}\)：校正“冷启动偏小”的缩放因子。由于初始化为 0，指数滑动平均在经历 \(t+1\) 次更新时只积累了约 \(1-\beta^{t+1}\) 的有效权重，因此会偏小；除以它相当于把估计值按同样比例放大回去。

更严格地说：若假设 \(\mathbb{E}[g_t]=\mu\) 近似稳定，则由递推可得 \(\mathbb{E}[m_{t+1}]=(1-\beta_1^{t+1})\mu\)，因此 \(\hat m_{t+1}=\frac{m_{t+1}}{1-\beta_1^{t+1}}\) 是把它改成近似无偏估计。同理可得 \(\hat v_{t+1}\) 的修正。

• \(\theta_t\)：第 \(t\) 步参数（权重向量/张量）。
• \(\eta\)：学习率（全局步长系数）。
• \(\sqrt{\hat v_{t+1}}\)：逐元素开方；整项 \(\frac{\hat m_{t+1}}{\sqrt{\hat v_{t+1}}+\epsilon}\) 表示逐元素相除。
• \(\epsilon\)：数值稳定项，避免除以 0 或极小数。

分子给方向，分母给节奏。一个极端例子能看出为什么 Adam 用 \(\mathbb{E}[g^2]\) 而不是方差：若某维梯度连续很多步都是 \(g_t=10\)，方差为 0 会导致除法不稳定；但 \(\mathbb{E}[g^2]\approx 100\) 给出稳定尺度，最终更新量级约为 \(10/\sqrt{100}=1\)（再加 \(\epsilon\) 保底）。

Adam 往往更易调参、早期收敛更快，因此在 Transformer、扩散模型和很多深度网络里是默认起点。但它并不是无条件最好：有些任务上，最终泛化仍可能不如精心调过的 SGD。实践中，配合权重衰减（Weight Decay）时，通常会使用 AdamW，把权重衰减从梯度自适应缩放里解耦出来，效果更稳。

AdamW（Adam with Decoupled Weight Decay）把权重衰减（Weight Decay）从 Adam 的自适应梯度缩放里解耦出来。原因是：在 Adam 这类自适应方法里，如果你把 L2 正则化写进损失（等价于把 \(\lambda\theta\) 加到梯度里），这个正则项也会被二阶矩 \(\hat v_t\) 的缩放影响，从而导致不同参数维度的“衰减强度”不再可控。

正则化本来应该是一个可控的、与梯度尺度无关的收缩力度；解耦后 \(\lambda\) 的含义更稳定。

对比两种写法会更清楚：

• 把 L2 正则化并入目标（常被口语化地称为“weight decay”，但在自适应优化器里并不等价）：先算 \(g_t=\nabla_\theta L(\theta_t)+\lambda\theta_t\)，再把这个 \(g_t\) 送入 Adam 的 \(m_t,v_t\) 与自适应步长。
• AdamW（解耦权重衰减）：先算纯数据梯度 \(g_t=\nabla_\theta L(\theta_t)\) 并完成 Adam 的自适应更新，然后单独对参数做一次权重衰减。

AdamW 的参数更新可写成：

• 前半段 \(-\eta\,\frac{\hat m}{\sqrt{\hat v}+\epsilon}\)：Adam 的自适应梯度更新（由数据损失驱动）。
• 后半段 \(-\eta\,\lambda\,\theta_t\)：解耦的 weight decay（参数按比例收缩），其中 \(\lambda\) 是衰减强度。

其中第一项是 Adam 的自适应更新，第二项是独立的权重衰减（等价于每步把权重按比例拉向 0）。这种分离让 \(\lambda\) 更像一个真正可解释的“收缩强度”，在 Transformer 等模型上通常更稳定、更好调。工程实现里常见做法是：对 bias 与归一化层参数（如 LayerNorm 的 \(\gamma,\beta\)）不做 weight decay，以免对尺度/偏置项造成不必要的收缩。

Muon 是一种面向神经网络隐藏层（Hidden Layer）权重矩阵（Weight Matrix）的优化器。它与 Adam/AdamW 的根本差异在于：AdamW 会为每个参数维度单独估计更新尺度，并对梯度/更新量做逐元素（Element-wise）归一化；Muon 则把一个二维权重张量视为一个整体，直接利用矩阵结构来塑造更新方向。因此，Muon 更像一种矩阵感知（Matrix-aware）的优化器。

它的核心做法不是改变“沿梯度下降”这个大方向，而是改变“更新张量应该具有什么几何形状”。典型写法可以概括为：先对梯度做动量（Momentum）累积，再把这个矩阵更新做一次正交化（Orthogonalization）后处理，然后才真正更新参数：

这里 \(G_t\) 是当前梯度矩阵， \(M_t\) 是动量缓冲， \(\mathrm{Orth}(\cdot)\) 表示把更新矩阵变换到更“接近正交（Orthogonal）”的形状。工程实现里，这一步通常用 Newton-Schulz 迭代（Newton-Schulz Iteration）高效近似完成，因此 Muon 常被概括为“对动量更新做正交化”。

• 优势：对线性层/MLP/注意力里的二维权重矩阵，Muon 往往能给出更结构化的更新方向；在一些大模型训练设定下，它的训练效率与收敛速度优于 AdamW。
• 边界：Muon 不是全参数通吃的默认方案。它通常只用于隐藏层的二维参数；embedding、bias、归一化参数、输出层等非二维或语义不同的参数，实践中常继续交给 AdamW。
• 工程特征：它强调更新矩阵的谱结构（Spectral Structure），而不是单个坐标的独立缩放；因此超参数分组与参数类型划分比 AdamW 更重要。

可以把 AdamW 与 Muon 的差别记成一句话：AdamW 解决“每个参数该走多大步”，Muon 进一步关心“整个矩阵应该以什么形状移动”。因此 Muon 更像是隐藏层矩阵优化的专用工具，而不是对所有参数一视同仁的通用默认项。

学习率（Learning Rate）往往是最敏感的超参数之一。即使优化器相同，只要学习率设错，训练就可能完全失败。学习率调度（Learning Rate Scheduling）/退火（Annealing）的核心思想是：前期用相对大的步长快速下降，后期逐渐减小步长做精细收敛。

常见调度方式包括：

• Step decay：按 epoch 或 step 乘以固定因子衰减，简单直接。
• Linear decay：线性下降到较小值或 0，常用于大模型训练后段。
• Warmup + decay：先小步热身，再进入正常学习率，最后逐步衰减；对 Transformer 和大 batch 训练尤其常见。
• 余弦退火（Cosine Annealing）：将学习率从较大值逐步衰减到较小值，把优化从“高温探索”过渡到“低温收敛”，在训练后期降低梯度噪声（gradient noise）与过冲（overshoot）风险，使参数能在极小值附近稳定细化。余弦曲线在起点与终点的一阶导数为 0，避免阶梯式衰减的突变，因而衰减更平滑、后期更柔和。

Warmup 为什么有用？因为训练刚开始时，参数还处在一个非常“生”的区域，梯度统计不稳定，若一上来就用很大学习率，模型容易发散。先用较小步长热身几百或几千步，再拉到目标学习率，通常更稳。

余弦退火的典型写法（从 \(\eta_{\max}\) 衰减到 \(\eta_{\min}\)）为：

• \(\eta(t)\)：第 \(t\) 步使用的学习率。
• \(\eta_{\max}\) / \(\eta_{\min}\)：一个退火周期内的最大学习率与最小学习率。
• \(t\)：当前步数（通常从 0 开始计），\(T\)：该周期的总步数。

这个公式可以直接做两次代入来验证边界：当 \(t=0\) 时，\(\cos(0)=1\)，所以 \(\eta(0)=\eta_{\max}\)；当 \(t=T\) 时，\(\cos(\pi)=-1\)，所以 \(\eta(T)=\eta_{\min}\)。中间学习率按半个余弦周期平滑下降。

通过余弦（Cosine）提供了一个非常干净的端点平滑（smooth endpoints）性质：在起点和终点处变化率为 0。对上式求导可得

因此 \(\sin(0)=\sin(\pi)=0\)，学习率在周期开始与结束都不会出现突兀的“拐点”。相比之下，step decay 有不连续跳变，linear decay 在末端通常会突然到达下限并停止变化（出现不光滑的折点）。在非凸深度网络里，这种平滑退火往往更稳：前期保持较大步长便于探索，后期自然减小步长便于精细收敛。

工程上常见扩展是余弦重启（Cosine Annealing with Warm Restarts, SGDR）：把训练过程切成多个周期，每个周期把 \(t\) 重新从 0 开始计（并可逐周期拉长 \(T\)）。在标准 SGDR 中，学习率在周期边界是不连续的：它会在一个周期末端衰减到 \(\eta_{\min}\)，并在下一个周期起点从 \(\eta_{\max}\) 重新开始（参数 \(\theta\) 不会重置）。

这种“重启”的作用不是为了制造噪声，而是把优化过程从“后期小步精修”短暂切回“较大步长探索”，以应对非凸问题中的平台区（plateau）与次优盆地（suboptimal basin）。学习率拉高会增大每步更新幅度与梯度噪声（gradient noise）的有效影响，帮助轨迹跳出当前区域并探索新的吸引域；而如果当前区域确实是更稳健的平坦极小值（flat minimal），后续退火通常会把参数再次拉回并在附近更精细地收敛。工程上常见做法是把 \(\eta_{\max}\) 设在“不会破坏稳定性”的范围内；若重启瞬间仍担心不稳定，也可以在每次重启后加一个很短的 warmup，让学习率在少量步数内从较小值爬升到 \(\eta_{\max}\)。

没有一种调度策略对所有任务都最好。真正有效的做法是结合损失曲线、梯度稳定性、验证集表现和训练预算一起看：如果前期降不动，往往学习率偏小；如果剧烈震荡甚至发散，往往学习率偏大；如果后期长期卡在平台区，通常需要更细的衰减策略。

集成学习（Ensemble Learning）的核心思想是：不要只信一个模型，而是让多个模型共同投票或共同修正。它背后的统计直觉是：不同模型的误差如果不完全一致，组合后往往比单个模型更稳。类比来看，这像让多个医生会诊：一个人可能看偏，但几个人的综合意见通常更可靠。

Bagging（Bootstrap Aggregating）的核心做法是对训练集进行多次自助采样（bootstrap sampling），即反复执行有放回采样（sampling with replacement）生成多个训练子集，并在这些子集上分别训练基模型，以降低方差（Variance）。由于每个模型见到的数据子集略有差异，学到的决策边界不会完全一致；最后对预测结果做平均或多数投票，可抵消一部分过拟合噪声。

例：如果单棵决策树很容易被训练集中的偶然样本带偏，那么训练 100 棵在不同 bootstrap 样本上的树，再投票，通常会比只用 1 棵树稳定得多。这也是随机森林的核心直觉。

Boosting 的思路与 Bagging 相反：它不是“并行训练很多彼此独立的模型”，而是“串行训练一串弱学习器（Weak Learners），让后一个模型专门修正前一个模型没做好的部分”。因此它更像“老师批改作业”：每一轮都盯着上轮最容易出错的题继续强化。

以加法模型视角看，Boosting 逐步构造

其中 \(h_m(x)\) 是第 \(m\) 个弱学习器， \(\alpha_m\) 是它的权重。公式不是为了堆符号，而是在表达：最终模型是“很多个简单模型的加权和”，每一轮都往当前模型上加一小块“修正项”。

Stacking（堆叠集成）不只是平均多个模型输出，而是再训练一个元学习器（Meta-Learner）去学习“什么时候该信哪个模型”。例如一个基模型擅长处理稀疏文本特征，另一个擅长处理数值特征，Stacking 可以学会在不同样本上动态加权它们。

它像“专家会诊 + 总负责人”：若文本模型和表格模型各有专长，元模型就负责综合判断谁在当前病例上更可信。

机器学习编程（Machine Learning Programming）处理的核心问题是：当一个模型被写成代码并真正运行起来时，谁负责组织训练流程，谁负责表达数学操作，谁又负责在具体硬件上把这些操作算快。这三层通常分别对应编程框架（Framework）、算子（Operator）和内核（Kernel）。理解这三个层次，有助于把“模型公式”与“工程实现”连接起来。

它们不是彼此独立的三个名词，而是一条自上而下的执行链。研究者或工程师先在框架里定义模型结构与训练流程；框架再把模型拆成一系列算子，例如矩阵乘法、卷积、归一化、激活、softmax；每个算子最终还需要落到某个硬件相关的内核实现上，才能在 CPU、GPU、TPU 或其他加速器上真正执行。因此，框架决定开发体验，算子决定计算图语义，内核决定实际运行效率。

框架（Framework）并不是单一层次的概念。在现代机器学习工程里，至少要区分两层：一层是基础框架（Foundational Framework），负责张量（Tensor）、自动求导（Automatic Differentiation）、算子调度与底层执行；另一层是高层框架（High-level Framework），负责把某一类模型、某一类训练范式或某一类工程流程封装成更直接的接口。前者提供“地基”，后者提供“脚手架”和“现成结构”。

因此，PyTorch、TensorFlow、JAX 这类系统更适合放在基础框架层；而 Transformers、DeepSpeed、ModelScope、Lightning 这类工具，则更适合放在高层框架层。它们之间不是替代关系，而是典型的上下层关系：高层框架通常建立在基础框架之上，用更强的任务抽象、更少的模板代码和更完整的工程能力，把常见训练与推理流程直接组织起来。

从工程使用频率看，开发者最常接触的是一组已经按职责分层的常见框架：高层框架负责组织训练与推理流程，基础框架负责真正执行张量计算，某些系统还进一步偏向执行优化与部署。把这些名字放回分层结构里理解，比孤立记忆框架名称更清楚。

高层框架的核心价值在于，它们不重新发明张量计算和自动求导，而是在基础框架之上增加更强的任务语义、训练编排、模型生态或分布式能力。很多工程里，开发者日常接触最多的其实是这一层。

这一层最容易让人产生“它自己就能训练模型”的直觉，但从执行链条看，它们大多只是把训练过程组织得更高级。以 Transformers 为例，Trainer 可以发起训练，但底层的张量、梯度、优化器、自动求导与设备执行，通常仍然由 PyTorch 负责；Lightning、Accelerate、DeepSpeed 也是同样的逻辑，只是它们封装的侧重点不同。

Unsloth 最适合放在高层框架这一层理解。它并不重新定义 Tensor、自动求导（Autograd）或底层计算图，而是在 PyTorch、Transformers、PEFT、TRL 这一整套既有生态之上，把大语言模型（Large Language Model, LLM）的高频训练流程重新组织成更偏性能导向的开发体验。它解决的核心问题不是“怎样从零实现神经网络”，而是怎样在尽可能小的显存和尽可能少的工程样板下，把 LLM 微调、对齐、导出与部署这条链路跑通。

从开发者视角看，Unsloth 的典型工作流通常仍然是“加载 Hugging Face 模型 → 挂接 PEFT 适配器 → 用监督微调（SFT）或强化学习（RL）训练 → 导出到下游推理栈”。它的价值在于把这条链上几个最痛的环节一起压平：第一，量化微调（如 LoRA / QLoRA）与长上下文训练更容易直接落地；第二，针对 GRPO 等对齐训练给出更直接的入口；第三，把训练后的模型或适配器导出到 GGUF、Ollama、vLLM、SGLang、Hugging Face 等下游环境的路径做得更短。换言之，Unsloth 不是另起炉灶，而是把已有生态串得更紧，并对其中最贵的显存、最长的上下文和最复杂的导出环节做专项优化。

它与其他高层框架的边界也需要分清。Transformers 的优势在于模型家族与任务头生态最通用；Accelerate 更像多设备执行抽象；DeepSpeed 更偏分布式训练、参数分片与大规模集群优化；Unsloth 则把重心压在“单机到小规模多卡场景下，如何更快、更省显存地完成 LLM 微调与对齐”。因此，它尤其适合消费级 GPU、本地实验、小团队快速验证、Notebook 驱动的训练流程，以及以 LoRA / QLoRA / RL 为主的大模型增量训练。若任务是超大规模集群预训练或需要复杂的跨机并行策略，DeepSpeed / Megatron 一类系统通常仍然更中心；若任务是通用模型调用与标准微调，Transformers 仍然是最基础的入口。

工程上可以把 Unsloth 看成“面向 LLM 微调的高性能工作台”。它一端连接 Hugging Face 模型与适配器生态，另一端连接本地推理、GGUF、Ollama、vLLM、SGLang 等部署路径，中间则用一套更偏性能调优的训练封装把它们粘起来。对初学者，它降低的是上手门槛：少改几处配置就能跑通量化微调或 RL；对熟悉生态的工程师，它降低的是试验成本：同样的显存预算下，能尝试更长上下文、更复杂的对齐流程，或更快地把训练结果导出到不同推理栈。它的本质依然是高层工程抽象，而不是底层深度学习框架的替代品。

基础框架直接定义张量运算、计算图、自动求导、优化器、算子调度与设备执行能力。它们离硬件更近，也离“神经网络真正怎样被算出来”更近。高层框架能否存在，首先取决于这一层是否提供了足够稳定和强大的底座。

nn.Module

如果把机器学习工程比作建楼，那么基础框架提供的是钢筋、水泥、电路和承重结构。高层框架之所以能让开发速度显著提升，正是因为底层这些张量、梯度和算子能力已经由基础框架稳定提供。

除了高层框架和基础框架，还存在一类经常与“框架”混称、但职责不同的系统：执行与部署系统。它们的核心目标不是让用户更方便地写模型，而是让已经定义好的模型在特定硬件上更快、更省、更稳定地运行。

因此，讨论“框架”时最好先分清是哪一层：高层框架负责把任务和流程组织起来，基础框架负责把张量与梯度真正算出来，执行与部署系统负责把已经定义好的模型在目标硬件上跑到更优。这三层一旦混在一起，很多看似相近的名词就会失去边界。

算子（Operator）是计算图（Computation Graph）的基本运算单元。它定义一个明确的数学变换：输入什么张量（Tensor）、输出什么张量、张量的形状（Shape）和数据类型（Data Type）如何变化，以及反向传播时梯度如何计算。框架层写出的模块、层、网络块，最终都会被拆解成一串更细粒度的算子。

从工程实现上看，算子这一层负责表达“数学语义”。例如一个线性层（Linear Layer）会被拆成 MatMul 与 Bias Add；一个自注意力（Self-Attention）模块会被拆成 Q/K/V 投影、MatMul、Scale、Mask、Softmax、再一次 MatMul、Dropout、LayerNorm 等。高层模块能否被编译优化，本质上取决于这些算子能否被识别、融合与高效执行。

常用算子可以分成四大类：线性代数与张量形状类、神经网络前向计算类、序列与索引操作类、训练与优化类。下面的表格按这一方式展开。

因此，算子层是连接“模型定义”和“底层执行”的语义中枢。看懂模型实际调用了哪些算子，基本就等于看懂了它在做哪些数学步骤，以及这些步骤能否被进一步融合和加速。

内核（Kernel）是算子的底层实现。它规定了某个算子如何映射到具体硬件：线程如何组织、数据如何分块、是否使用共享内存（Shared Memory）、是否调用向量化指令、是否走 Tensor Core、是否把多个小算子融合成一次执行。若说算子定义的是“做什么”，那么内核定义的就是“怎样在这台机器上把它做快”。

从性能工程角度看，内核层回答的是：同一个数学算子，针对不同硬件、数据形状、精度格式和访存模式，哪种实现最优。这也是为什么表面上同样是 MatMul、LayerNorm 或 Attention，不同框架和后端的速度会相差很大。

常见内核或内核族可以按下表理解：