正则化

1. 正则化常用于缓解模型过拟合。过拟合发生的原因是模型的容量过大，而正则化可以对模型施加某些限制，从而降低模型的有效容量。

2. 目前有多种正则化策略。

   • 有些正则化策略是向模型添加额外的约束，如增加对参数的限制。这是对参数的硬约束。
   • 有些正则化策略是向目标函数增加额外项。这是对参数的软约束。

3. 正则化策略代表了某种先验知识，即：倾向于选择简单的模型。

4. 在深度学习中，大多数正则化策略都是基于对参数进行正则化。正则化以偏差的增加来换取方差的减少，而一个有效的正则化能显著降低方差，并且不会过度增加偏差。

5. 在深度学习的实际应用中，不要因为害怕过拟合而采用一个小模型，推荐采用一个大模型并使用正则化。

一、参数范数正则化

1. 一些正则化方法通过对目标函数 $J$ 添加一个参数范数正则化项 $\Omega(\vec\theta)$ 来限制模型的容量capacity 。

   正则化之后的目标函数为 $\tilde J$：$\tilde J(\vec\theta;\mathbf X,\mathbf{\vec y})= J(\vec\theta;\mathbf X,\mathbf{\vec y})+\alpha \Omega(\vec\theta)$ 。

   • $\alpha \in [0,\infty)$ 为正则化项的系数，它衡量正则化项 $\Omega(\vec\theta)$ 和标准目标函数 $J$ 的比重。

     • $\alpha=0$ 则没有正则化。
     • $\alpha$ 越大则正则化项越重要。

   • 如果最小化 $\tilde J$，则会同时降低 $J$ 和参数 $\vec\theta$ 的规模。

2. 参数范数正则化可以缓解过拟合。

   如果 $\alpha$ 设置的足够大，则参数 $\vec\theta$ 就越接近零。这意味着模型变得更简单，简单的模型不容易过拟合（但是可能欠拟合）。

   对于神经网络，这意味着很多隐单元的权重接近0，于是这些隐单元在网络中不起任何作用。此时大的神经网络会变成一个小的网络。

   在 $\alpha$ 从 零逐渐增加的过程中存在一个中间值，使得参数 $\vec\theta$ 的大小合适，即一个合适的模型。

3. 选择不同的 $\Omega$ 的形式会产生不同的解，常见的形式有 $L_2$ 正则化和 $L_1$ 正则化。

1.1 L2 正则化

1. $L_2$ 正则化通常被称作岭回归或者Tikhonov正则化。

   • 正则化项为 $\Omega(\vec\theta)=\frac 12|| \vec\theta||_2^{2}$。系数 $\frac 12$ 是为了使得导数的系数为 1。
   • 该正则化形式倾向于使得参数 $\vec\theta$ 更接近零。

2. 假设 $\vec\theta$ 参数就是权重 $\mathbf{\vec w}$，没有偏置参数，则：$\tilde J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})=J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+\frac {\alpha}{2}\mathbf{\vec w}^{T}\mathbf{\vec w}$ 。

   对应的梯度为：$\nabla_{\mathbf{\vec w}}\tilde J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})=\nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+\alpha \mathbf{\vec w}$ 。

   使用梯度下降法来更新权重，则权重的更新公式为：$\mathbf{\vec w}\leftarrow \mathbf{\vec w}-\epsilon(\nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+\alpha \mathbf{\vec w})$ 。即：

   $$\mathbf{\vec w}\leftarrow (1-\epsilon\alpha) \mathbf{\vec w}-\epsilon \nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})$$

   $L_2$ 正则化对于梯度更新的影响是：每一步执行梯度更新之前，会对权重向量乘以一个常数因子来收缩权重向量。因此L2 正则化也被称作“权重衰减”。

1.1.1 整体影响

1. 令 $\mathbf{\vec w}^{*}=\arg\min_{\mathbf{\vec w}}J(\mathbf{\vec w})$ ，它就是无正则化项时使得目标函数最小的权重向量。

   根据极小值的条件，有 $\nabla_{\mathbf{\vec w}}J(\mathbf{\vec w}^*) = \mathbf{\vec 0}$ 。于是在 $\mathbf{\vec w}^{*}$ 的邻域内泰勒展开 $J(\mathbf{\vec w})$ ：

   $$\hat J(\mathbf{\vec w})=J(\mathbf{\vec w}^{*}) +\mathbf{\vec 0} +\frac 12(\mathbf{\vec w}-\mathbf{\vec w}^{*})^{T}\mathbf H(\mathbf{\vec w}-\mathbf{\vec w}^{*}),\quad \mathbf{\vec w} \in \mathbb N(\mathbf{\vec w}^*)$$

   其中： $\mathbf H$ 为 $J(\mathbf{\vec w})$ 在 $\mathbf{\vec w}^{*}$ 处的海森矩阵； $\mathbb N(\mathbf{\vec w}^{*})$ 为 $\mathbf{\vec w}^{*}$ 处的一个邻域。

   则 $\hat J(\mathbf{\vec w})$ 的梯度为：$\nabla_{\mathbf{\vec w}} \hat J(\mathbf{\vec w})=\mathbf H(\mathbf{\vec w}-\mathbf{\vec w}^{*}),\quad \mathbf{\vec w} \in \mathbb N(\mathbf{\vec w}^*)$ 。

2. 令 $\tilde{\mathbf{\vec w}}^{*}=\arg\min_{\mathbf{\vec w}}\tilde J(\mathbf{\vec w})$，它就是有正则化项时使得目标函数最小的权重向量。

   假设 $\tilde{\mathbf{\vec w}}^{*} \in \mathbb N(\mathbf{\vec w}^*)$， 即 $\tilde{\mathbf{\vec w}}^{*}$ 在 $\mathbf{\vec w}^{*}$ 的一个邻域内，则有：$\nabla_{\mathbf{\vec w}} J(\mathbf{\tilde{\mathbf{\vec w}}^{*}})=\mathbf H(\mathbf{\tilde{\mathbf{\vec w}}^{*}}-\mathbf{\vec w}^{*})$ 。

   根据极小值条件：$\nabla_{\mathbf{\vec w}}\tilde J(\tilde{\mathbf{\vec w}}^{*})=\nabla_{\mathbf{\vec w}} J(\mathbf{\tilde{\mathbf{\vec w}}^{*}})+\alpha\tilde{\mathbf{\vec w}}^{*}=\mathbf{\vec 0}$ ，则有：

   $$\mathbf H(\tilde{\mathbf{\vec w}}^{*}-\mathbf{\vec w}^{*})+\alpha\tilde{\mathbf{\vec w}}^{*}=\mathbf{\vec 0}\; \rightarrow (\mathbf H+\alpha\mathbf I)\tilde{\mathbf{\vec w}}^{*}=\mathbf H \mathbf{\vec w}^{*}\\ \rightarrow \tilde{\mathbf{\vec w}}^{*}=(\mathbf H+\alpha\mathbf I)^{-1}\mathbf H \mathbf{\vec w}^{*}$$

   当 $\alpha \rightarrow 0$ 时， $\tilde{\mathbf{\vec w}}^{*} \rightarrow \mathbf{\vec w}^{*}$ 。

3. 因为 $\mathbf H$ 是实对称矩阵，对其进行特征值分解：$\mathbf H=\mathbf Q\mathbf \Lambda\mathbf Q^{T}$。 其中特征值组成对角矩阵 $\mathbf \Lambda$，对应的特征向量组成正交矩阵 $\mathbf Q$ ：

   $$\mathbf \Lambda=\begin{bmatrix}\lambda_1&0&\cdots&0\\0&\lambda_2&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\lambda_n \end{bmatrix}$$

   于是有：

   $$\tilde{\mathbf{\vec w}}^{*}=(\mathbf H+\alpha\mathbf I)^{-1}\mathbf H \mathbf{\vec w}^{*} =(\mathbf Q\mathbf \Lambda\mathbf Q^{T}+\alpha\mathbf I)^{-1}\mathbf Q\mathbf \Lambda\mathbf Q^{T} \mathbf{\vec w}^{*} \\=[\mathbf Q(\mathbf \Lambda+ \alpha\mathbf I)\mathbf Q^{T}]^{-1}\mathbf Q\mathbf \Lambda\mathbf Q^{T} \mathbf{\vec w}^{*} = \mathbf Q(\mathbf \Lambda+ \alpha\mathbf I)^{-1}\mathbf \Lambda\mathbf Q^{T} \mathbf{\vec w}^{*}$$

   其中：

   $$(\mathbf \Lambda+ \alpha\mathbf I)^{-1}\mathbf \Lambda=\begin{bmatrix} \frac{\lambda_1}{\lambda_1+\alpha}&0&\cdots&0\\ 0&\frac{\lambda_2}{\lambda_2+\alpha}&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\frac{\lambda_n}{\lambda_n+\alpha}\end{bmatrix}$$

4. $L_2$ 正则化对模型整体的影响：沿着 $\mathbf H$ 的特征向量所定义的轴来缩放 $\mathbf{\vec w}^{*}$。

   • $\mathbf H$ 的第 $i$ 个特征向量对应的 $\mathbf{\vec w}^{*}$ 分量根据 $\frac{\lambda_i}{\lambda_i+\alpha}$ 因子缩放。
   • 沿着 $\mathbf H$ 特征值较大的方向受到正则化的影响较小。
   • 当 $\lambda_i \ll \alpha$ 的方向对应的权重分量将被缩小到几乎为零。

1.1.2 物理意义

1. 如下所示：实线椭圆表示 $J$ 的等值线，虚线圆表示正则化项 $\frac {\alpha}{2}\mathbf{\vec w}^{T}\mathbf{\vec w}$ 的等值线。

   在 $\mathbf{\vec w}^{*}$ 点， $J$ 取得最小值；在 $\tilde{\mathbf{\vec w}}^{*}$ 点（也就是图中的 $\tilde w$ 点），$J$ 和正则化项达到平衡（使得二者之和最小）。

   沿着 $w_1$ 方向（横向）的 $J$ 的曲率半径较大；曲率半径越大，曲率越小，特征值越小。

   • 曲率刻画曲线的弯曲程度。弯曲越厉害，则表示曲率半径越小、曲率越大。

     直线的曲率半径为 $+\infty$ ，曲率为0。

   • 曲率半径是曲率的倒数。对于椭圆 $\frac{w_1^{2}}{a^{2}}+\frac{w_2^{2}}{b^{2}}=1$：

     • 在左右顶点：沿着 $w_2$ 方向（纵向）的曲率半径为 $\frac{b^{2}}{a}$ 。
     • 在上下顶点：沿着 $w_1$ 方向（横向）的曲率半径为 $\frac{a^{2}}{b}$ 。
     • 海森矩阵的特征值为： $\lambda_1= \frac{2}{a^{2}},\lambda_2= \frac{2}{b^{2}}$ 。

   

2. 在上图中：

   • $J$ 的海森矩阵第一维 （$w_1$ ）的特征值很小。

     所以当从 $\mathbf{\vec w} ^{*}$ 点水平移动时， $J$ 不会增加太多。因为 $J$ 对这个方向没有强烈的偏好。所以正则化项对于该轴具有强烈的影响：正则化项将 $w_1$ 拉向零。

   • $J$ 的海森矩阵第二维的特征值较大。

     $J$ 对于 $w_2$ 的变化非常敏感，因此正则化项对于该轴影响较小。

   • 因为沿着水平方向，一个较大的偏移只会对 $J$ 产生一个较小的变化。因此正则化项倾向于从 $\mathbf{\vec w} ^{*}$ 点水平向零点移动。

3. $L_2$ 正则化表明：

   • 只有显著减小目标函数 $J$ 的那个方向的参数会相对保留下来。
   • 无助于减小目标函数 $J$ 的方向（该方向上$\mathbf H$ 特征值较小，或者说该方向上 $J$ 的曲率较小，或者说该方向上 $J$ 的曲线更接近于直线），因为在这个方向上移动不会显著改变梯度，因此这个不重要方向上的分量会因为正则化的引入而被衰减掉。

1.1.3 示例

1. 考虑线性回归的 $L_2$ 正则化，采用平方误差作为代价函数：

   $$J=(\mathbf X\mathbf{\vec w}-\mathbf{\vec y})^{T}(\mathbf X\mathbf{\vec w}-\mathbf{\vec y})\\ \tilde J =J +\frac {\alpha}{2}\mathbf{\vec w}^{T}\mathbf{\vec w} =(\mathbf X\mathbf{\vec w}-\mathbf{\vec y})^{T}(\mathbf X\mathbf{\vec w}-\mathbf{\vec y})+\frac {\alpha}{2}\mathbf{\vec w}^{T}\mathbf{\vec w}$$

   这里忽略了线性回归的 $\mathbf{\vec b}$ 的影响，这是为了便于说明解的性质。

2. $\mathbf{\vec w}^{*}=\arg\min_{\mathbf{\vec w}}J(\mathbf{\vec w})$ 的解析解为：$\mathbf{\vec w}^{*}= (\mathbf X^{T}\mathbf X)^{-1}\mathbf X^{T}\mathbf{\vec y}$ 。

   $\tilde{\mathbf{\vec w}}^{*}=\arg\min_{\mathbf{\vec w}}\tilde J(\mathbf{\vec w})$ 的解析解为：$\tilde{\mathbf{\vec w}}^{*}=(\mathbf X^{T}\mathbf X+\alpha\mathbf I)^{-1}\mathbf X^{T}\mathbf{\vec y}$ 。

   样本的协方差矩阵为 $\mathbf \Sigma=\frac 1N\mathbf X^{T}\mathbf X$ （这里已经将样本进行了标准化：减去了均值）， $N$ 为样本数量。因此$\mathbf X^{T}\mathbf X$ 的对角线对应于每个输入特征的方差，$\mathbf X^{T}\mathbf X+\alpha\mathbf I$ 在对角线上增加了 $\alpha$。

   因此，$L_2$ 正则化使得：

   • 方差较小的特征对应的权重被收缩。
   • 方差远大于 $\alpha$ 的特征受影响较小。
   • 只有方差接近甚至小于 $\alpha$ 的特征受影响较大。

1.2 L1 正则化

1. 模型参数 $\mathbf{\vec w}$ 的 $L_1$ 的正则化形式为：$\Omega(\vec\theta)=||\mathbf{\vec w}||_1=\sum_{i}|w_i|$ 。即各个参数的绝对值之和。

2. $L_1$ 正则化后的目标函数 $\tilde J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})$：$\tilde J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})=J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+ \alpha ||\mathbf{\vec w}||_1$ 。

   对应的梯度为 $\nabla_{\mathbf{\vec w}}\tilde J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})=\nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+\alpha \text{sign}(\mathbf{\vec w})$ 。其中 $\text{sign}(\cdot)$ 函数取自变量的符号：

   如果自变量大于零，则取值为 1；如果自变量小于零，则取值为 -1；如果自变量为零，则取值为零。

   使用梯度下降法来更新权重，给出权重的更新公式为：

   $$\mathbf{\vec w}\leftarrow \mathbf{\vec w}-\epsilon(\nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})+\alpha \text{sign}(\mathbf{\vec w}))\\ =(\mathbf{\vec w}-\epsilon\alpha \text{sign}(\mathbf{\vec w}))- \epsilon\nabla_{\mathbf{\vec w}} J(\mathbf{\vec w};\mathbf X,\mathbf{\vec y})$$

   $L_1$ 正则化对于梯度更新的影响是：不再是线性地缩放每个 $w_i$ （$L_2$ 正则化项的效果），而是减去与 $\text{sign}(w_i)$ 同号的常数因子。

1.2.1 整体效果

1. 令 $\mathbf{\vec w}^{*}=\arg\min_{\mathbf{\vec w}}J(\mathbf{\vec w})$，它就是无正则化项时使得目标函数最小的权重向量。

   和 $L_2$ 正则化中的推导相同，在 $\mathbf{\vec w}^{*}$ 的邻域内泰勒展开：

   $$\hat J(\mathbf{\vec w})=J(\mathbf{\vec w}^{*}) +\mathbf{\vec 0} +\frac 12(\mathbf{\vec w}-\mathbf{\vec w}^{*})^{T}\mathbf H(\mathbf{\vec w}-\mathbf{\vec w}^{*}),\quad \mathbf{\vec w} \in \mathbb N(\mathbf{\vec w}^*)$$

   其中： $\mathbf H$ 为 $J$ 在 $\mathbf{\vec w}^{*}$ 处的海森矩阵； $\mathbf{\vec w}$ 在 $\mathbf{\vec w}^{*}$ 的邻域 $\mathbb N(\mathbf{\vec w}^{*})$内。

2. 由于 $L_1$ 正则化项在一般的海森矩阵情况下无法得到直接的代数表达式。

   因此我们进一步假设海森矩阵是对角矩阵。即：

   $$\mathbf H=\begin{bmatrix} H_{1,1}&0&\cdots&0\\ 0&H_{2,2}&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&H_{n,n}\\ \end{bmatrix}$$

   其中 $H_{i,i}\gt 0,i=1,2,\cdots,n$

   如果用于线性回归问题的数据已经被预处理（如使用PCA），去除了输入特征之间的相关性，则这一假设成立。

   于是：

   $$\hat J(\mathbf{\vec w})=J(\mathbf{\vec w}^{*}) +\frac 12(\mathbf{\vec w}-\mathbf{\vec w}^{*})^{T}\mathbf H(\mathbf{\vec w}-\mathbf{\vec w}^{*})\\ =J(\mathbf{\vec w}^{*})+\sum_i\left[\frac 12 H_{i,i}(w_i-w_i^{*})^{2}\right],\quad \mathbf{\vec w} \in \mathbb N(\mathbf{\vec w}^*)$$

3. 考虑定义式，有：

   $$\tilde J(\mathbf{\vec w})= J(\mathbf{\vec w})+\alpha ||\mathbf{\vec w}||_1=\hat J(\mathbf{\vec w})+\alpha ||\mathbf{\vec w}||_1\\ =J(\mathbf{\vec w}^{*})+\sum_i\left[\frac 12 H_{i,i}(w_i-w_i^{*})^{2}+\alpha|w_i|\right],\quad \mathbf{\vec w} \in \mathbb N(\mathbf{\vec w}^*)$$

   对于 $\mathbf{\vec w}$ 来讲 ， $J(\mathbf{\vec w}^{*})$ 为常量。因此 $\tilde J(\mathbf{\vec w})$ 的最小值由 $\sum_i\left[\frac 12 H_{i,i}(w_i-w_i^{*})^{2}+\alpha|w_i|\right]$ 决定。

   考虑每一个维度 $i$，可以考虑最优化目标：

   $$\tilde w_i^{*}= \arg\min_{w_i}\left[\frac 12 H_{i,i}(w_i-w_i^{*})^{2}+\alpha|w_i|\right]$$

   得到解析解：$\tilde w_i^{*}=\text{sign}(w_i^{*}) \max\left\{|w_i^{*}|-\frac{\alpha}{H_{i,i}},0\right\}$ 。

4. 考虑 $w_i^{*} \gt 0$ 的情况。此时有两种可能：

   • $w_i^{*} \le \frac{\alpha}{H_{i,i}}$：则 $\tilde w_i^{*}=0$。表示 $L_1$ 正则化项将 $w_i$ 推向 0 。
   • $w_i^{*} \gt \frac{\alpha}{H_{i,i}}$：则 $\tilde w_i^{*}= w_i^{*} -\frac{\alpha}{H_{i,i}}$。此时 $L_1$ 正则化项并不会将 $w_i$ 推向 0，而是向零的方向推动了 $\frac{\alpha}{H_{i,i}}$ 的距离。

5. 考虑 $w_i^{*} \lt 0$ 的情况。此时有两种可能：

   • $w_i^{*} \ge -\frac{\alpha}{H_{i,i}}$：则 $\tilde w_i^{*}=0$。表示 $L_1$ 正则化项将 $w_i$ 推向 0 。
   • $w_i^{*} \lt -\frac{\alpha}{H_{i,i}}$：则 $\tilde w_i^{*}= w_i^{*} +\frac{\alpha}{H_{i,i}}$。此时 $L_1$ 正则化项并不会将 $w_i$ 推向 0，而是向零的方向推动了 $\frac{\alpha}{H_{i,i}}$ 的距离。

   如果使用 $L_2$ 正则化，则解为 $\tilde w_i^{*}=\frac{H_{i,i}}{H_{i,i}+\alpha}w_i^{*}$ 。

1.2.2 物理意义

1. 如下所示：实线椭圆表示 $J$ 的等值线，实线菱形表示正则化项 $\alpha ||\mathbf{\vec w}||_1$ 的等值线。

   在 $\mathbf{\vec w}^{*}$ 点， $J$ 取得最小值；在 $\tilde{\mathbf{\vec w}}^{*}$ 点（也就是图中的 $\tilde w$ 点），$J$ 和正则化项达到平衡（使得二者之和最小）。

   

   可以看到 $J$ 的等值线更容易与 $L_1$ 正则化项的等值线在坐标轴相交从而取得整体极小值。

2. $L_1$ 正则化项更容易产生稀疏(sparse)解，而 $L_2$ 正则化并不会导致稀疏解。

   • 在 $L_1$ 正则化中， $w_i^{*}$ 的绝对值越小，该维的特征越容易被稀疏化。
   • $L_1$ 正则化的这一性质已经被广泛地用作特征选择： $L_1$ 正则化使得部分特征子集的权重为零，表明相应的特征可以被安全地忽略。

1.3 L1/L2正则化与最大后验估计

1. 许多正则化策略可以被解释为最大后验估计MAP：

   $$\vec\theta_{MAP} =\arg\max_{\vec\theta}p(\vec\theta\mid \mathbf{\vec x})=\arg\max_{\vec\theta}p(\mathbf{\vec x} \mid \vec\theta )+\log p(\vec\theta)$$

   最大化后验估计等价于最小化代价函数。

   • $L_2$ 正则化项：参数的先验分布为高斯分布：

     $$\log p(\mathbf{\vec w})=\log \mathcal N(\mathbf{\vec w};0,\frac 1\alpha \mathbf I) =-\frac {\alpha}{2}\mathbf{\vec w}^{T}\mathbf{\vec w}+\frac n2 \log\frac{\alpha}{2\pi}$$

     忽略 $\frac n2 \log\frac{\alpha}{2\pi}$ 项，因为它们与 $\mathbf{\vec w}$ 无关。

   • $L_1$ 正则化项：参数的先验分布为各向同性拉普拉斯分布 ：

     $$\log p(\mathbf{\vec w})=\sum_{i}\log \text{Laplace}(w_i;0,\frac 1\alpha) =-\alpha||\mathbf{\vec w}||_1+n\log\frac{\alpha}{2}$$

     忽略 $n\log\frac{\alpha}{2}$ 项，因为它们与 $\mathbf{\vec w}$ 无关。

2. 更复杂的正则化项可以通过先验分布为混合高斯分布得到。

二、显式约束正则化

1. 可以通过添加一个显式约束来实现正则化：$\min_{\vec\theta} J(\vec\theta;\mathbf X,\mathbf{\vec y}),\quad st.\; \Omega(\vec\theta) \lt k$ 。其中 $k$ 为一个常数。

2. 可以通过构建广义拉格朗日函数来求解该约束最优化问题。

   定义广义拉格朗日函数： $\mathcal L(\vec\theta,\alpha)=J(\vec\theta)+\alpha(\Omega(\vec\theta) - k)$ 。则上述约束最优化问题的解由下式给出：

   $$\vec\theta^{*}=\arg\min_{\vec\theta}\max_{\alpha,\alpha\gt 0}\mathcal L(\vec\theta,\alpha)$$

   假设 $\alpha$ 的解为 $\alpha^{*}$，固定 $\alpha^{*}$ 则：$\vec\theta^{*}=\arg\min_{\vec\theta}J(\vec\theta)+\alpha^{*}\Omega(\vec\theta)$ 。

   这和参数范数正则化是相同的，因此可以将参数范数正则化视为对参数强加的约束：

   • 如果 $\Omega$ 是 $L_2$ 范数，则权重就是被约束在一个 $L_2$ 球中。
   • 如果 $\Omega$ 是 $L_1$ 范数，则权重就是被约束在一个 $L_1$ 限制的区间中。

3. 也可以通过重投影来求解该约束最优化问题。此时需要修改梯度下降算法：首先计算 $J(\vec\theta)$ 的下降步，然后将 $\vec\theta$ 投影到满足 $\Omega(\vec\theta) \lt k$ 的最近点。

4. 使用显式约束，而不是使用范数正则化有两个好处：

   • 采用范数正则化后，当 $\vec\theta$ 较小时容易使得非凸优化的过程陷入局部极小值。

     • 当使用权重范数的正则化时，较小的权重可能是局部最优的。
     • 当使用显式约束时，算法不鼓励权重接近原点，因此工作的较好。

   • 使用显式约束对优化过程增加了一定的稳定性。

     如：当使用了较高的学习率时，很可能进入了正反馈：较大的权重产生了较大的梯度，较大的梯度诱发权重的更大的更新。

     如果这些更新持续增加了权重的大小，则 $\vec\theta$ 就会迅速增大直到溢出。显式约束可以防止这种反馈环引起的权重的无限制持续增加。

5. Srebro and Shraibman提供了一种正则化策略：约束神经网络的权重矩阵每列的范数，而不是限制整个权重矩阵的Frobenius范数。分别限制每一列的范数可以防止某一个隐单元有非常大的权重。

   在实践中，列范数的限制总是通过重投影的显式约束来实现。

三、数据集增强

1. 提高模型泛化能力的一个最直接的方法是采用更多的数据来训练。但是通常在现实任务中，我们拥有的数据量有限。

   解决该问题的一种方法是：创建一些虚拟的数据用于训练。

2. 数据集增强仅仅用于模型的训练，而不是用于模型的预测。即：不能对测试集、验证集执行数据集增强。

3. 当比较机器学习算法基准测试的结果时，必须考虑是否采用了数据集增强。

   通常情况下，人工设计的数据集增强方案可以大大减少模型的泛化误差。当两个模型的泛化性能比较时，应该确保这两个模型使用同一套人工设计的数据集增强方案。

4. 注意数据集增强和预处理的区别：数据集增强会产生更多的输入数据，而数据预处理产生的输入数据数量不变。

3.1 线性变换

1. 对于某些任务来说，创建虚拟数据非常困难。如：在密度估计任务中，除非预先知道了密度函数，否则无法产生新的虚拟数据。

   对于分类问题来说，创建虚拟数据非常简单。对于一个分类器，它将高维的输入 $\mathbf{\vec x}$ 映射到类别 $y$ 。这意味着这种映射规则是不随坐标系的改变而改变的。因此可以通过线性变换，将训练集中的 $(\mathbf{\vec x},y)$ 变换为 $(\mathbf{\vec x}^{\prime},y)$ 从而产生了新的数据 $(\mathbf{\vec x}^{\prime},y)$ 。

   对图像分类问题，数据集增强特别有效。数据集增强也可以应用于语音识别任务。

2. 常见的图片数据集增强方法：

   • 将训练图像沿着每个方向平移几个像素产生新的图像。

   • 对训练图像进行旋转、翻转或者缩放。

   • 对训练图像进行随机裁剪。

     实际上，随机裁剪图像的操作也可以被认为是预处理步骤，而不是数据集增强。

   • 对训练图像进行颜色抖动：调整饱和度、调整亮度、调整对比度、调整锐度。

     • 对比度：图像画面的明暗反差程度。对比度越高，则图片亮的地方更亮，暗的地方越暗。
     • 亮度：图像的明暗程度。亮度越高，则图像整体越亮。
     • 饱和度：图像颜色种类的多少。饱和度越高，则图像的颜色种类越多，图像越鲜艳。
     • 锐度：图像的边缘轮廓的锐利程度。锐度越高，则图像的边缘越清晰。

3. 在使用线性变换执行数据集增强时需要注意：

   • 某些线性变换会改变正确的类别。

     如：字符识别任务中， b/d以及6/9的图像， 不能执行水平翻转变换和旋转 180 度变换。

   • 某些线性变换难以执行。

     如：平面外的绕轴旋转（类似于翻页）难以通过简单的几何运算在输入图片上实现。

3.2 输入噪声注入

1. 在神经网络的输入层注入噪声也可以视作数据增强的一种形式。如：在图像识别任务中，对训练图像注入高斯噪声。

   事实上输入噪声注入也可以用于无监督学习，如：降噪自动编码器。

2. 通常一个训练好的神经网络对噪声鲁棒性较差，改善其噪声鲁棒性的常用方法是：简单地将随机噪声施加到输入上，再进行训练。

   • Poole et al.(2014)表明：当仔细调整噪声的幅度之后，该方法非常高效。

   • 噪声被添加到每层隐单元的输入（而不仅仅是整个网络的输入）也是可行的，这被视为在多个抽象层上进行数据集增强。

     本章后面的dropout正则化策略可以被看作是通过对隐单元的输入乘上噪声。

四、噪声鲁棒性

1. 有三种添加噪声的策略：输入噪声注入、权重噪声注入、输出噪声注入。

4.1 输入噪声注入

1. 输入噪声注入：将噪声作用于输入的数据集，这也是前文介绍的一种数据集增强方法。

2. 对于某些模型，在输入上注入方差极小的噪音等价于对权重施加参数范数正则化（Bishop,1995a,b）。

   但是输入噪声注入远比简单地收缩参数强大，尤其是噪声被添加到隐单元的输入上时。

4.2 权重噪声注入

1. 权重噪声注入：将噪音作用于权重。这项技术主要用于循环神经网络。

2. 权重噪声注入可以解释为：将权重视作不确定的随机变量（拥有某个概率分布），向权重注入噪声是对该随机变量采样得到的一个随机值。

3. 在某些假设下，权重噪声注入等价于传统的参数正则化形式。

4. 假设有一个 $l$ 层的标准的深度前馈神经网络，我们将噪声注入到该网络的权重。

   假设 $p_{model}(y\mid \mathbf{\vec x};\vec\theta)=\mathcal N(y;f(\mathbf{\vec x};\vec\theta),\mathbf I)$ ，则有：

   $$J(\vec\theta)=-\mathbb E_{\mathbf{\vec x},y\sim \hat p_{data}} \log p_{model}(y\mid \mathbf{\vec x};\vec\theta) =\frac 12 \mathbb E_{\mathbf{\vec x},y\sim \hat p_{data}}||y-f(\mathbf{\vec x};\vec\theta)||^{2}+\text{const}$$

   常数项包含了高斯分布的方差（与 $\vec\theta$ 无关）。

   于是目标函数重写为：$J(\vec\theta)=\frac 12 \mathbb E_{\mathbf{\vec x},y\sim \hat p_{data}}||y-f(\mathbf{\vec x};\vec\theta)||^{2}$ 。

5. 假设每个权重添加一个随机扰动 $\epsilon_{\mathbf W}\sim \mathcal N(\epsilon;\mathbf{\vec 0},\eta\mathbf I)$， 它是一个均值为0、方差为 $\eta$ 的标准正态分布。

   假设添加扰动之后的模型为 $\tilde p_{model}(y\mid \mathbf{\vec x};\vec\theta,\epsilon_{\mathbf W})=\mathcal N(y;\tilde f(\mathbf{\vec x};\vec\theta,\epsilon_{\mathbf W}),\mathbf I)$。

   假设有 $\mathbb E_{p(\epsilon_{\mathbf W})} \tilde f(\mathbf{\vec x};\vec\theta,\epsilon_{\mathbf W})=f(\mathbf{\vec x};\vec\theta)$ ，即：模型对于增加扰动之后的期望等于原来的模型。

   于是：