词的表达

1. 给定语料库 $\mathbb D =\{\mathcal D_1,\mathcal D_2,\cdots,\mathcal D_N \}$ ，其中包含 $N$ 篇文档 。

   • 每篇文档 $\mathcal D_i$ 包含单词序列 $(\text{word}_{I_1^i},\text{word}_{I_2^i},\cdots,\text{word}_{I_{n_i}^i} )$ ，其中 $I_j^i \in \{1,2,\cdots,V\}$ 表示单词的编号：

     • $i$ 表示第 $i$ 篇文档
     • $j$ 表示文档中的第 $j$ 个单词
     • $n_i$ 表示第 $i$ 篇文档包含 $n_i$ 个单词
     • $v = I_j^i$ 表示第 $i$ 篇文档的第 $j$ 个单词为 $\text{word}_v$

   • 所有的单词来自于词汇表 $\mathbb V = \{\text{word}_1,\text{word}_2,\cdots,\text{word}_V\}$，其中 $V$ 表示词汇表的大小。

   词的表达任务要解决的问题是：如何表示每个单词 $\text{word}_v$。

2. 最简单的表示方式是one-hot 编码。对于词汇表中第 $v$ 个单词 $\text{word}_v$，将其表示为：

   $$\text{word}_v \rightarrow (0,0,\cdots,0,1,0,\cdots,0)^T$$

   即第 $v$ 位取值为1，剩余位取值为0 。

   这种表示方式有两个主要缺点：

   • 无法表达单词之间的关系。对于任意一对单词 $(\text{word}_i,\text{word}_j)$，其向量距离均为 $\sqrt 2$ 。
   • 向量维度过高。对于中文词汇表，其大小可能达到数十万，因此one-hot 向量的维度也在数十万维。这对于存储、计算都消耗过大。

3. BOW:Bag of Words：词在文档中不考虑顺序，这称作词袋模型。

一、向量空间模型 VSM

1. 向量空间模型主要用于文档的表达。

2. 向量空间模型假设单词和单词之间是相互独立的，每个单词代表一个独立的语义单元。实际上，该假设很难满足：

   • 文档中的单词和单词之间存在一定关联性，向量空间模型忽略了上下文的作用。
   • 文档中存在很多的一词多义和多词同义的现象，每个单词并不代表一个独立的语义单元。

1.1 文档-单词 矩阵

1. 给定语料库 $\mathbb D$ 和词汇表 $\mathbb V$，定义文档-单词 矩阵为：

   $$\begin{array}{c|ccccc} & \text{word}_1& \text{word}_2& \text{word}_3& \cdots & \text{word}_V\\ \hline\\ \mathcal D_1&0&0&1&\cdots &0\\ \mathcal D_2&1&0&1&\cdots &0\\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ \mathcal D_N&0&1&1&\cdots &0\\ \end{array}$$

   令矩阵为 $\mathbf D$ ，则：

   • $D(i,j)=1$ 表示文档 $\mathcal D_i$ 中含有单词 $\text{word}_j$
   • $D(i,j)=0$ 表示文档 $\mathcal D_i$ 中不含单词 $\text{word}_j$

   于是文档 $\mathcal D_i$ 表示为：$\mathcal D_i \rightarrow (0,1,0,1,\cdots,0)^T$ ，其中文档 $\mathcal D_i$ 中包含的单词对应的位置取值为1，其它位置取值为 0 。

1.2 权重

1. 事实上，文档的上述表达并未考虑单词的顺序，也未考虑单词出现的次数。

   一种改进策略是考虑单词出现的次数，从而赋予文档-单词 矩阵以不同的权重：

   $$\mathbf D=\begin{bmatrix} w_{1,1}&w_{1,2}&w_{1,3}&\cdots&w_{1,V}\\ w_{2,1}&w_{2,2}&w_{2,3}&\cdots&w_{2,V}\\ \vdots &\vdots&\vdots&\ddots&\vdots\\ w_{N,1}&w_{N,2}&w_{N,3}&\cdots&w_{N,V} \end{bmatrix}$$

   其中 $w_{i,j}$ 表示单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中的权重。

   • 如果单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中未出现，则权重 $w_{i,j}=0$
   • 如果单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中出现，则权重$w_{i,j}\ne 0$
     

2. 权重$w_{i,j}$ 有两种常用的选取方法：

   • 单词权重等于单词出现的频率TF：

     $$w_{i,j} = TF(\mathcal D_i,\text{word}_j)$$

     函数 $TF(\mathcal D_i,\text{word}_j)$ 返回单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中出现的频数。

   • 单词权重等于单词的TF-IDF：

     $$w_{i,j} = TF(\mathcal D_i,\text{word}_j) \times IDF(\text{word}_j)$$

     函数 $IDF(\text{word}_j)$ 是单词的逆文档频率：$IDF(\text{word}_j) = \log \frac{N}{DF(\text{word}_j)}$ ，其中：

     • $N$ 为语料库的文档数量
     • $DF(\text{word}_j)$ 为出现单词 $\text{word}_j$ 的文档的数量
     • $\frac {DF(\text{word}_j)}{N}$ 为单词 $\text{word}_j$ 出现在一篇文档中的概率

3. TF-IDF 不仅考虑了单词的局部特征，也考虑了单词的全局特征。

   • 词频 $TF(\mathcal D_i,\text{word}_j)$ 描述了单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中的局部统计特征
   • 逆文档频率 $IDF(\text{word}_j)$ 描述了单词 $\text{word}_j$ 在语料库 $\mathbb D$ 中的全局统计特征

1.3 相似度

1. 给定 文档-单词 矩阵，则很容易得到文档的向量表达：

   $$\mathcal D_i \rightarrow (w_{i,1},w_{i,2},\cdots,w_{i,V})^T$$

2. 给定文档 $\mathcal D_i,\mathcal D_j$ ，文档的相似度为：

   $$similar(\mathcal D_i,\mathcal D_j) = \cos(\mathbf{\vec w}_i,\mathbf{\vec w}_j) = \frac{\mathbf{\vec w}_i\cdot \mathbf{\vec w}_j}{||\mathbf{\vec w}_i||\cdot ||\mathbf{\vec w}_j||}$$

   其中 $\mathbf{\vec w}_i= (w_{i,1},w_{i,2},\cdots,w_{i,V})^T,\quad \mathbf{\vec w}_j= (w_{j,1},w_{j,2},\cdots,w_{j,V})^T$

二、LSA

1. 潜在语义分析latent semantic analysis:LSA 的基本假设是：如果两个词多次出现在同一篇文档中，则这两个词具有语义上的相似性。

2.1 原理

1. 给定文档-单词 矩阵 $\mathbf D$ ：

   $$\mathbf D=\begin{bmatrix} w_{1,1}&w_{1,2}&w_{1,3}&\cdots&w_{1,V}\\ w_{2,1}&w_{2,2}&w_{2,3}&\cdots&w_{2,V}\\ \vdots &\vdots&\vdots&\ddots&\vdots\\ w_{N,1}&w_{N,2}&w_{N,3}&\cdots&w_{N,V} \end{bmatrix}$$

   其中 $w_{i,j}$ 表示单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中的权重，可以为：

   • 单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中是否出现的0/1 值。
   • 单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中出现的频次。
   • 单词 $\text{word}_j$ 在文档 $\mathcal D_i$ 中的TF-IDF 值。

2. 定义 $\mathbf{\vec v}_v=(w_{1,v},w_{2,v},\cdots,w_{N,v})^T$， 它为矩阵 $\mathbf D$ 的第 $v$ 列，代表单词 $\text{word}_v$ 的单词-文档向量，描述了该单词和所有文档的关系。

   • 向量内积 $\mathbf{\vec v}_p\cdot \mathbf{\vec v}_q$ 描述了单词 $\text{word}_p$ 和单词 $\text{word}_q$ 在文档集合中的相似性。
   • 矩阵乘积 $\mathbf D^T\mathbf D \in \mathbb R^{V\times V}$ 包含了所有词向量内积的结果。

3. 定义 $\mathbf{\vec w}_i= (w_{i,1},w_{i,2},\cdots,w_{i,V})^T$ ，它为矩阵 $\mathbf D$ 的第 $i$ 行，代表文档 $\mathcal D_i$ 的文档-单词向量，描述了该文档和所有单词的关系。

   • 向量内积 $\mathbf{\vec w}_i\cdot \mathbf{\vec w}_j$ 描述了文档 $\mathcal D_i$ 和文档 $\mathcal D_j$ 在文档集合中的相似性。
   • 矩阵乘积 $\mathbf D\mathbf D^T \in \mathbb R^{N\times N}$ 包含了所有文档向量内积的结果。

4. 对矩阵 $\mathbf D$ 进行SVD 分解。假设矩阵 $\mathbf D$ 可以分解为：

   $$\mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T$$

   其中：

   • $\mathbf P \in \mathbb R^{N\times N},\mathbf Q \in \mathbb R^{V\times V}$ 为单位正交矩阵。

   • $\mathbf \Sigma \in \mathbb R^{N\times V}$ 为广义对角矩阵。

     $$\mathbf\Sigma = \begin{bmatrix} \sigma_1&0&\cdots&0&0&\cdots&0\\ 0&\sigma_2&\cdots&0&0&\cdots&0\\ \vdots&\vdots&\ddots&\vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\sigma_r&0&\cdots&0\\ 0&0&\cdots&0&0&\cdots&0\\ \vdots&\vdots&\ddots&\vdots&\vdots&\ddots&\vdots\\ 0&0&0&\cdots&0&\cdots&0 \end{bmatrix}$$

     其中 $\sigma_1\ge \sigma_2\ge\cdots\ge\sigma_r\gt 0$ 称作奇异值。

5. SVD 分解的物理意义为：主题。

   • 所有的文档一共有 $r$ 个主题，每个主题的强度分别为：$\sigma_1,\sigma_2,\cdots,\sigma_r$ 。

   • 第 $i$ 篇文档 $\mathcal D_i$ 由这 $r$ 个主题组成，文档的主题分布（称作文档-主题向量）为：

     $$\mathbf{\vec u}^{(i)} = ( P(i,1), P(i,2),\cdots, P(i,r))^T$$

   • 第 $j$ 个主题由 $V$ 个单词组成，主题的单词分布（称作主题-单词向量 ）为：

     $$\mathbf{\vec r}^{(j)} = (Q(1,j), Q(2,j),\cdots, Q(V,j))^T$$

   • 第 $v$ 个单词也可以由 $r$ 个主题描述，单词的主题分布 （称作单词-主题向量）为：

     $$\mathbf{\vec z}^{(v)} = ( Q(v,1), Q(v,2),\cdots, Q(v,r))^T$$

   • 根据 $\mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T$ 有：

     则该分解的物理意义为：文档-单词 矩阵 = 文档-主题 矩阵 x 主题强度 x 主题-单词 矩阵。

6. 将奇异值从大到小进行排列，选择 top k 的奇异值来近似 $\mathbf D$，即：

   $$\mathbf D_k = \mathbf P_k \mathbf \Sigma_k \mathbf Q^{ T}_k$$

   其中：

   • $\mathbf P_k \in \mathbb R^{N\times k}$ ：由 $\mathbf P$ 的前 $k$ 列组成。
   • $\mathbf \Sigma_k \in \mathbb R^{k\times k}$ ：由从大到小排列的最大的 k 个奇异值组成的对角矩阵。
   • $\mathbf Q_k \in \mathbb R^{V\times k}$ ：由 $\mathbf Q$ 的前 $k$ 列组成。

7. 选择top k 的物理意义为：选择权重最大的前 k 个主题。

   • 第 $i$ 篇文档 $\mathcal D_i$ 由这 $k$ 个主题组成，文档的主题分布为：

     $$\mathbf{\vec u}^{(i)} = ( P(i,1), P(i,2),\cdots,P(i,k))^T$$

   • 第 $j$ 个主题由 $V$ 个单词组成，主题的单词分布为：

     $$\mathbf{\vec r}^{(j)} = (Q(1,j), Q(2,j),\cdots, Q(V,j))^T$$

   • 第 $v$ 个单词也可以由 $k$ 个主题描述，单词的主题分布为：

     $$\mathbf{\vec z}^{(v)} = ( Q(v,1), Q(v,2),\cdots, Q(v,k))^T$$

2.2 应用

1. 得到了文档的主题分布、单词的主题分布之后，可以获取文档的相似度和单词的相似度。

   • 文档 $\mathcal D_i$ 和文档 $\mathcal D_j$ 的相似度：

     $$sim(\mathcal D_i,\mathcal D_j) = \frac{\mathbf{\vec u}^{(i)} \cdot \mathbf{\vec u}^{(j)} }{||\mathbf{\vec u}^{(i)} ||\times||\mathbf{\vec u}^{(j)}|| }$$

   • 单词 $\text{word}_i$ 和单词 $\text{word}_j$ 的相似度：

     $$sim(\text{word}_i,\text{word}_j)= \frac{\mathbf{\vec z}^{(i)}\cdot \mathbf{\vec z}^{(j)}}{||\mathbf{\vec z}^{(i)}||\times ||\mathbf{\vec z}^{(j)}||}$$

2. 虽然获得了文档的单词分布，但是并不能获得主题的相似度。

   因为 $\mathbf Q$ 是正交矩阵，因此有：

   $$(Q(1,i), Q(2,i),\cdots, Q(V,i))^T \cdot (Q(1,j), Q(2,j),\cdots, Q(V,j))^T =0,\quad i \ne j$$

   则有：

   $$sim(\text{theme}_i,\text{theme}_j) = \frac{\mathbf{\vec r}^{(i)} \cdot \mathbf{\vec r}^{(j)} }{||\mathbf{\vec r}^{(i)} ||\times ||\mathbf{\vec r}^{(j)} ||}\\ = \frac { (Q(1,i), Q(2,i),\cdots, Q(V,i))^T \cdot (Q(1,j), Q(2,j),\cdots, Q(V,j))^T}{||\mathbf{\vec r}^{(i)} ||\times ||\mathbf{\vec r}^{(j)} ||} = 0,\quad i\ne j$$

   因此，任意两个主题之间的相似度为 0 。

3. 因为文档-主题向量由 $\mathbf P$ 决定，而

   $$\mathbf D = \mathbf P \mathbf\Sigma \mathbf Q^T \rightarrow \mathbf P = \mathbf D\mathbf Q\mathbf \Sigma ^{-1} \rightarrow \mathbf P^T = \mathbf \Sigma ^{-1} \mathbf Q^T \mathbf D^T$$

   而文档-主题向量为 $\mathbf P$ 的行向量，也就是 $\mathbf P^T$ 的列向量。文档-单词向量为 $\mathbf D$ 的行向量，也就是 $\mathbf D^T$ 的列向量。

   因此，对于一篇新的文档 $\mathcal D_s$，假设其文档-单词向量为 $\mathbf{\vec w}_s$ ，则其文档-主题向量为：

   $$\mathbf{\vec u}^{(s)} = \mathbf\Sigma_k^{-1}\mathbf Q_k^T \mathbf{\vec w}_s$$

4. 因为单词-主题向量由 $\mathbf Q$ 决定，而：

   $$\mathbf D = \mathbf P \mathbf\Sigma \mathbf Q^T \rightarrow \mathbf Q^T =\mathbf \Sigma ^{-1} \mathbf P ^T \mathbf D$$

   而单词-主题向量 为 $\mathbf Q$ 的行向量，也就是 $\mathbf Q^T$ 的列向量。单词-文档向量 为 $\mathbf D$ 的列向量。

   因此，对于一个新的单词，假设其单词-文档向量为 $\mathbf{\vec v}_s$ ，则单词-主题向量为：

   $$\mathbf{\vec z}^{(s)} = \mathbf\Sigma^{-1}_k \mathbf P_k^T \mathbf{\vec v}_s$$

5. LSA 可以应用在以下几个方面：

   • 通过对文档的文档-主题向量 进行比较，从而进行基于主题的文档聚类或者分类。
   • 通过对单词的单词-主题向量进行比较，从而用于同义词、多义词进行检测。
   • 通过将query 映射到主题空间，进而进行信息检索。

2.3 性质

1. LSA 的本质是将矩阵 $\mathbf D$ 通过 SVD 进行降维。降维主要是由于以下原因：

   • 原始的文档-单词 矩阵 $\mathbf D$ 太大，计算机无法处理。通过降维，得到原始矩阵的一个近似。
   • 原始的文档-单词 矩阵 $\mathbf D$ 含有噪音。通过降维，去掉原始矩阵的噪音。
   • 原始的文档-单词 矩阵 $\mathbf D$ 过于稀疏。通过降维，得到一个稠密的矩阵。

2. LSA 的降维可以解决一部分同义词的问题，也可以解决一部分二义性的问题。

   • 经过降维，意义相同的同义词的维度会因降维被合并。
   • 经过降维，拥有多个意义的词，其不同的含义会叠加到对应的同义词所在的维度上。

3. LSA 的缺点包括：

   • 产生的主题维度可能存在某些主题可解释性差。即：它们并不代表一个自然语言上的主题。

   • 由于Bag of words:BOW 模型的局限性，它无法捕捉单词的前后顺序关系。

     一个解决方案是：采用二元词组或者多元词组。

   • LSA 假设单词和文档形成联合高斯分布。实际观察发现，它们是一个联合泊松分布。

     这种情况下，用pLSA 模型效果会更好。

三、Word2Vec

3.1 CBOW 模型

1. CBOW 模型（continuous bag-of-word）：根据上下文来预测下一个单词。

3.1.1 一个单词上下文

a) 网络结构

1. 在一个单词上下文的CBOW 模型中：

   • 输入是前一个单词，输出是后一个单词。
   • 输入为输出的上下文，由于只有一个单词作为输入，因此称作一个单词的上下文。

2. 一个单词上下文的CBOW 模型如下：

   

   其中：

   • $N$ 为隐层的大小，即隐向量 $\mathbf{\vec h}\in \mathbb R^N$ 。

   • 网络输入 $\mathbf{\vec x}=(x_1,x_2,\cdots,x_V)^T \in \mathbb R^V$ ，它是输入单词（即上下文单词）的 one-hote 编码，其中只有一位为 1，其他位都为 0 。

   • 网络输出 $\mathbf{\vec y}=(y_1,y_2,\cdots,y_V)^T \in \mathbb R^V$，它是输出单词为词汇表各单词的概率。

   • 相邻层之间为全连接：

     • 输入层和隐层之间的权重矩阵为 $\mathbf W$，其尺寸为 $V\times N$ 。
     • 隐层和输出层之间的权重矩阵为 $\mathbf W^\prime$，其尺寸为 $N\times V$ 。

3. 假设没有激活函数，没有偏置项。给定输入 $\mathbf{\vec x} \in \mathbb R^V$，则其对应的隐向量 $\mathbf{\vec h}\in \mathbb R^N$ 为： $\mathbf{\vec h}=\mathbf W^T\mathbf{\vec x}$ 。

   令：

   $$\mathbf W=\begin{bmatrix} \mathbf{\vec w}_1^T\\ \mathbf{\vec w}_2^T\\ \vdots\\ \mathbf{\vec w}_V^T\\ \end{bmatrix}$$

   由于 $\mathbf{\vec x}$ 是个one-hot编码，假设它为词表 $\mathbb V$ 中第 $k$ 个单词 $\text{word}_k$，即：

   $$x_1=0,x_2=0,\cdots,x_{k-1}=0,x_k=1,x_{k+1}=0,\cdots,x_V=0$$

   则有：$\mathbf{\vec h}=\mathbf{\vec w}_k$。

   即：$\mathbf W$ 的第 $k$ 行 $\mathbf{\vec w}_k$ 就是词表 $\mathbb V$ 中第 $k$ 个单词 $\text{word}_k$ 的表达，称作单词 $\text{word}_k$ 的输入向量。

4. 给定隐向量 $\mathbf {\vec h}$，其对应的输出向量 $\mathbf{\vec u} \in \mathbb R^V$为： $\mathbf{\vec u}=\mathbf W^{\prime T}\mathbf{\vec h}$

   令：

   $$\mathbf W^\prime=[ \mathbf{\vec w}_1^{\prime }, \mathbf{\vec w}_2^{\prime }, \cdots, \mathbf{\vec w}_V^{\prime }]$$

   则有：$u_j=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}$ ，表示词表 $\mathbb V$ 中，第 $j$ 个单词 $\text{word}_j$ 的得分。

   $\mathbf{\vec w}_j^{\prime }$ 为矩阵 $\mathbf W^\prime$ 的第 $j$ 列，称作单词 $\text{word}_j$ 的输出向量。

5. $\mathbf{\vec u}$ 之后接入一层 softmax 层，则有：

   $$y_j=p(\text{word}_j\mid \mathbf{\vec x})=\frac{\exp(u_j)}{\sum_{j^\prime=1}^V \exp(u_{j^\prime})},\quad j=1,2,\cdots,V$$

   即 $y_j$ 表示词汇表 $\mathbb V$ 中第 $j$ 个单词 $\text{word}_j$ 为真实输出单词的概率。

6. 假设给定一个单词 $\text{word}_I$ （它称作上下文），观测到它的下一个单词为 $\text{word}_O$ 。

   假设 $\text{word}_O$ 对应的网络输出编号为 $j^*$ ，则网络的优化目标是：

   $$\max_{\mathbf W,\mathbf W^\prime} p(\text{word}_O\mid \text{word}_I)=\max_{\mathbf W,\mathbf W^\prime} y_{j^*} =\max_{\mathbf W,\mathbf W^\prime}\log\frac{\exp(\mathbf{\vec w}^{\prime}_{j^*}\cdot \mathbf{\vec w}_I)}{\sum_{i=1}^V \exp(\mathbf{\vec w}^{\prime}_i\cdot \mathbf{\vec w}_I)}\\ =\max _{\mathbf W,\mathbf W^\prime}\left[\mathbf{\vec w}^{\prime}_{j^*}\cdot \mathbf{\vec w}_I -\log \sum_{i=1}^V \exp(\mathbf{\vec w}^{\prime}_{i}\cdot \mathbf{\vec w}_I)\right]$$

   其中 $\mathbf{\vec w}_I$ 为输入单词 $\text{word}_I$ 的输入向量。

7. 考虑到 $u_{j }=\mathbf{\vec w}^{\prime}_{j }\cdot \mathbf{\vec w}_I$ ，定义：

   $$E=-\log p(\text{word}_O\mid \text{word}_I)=- \left[\mathbf{\vec w}^{\prime}_{j^*}\cdot \mathbf{\vec w}_I -\log \sum_{i=1}^V \exp(\mathbf{\vec w}^{\prime}_{i}\cdot \mathbf{\vec w}_I)\right] \\=-\left[u_{j^*} -\log \sum_{i=1}^V \exp(u_i)\right]$$

   则优化目标为：$\min E$ 。

b) 参数更新

1. 定义 $t_j=\mathbb I(j=j^*)$ ，即第 $j$ 个输出单元对应于真实的输出单词 $\text{word}_O$ 时，它为1；否则为0。

   定义：

   $$e_j=\frac{\partial E}{\partial u_j}=y_j-t_j$$

   它刻画了每个输出单元的预测误差：

   • 当 $j=j^*$ 时： $e_j=y_j-1$，它刻画了输出概率 ($y_j$) 与真实概率 $1$ 之间的差距。
   • 当 $j\ne j^*$ 时：$e_j=y_j$，它刻画了输出概率 ($y_j$) 与真实概率 $0$ 之间的差距。

2. 根据：

   $$u_j=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}\quad \rightarrow \quad \frac{\partial u_j}{\partial \mathbf{\vec w}_j^\prime}= \mathbf{\vec h}$$

   则有：

   $$\frac{\partial E}{\partial \mathbf {\vec w}_j^\prime} = \frac{\partial E}{\partial u_j} \times \frac{\partial u_j}{\partial \mathbf{\vec w}_j^\prime} = e_j \mathbf{\vec h}$$

   则 $\mathbf{\vec w}_j^\prime$ 更新规则为：

   $$\mathbf{\vec w}^{\prime(new)}_{j } =\mathbf{\vec w}^{\prime(old)}_{j }-\eta e_j\mathbf{\vec h}$$

   其物理意义为：

   • 当估计过量 (