线性模型

给定样本 $\mathbf {\vec x}$ ，其中 $\mathbf {\vec x}=(x_1,x_2,\cdots,x_n)^{T}$ ， $x_i$ 为样本 $\mathbf {\vec x}$ 的第 $i$ 个特征，特征有 $n$ 种。
线性模型(linear model) 的形式为： $f(\mathbf {\vec x})=\mathbf {\vec w} \cdot \mathbf {\vec x}+b$ 。
其中 $\mathbf {\vec w}=(w_1,w_2,\cdots,w_n)^{T}$ 为每个特征对应的权重生成的权重向量。
线性模型的优点是：
- 模型简单。
- 可解释性强，权重向量 $\mathbf {\vec w}$ 直观地表达了各个特征在预测中的重要性。
很多功能强大的非线性模型(nolinear model) 可以在线性模型的基础上通过引入层级结构或者非线性映射得到。

一、线性回归

1.1 问题

给定数据集 $\mathbb D=\{(\mathbf {\vec x}_1,\tilde y_1),(\mathbf {\vec x}_2,\tilde y_2),\cdots,(\mathbf {\vec x}_N,\tilde y_N)\}$ ，其中 $\mathbf {\vec x}_i=(x_{i,1},x_{i,2},\cdots,x_{i,n})^{T} \in \mathcal X \subseteq \mathbb R^{n},\;\tilde y_i \in \mathcal Y\subseteq \mathbb R$ 。
线性回归问题试图学习模型： $f(\mathbf {\vec x})=\mathbf {\vec w} \cdot \mathbf {\vec x}+b$
该问题也被称作多元线性回归(multivariate linear regression)
对于每个 $\mathbf {\vec x}_i$ ，其预测值为 $\hat y_i=f(\mathbf {\vec x}_i)=\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b$ 。采用平方损失函数，则在训练集 $\mathbb D$ 上，模型的损失函数为：
$L(f)=\sum_{i=1}^{N}\left(\hat y_i-\tilde y_i\right)^{2}=\sum_{i=1}^{N}\left(\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b-\tilde y_i\right)^{2}$
优化目标是损失函数最小化，即： $(\mathbf {\vec w}^{*},b^{*})=\arg\min_{\mathbf {\vec w},b}\sum_{i=1}^{N}\left(\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b-\tilde y_i\right)^{2}$ 。

1.2 求解

可以用梯度下降法来求解上述最优化问题的数值解，但是实际上该最优化问题可以通过最小二乘法获得解析解。
令：
$\mathbf {\vec{\tilde w}}=(w_{1},w_{2},\cdots,w_{n},b)^{T}=(\mathbf {\vec w}^{T},b)^{T}\\ \mathbf {\vec {\tilde x}}=(x_{1},x_{2},\cdots,x_{n},1)^{T}=(\mathbf {\vec x}^{T},1)^{T}\\ \mathbf {\vec y}=(\tilde y_1,\tilde y_2,\cdots,\tilde y_N)^{T}$
则有：
$\sum_{i=1}^{N}\left(\mathbf {\vec w} \cdot \mathbf {\vec x}_i+b-\tilde y_i\right)^{2}=\left(\mathbf {\vec y}- (\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}\mathbf {\vec{\tilde w}}\right)^{T}\left(\mathbf {\vec y}- (\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}\mathbf {\vec{\tilde w}}\right)$
令：
$\mathbf X=(\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}=\begin{bmatrix} \mathbf {\vec {\tilde x}}_1^{T}\\ \mathbf {\vec {\tilde x}}_2^{T}\\ \vdots\\ \mathbf {\vec {\tilde x}}_N^{T}\\ \end{bmatrix}=\begin{bmatrix} x_{1,1}&x_{2,1}&\cdots&x_{n,1}&1\\ x_{1,2}&x_{2,2}&\cdots&x_{n,2}&1\\ \vdots&\vdots&\ddots&\vdots&1\\ x_{1,N}&x_{2,N}&\cdots&x_{n,N}&1\\ \end{bmatrix}$
则：
$\mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})$
令 $E_{\mathbf {\vec {\tilde w}}}=(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})$ 。为求得它的极小值，可以通过对 $\mathbf {\vec{\tilde w}}$ 求导，并令导数为零，从而得到解析解：
$\frac{\partial E_{\mathbf {\vec {\tilde w}}} }{\partial \mathbf {\vec{\tilde w}}} =2\mathbf X^{T}(\mathbf X\mathbf {\vec{\tilde w}}-\mathbf {\vec y})=\mathbf {\vec 0} \Longrightarrow \mathbf X^{T}\mathbf X\mathbf {\vec{\tilde w}}=\mathbf X^{T}\mathbf {\vec y}$
- 当 $\mathbf X^{T}\mathbf X$ 为满秩矩阵时，可得： $\mathbf {\vec {\tilde w}}^{*}=(\mathbf X^{T}\mathbf X)^{-1}\mathbf X^{T}\mathbf {\vec y}$ 。
  其中 $(\mathbf X^{T}\mathbf X)^{-1}$ 为 $\mathbf X^{T}\mathbf X$ 的逆矩阵。
  最终学得的多元线性回归模型为： $f(\mathbf {\vec x}_i)=\mathbf {\vec {\tilde w}}^{*T}\mathbf {\vec {\tilde x}}_i=\mathbf {\vec w}^{*T}\mathbf {\vec x}_i+b^{*}$ 。
- 当 $\mathbf X^{T}\mathbf X$ 不是满秩矩阵。此时存在多个解析解，他们都能使得均方误差最小化。究竟选择哪个解作为输出，由算法的偏好决定。
  比如 $N \lt n$ （样本数量小于特征种类的数量），根据 $\mathbf X$ 的秩小于等于 $N,n$ 中的最小值，即小于等于 $N$ （矩阵的秩一定小于等于矩阵的行数和列数）；而矩阵 $\mathbf X^{T}\mathbf X$ 是 $n \times n$ 大小的，它的秩一定小于等于 $N$ ，因此不是满秩矩阵。
  常见的做法是引入正则化项：
  - $L_1$ 正则化：此时称作Lasso Regression ：
    $\mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_1\right]$
    $\lambda \gt 0$ 为正则化系数，调整正则化项与训练误差的比例。
  - $L_2$ 正则化：此时称作Ridge Regression：
    $\mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_2^2\right]$
    $\lambda \gt 0$ 为正则化系数，调整正则化项与训练误差的比例。
  - 同时包含 $L_1,L_2$ 正则化：此时称作Elastic Net：
    $\mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda \rho||\mathbf {\vec {\tilde w}}||_1+\frac{\lambda(1-\rho)}{2}||\mathbf{\vec w}||^2_2\right]$
    其中：
    - $\lambda \gt 0$ 为正则化系数，调整正则化项与训练误差的比例。
    - $1\ge\rho\ge0$ 为比例系数，调整 $L_1$ 正则化与 $L_2$ 正则化的比例。

1.3 算法

多元线性回归算法：
- 输入：
  - 数据集 $\mathbb D=\{(\mathbf {\vec x}_1,\tilde y_1),(\mathbf {\vec x}_2,\tilde y_2),\cdots,(\mathbf {\vec x}_N,\tilde y_N)\},\mathbf {\vec x}_i \in \mathcal X \subseteq \mathbb R^{n},y_i \in \mathcal Y\subseteq \mathbb R$
  - $L_2$ 正则化项系数 $\lambda \gt 0$
- 输出模型： $f(\mathbf {\vec x})=\mathbf {\vec w}^* \cdot \mathbf {\vec x}+b^*$
- 算法步骤：
  令：
  $\mathbf {\vec{\tilde w}}=(w_{1},w_{2},\cdots,w_{n},b)^{T}=(\mathbf {\vec w}^{T},b)^{T}\\ \mathbf {\vec {\tilde x}}=(x_{1},x_{2},\cdots,x_{n},1)^{T}=(\mathbf {\vec x}^{T},1)^{T}\\ \mathbf {\vec y}=(\tilde y_1,\tilde y_2,\cdots,\tilde y_N)^{T}\\ \mathbf X=(\mathbf {\vec {\tilde x}}_1,\mathbf {\vec {\tilde x}}_2,\cdots,\mathbf {\vec {\tilde x}}_N)^{T}=\begin{bmatrix} \mathbf {\vec {\tilde x}}_1^{T}\\ \mathbf {\vec {\tilde x}}_2^{T}\\ \vdots\\ \mathbf {\vec {\tilde x}}_N^{T}\\ \end{bmatrix}=\begin{bmatrix} x_{1,1}&x_{2,1}&\cdots&x_{n,1}&1\\ x_{1,2}&x_{2,2}&\cdots&x_{n,2}&1\\ \vdots&\vdots&\ddots&\vdots&1\\ x_{1,N}&x_{2,N}&\cdots&x_{n,N}&1\\ \end{bmatrix}$
  求解：
  $\mathbf {\vec {\tilde w}}^{*}=\arg\min_{\mathbf {\vec {\tilde w}}}\left[(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})^{T}(\mathbf {\vec y}-\mathbf X\mathbf {\vec{\tilde w}})+\lambda ||\mathbf {\vec {\tilde w}}||_2\right]$
  最终学得模型： $f(\mathbf {\vec x}_i)=\mathbf {\vec {\tilde w}}^{*T}\mathbf {\vec {\tilde x}}_i=\mathbf {\vec w}^* \cdot \mathbf {\vec x}+b^*$

二、广义线性模型

2.1 广义线性模型的函数定义

考虑单调可微函数 $g(\cdot)$ ，令 $g(y)=\mathbf{\vec w }^{T}\mathbf{\vec x}+b$ ，这样得到的模型称作广义线性模型 (generalized linear model)。
其中函数 $g(\cdot)$ 称作联系函数 (link function) 。
对数线性回归是广义线性模型在 $g(\cdot)=\ln(\cdot)$ 时的特例。即： $\ln y=\mathbf{\vec w }^{T}\mathbf{\vec x}+b$ 。
- 它实际上是试图让 $\exp(\mathbf{\vec w }^{T}\mathbf{\vec x}+b)$ 逼近 $y$ 。
- 它在形式上仍是线性回归，但是实质上是非线性的。

2.2 广义线性模型的概率定义

如果给定 $\mathbf{\vec x}$ 和 $\mathbf{\vec w} 之后，$ $y$ 的条件概率分布 $p(y\mid \mathbf{\vec x};\mathbf{\vec w})$ 服从指数分布族，则该模型称作广义线性模型。
指数分布族的形式为： $p(y;\eta)=b(y)*\exp(\eta T(y)-a(\eta))$ 。
- $\eta$ 是 $\mathbf{\vec x}$ 的线性函数： $\eta=\mathbf{\vec w}^T\mathbf{\vec x}$
- $b(y),T(y)$ 为 $y$ 的函数
- $a(\eta)$ 为 $\eta$ 的函数

2.3 常见分布的广义线性模型

2.3.1 高斯分布

高斯分布：
$p(y)=\frac {1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(y-\mu)^2}{2\sigma^2}\right) =\frac {1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{y^2}{2\sigma^2}\right)\exp\left(\frac{\mu}{\sigma^2}\times y-\frac{\mu^2}{2\sigma^2}\right)$
令：
$b(y)=\frac {1}{\sqrt{2\pi}\sigma}\times \exp\left(-\frac{y^2}{2\sigma^2}\right)\\ T(y)=y\\ \eta=\frac{\mu}{\sigma^2}\\ a(\eta)=\frac{\mu^2}{2\sigma^2}$
则满足广义线性模型。

2.3.2 伯努利分布

伯努利分布（二项分布， $y$ 为 0 或者 1，取 1的概率为 $\phi$ ）：
$p(y;\phi)=\phi^y(1-\phi)^{1-y}=\exp\left(y\ln\frac{\phi}{1-\phi}+ln(1-\phi)\right)$
令：
$b(y)=1\\ \eta=\ln\frac{\phi}{1-\phi}\\ T(y)=y\\ a(\eta)=-\ln(1-\phi)$
则满足广义线性模型。
根据 $\eta=\mathbf{\vec w}^T\mathbf{\vec x}$ ，有 $\eta=\mathbf{\vec w}^T\mathbf{\vec x}=\ln\frac{\phi}{1-\phi}$ 。则得到：
$\phi=\frac{1}{1+\exp(-\mathbf{\vec w}^T\mathbf{\vec x})}$
因此 logistic 回归属于伯努利分布的广义形式。

2.3.3 多元伯努利分布

假设有 $K$ 个分类，样本标记 $\tilde y\in \{1,2,\cdots,K\}$ 。每种分类对应的概率为 $\phi_1,\phi_2,\cdots,\phi_K$ 。则根据全概率公式，有
$\sum_{i=1}^{K}\phi_i=1\\ \phi_K=1-\sum_{i=1}^{K-1}\phi_i$
- 定义 $T(y)$ 为一个 $K-1$ 维的列向量：
  $T(1)=\begin{bmatrix}1\\0\\0\\ \vdots\\0\end{bmatrix}, T(2)=\begin{bmatrix}0\\1\\0\\ \vdots\\0\end{bmatrix}, \cdots, T(K-1)=\begin{bmatrix}0\\0\\0\\ \vdots\\1\end{bmatrix}, T(K)=\begin{bmatrix}0\\0\\0\\ \vdots\\0\end{bmatrix}$
- 定义示性函数 : $I(y=i)$ 表示属于 $i$ 分类； $I(y\neq i)$ 表示不属于 $i$ 分类。则有： $T(y)_i=I(y=i)$
- 构建概率密度函数为：
  $p(y;\phi)=\phi_1^{I(y=1)}\times \phi_2^{I(y=2)}\times\cdots\times\phi_K^{I(y=K)}\\ =\phi_1^{I(y=1)}\times\phi_2^{I(y=2)}\times\cdots\times\phi_K^{1-\sum_{i=1}^{K-1}I(y=i)}\\ =\phi_1^{T(y)_1}\times\phi_2^{T(y)_2}\times\cdots\times\phi_K^{1-\sum_{i=1}^{K-1}T(y)_i}\\ =\exp\left(T(y)_1\times\ln\phi_1+T(y)_2\times\ln\phi_2+\cdots+(1-\sum_{i=1}^{K-1}T(y)_i)\times\ln\phi_K\right)\\ =\exp\left(T(y)_1\times\ln\frac{\phi_1}{\phi_K}+T(y)_2\times\ln\frac{\phi_2}{\phi_K}+\cdots+T(y)_{K-1}\times\ln\frac{\phi_{K-1}}{\phi_K}+\ln\phi_K\right)$
- 令
  $\eta=(\ln\frac{\phi_1}{\phi_K},\ln\frac{\phi_2}{\phi_K},\cdots,\ln\frac{\phi_{K-1}}{\phi_K})^T$
  则有：
  $p(y;\phi)=\exp\left(\eta\cdot T(y)+\ln \phi_K\right)$
  令 $b(y)=1,a(\eta)=-\ln\phi_K$ ，则满足广义线性模型。
根据：
$\eta_i=\ln \frac{\phi_i}{\phi_K} \rightarrow \phi_i=\phi_Ke^{\eta_i}$
则根据：
$1=\sum_{i=1}^{K}\phi_i=\phi_K\left(1+\sum_{i=1}^{K-1}e^{\eta_i}\right)\rightarrow \phi_K=\frac{1}{1+\sum_{i=1}^{K-1}e^{\eta_i}}$
于是有：
$\phi_i=\begin{cases} \frac{e^{\eta_i}}{1+\sum_{j=1}^{K-1}e^{\eta_j}},&i=1,2,\cdots,K-1\\ \frac{1}{1+\sum_{j=1}^{K-1}e^{\eta_j}},&i=K\\ \end{cases}$
.

三、对数几率回归

线性回归不仅可以用于回归任务，还可以用于分类任务。

3.1 二分类模型

考虑二分类问题。
给定数据集 $\mathbb D=\{(\mathbf {\vec x}_1,\tilde y_1),(\mathbf {\vec x}_2,\tilde y_2),\cdots,(\mathbf {\vec x}_N,\tilde y_N)\},\mathbf {\vec x}_i \in \mathcal X \subseteq \mathbb R^{n},y_i \in \mathcal Y=\{0,1\},i=1,2,\cdots,N$ 。
- 考虑到 $\mathbf {\vec w} \cdot \mathbf {\vec x}+b$ 取值是连续的，因此它不能拟合离散变量。
  可以考虑用它来拟合条件概率 $p(y=1\mid \mathbf{\vec x})$ ，因为概率的取值也是连续的。
- 但是对于 $\mathbf {\vec w} \ne \mathbf {\vec 0}$ （若等于零向量则没有什么求解的价值）， $\mathbf {\vec w} \cdot \mathbf {\vec x}+b$ 取值是从 $-\infty \sim +\infty$ ，不符合概率取值为， $0 \sim 1$ 因此考虑采用广义线性模型。
  最理想的是单位阶跃函数：
$p(y=1\mid\mathbf{\vec x})=\begin{cases} 0,& z\lt 0\\ 0.5,& z = 0\\ 1,& z\gt 0\\ \end{cases} \quad, z=\mathbf {\vec w} \cdot \mathbf {\vec x}+b$
- 但是阶跃函数不满足单调可微的性质，不能直接用作 $g(\cdot)$ 。
  对数几率函数(logistic function)就是这样的一个替代函数：
  $p(y=1\mid\mathbf{\vec x})=\frac{1}{1+e^{-z}}\quad , z=\mathbf {\vec w} \cdot \mathbf {\vec x}+b$
  这样的模型称作对数几率回归(logistic regression或logit regression）模型。
由于 $p(y=0\mid\mathbf{\vec x})=1-p(y=1\mid\mathbf{\vec x})$ ，则有：
$\ln \frac{P(y=1\mid\mathbf{\vec x})}{P(y=0\mid\mathbf{\vec x})}=z=\mathbf {\vec w} \cdot \mathbf {\vec x}+b$
- 比值 $\frac{P(y=1\mid\mathbf{\vec x})}{P(y=0\mid\mathbf{\vec x})}$ 表示样本为正例的可能性比上反例的可能性，称作几率(odds）。几率反映了样本作为正例的相对可能性。
  几率的对数称作对数几率(log odds，也称作logit）。
- 对数几率回归就是用线性回归模型的预测结果去逼近真实标记的对数几率。
虽然对数几率回归名字带有回归，但是它是一种分类的学习方法。其优点：
- 直接对分类的可能性进行建模，无需事先假设数据分布，这就避免了因为假设分布不准确带来的问题。
- 不仅预测出来类别，还得到了近似概率的预测，这对许多需要利用概率辅助决策的任务有用。
- 对数函数是任意阶可导的凸函数，有很好的数学性质，很多数值优化算法都能直接用于求取最优解。

3.2 参数估计

给定训练数据集 $\mathbb D=\{(\mathbf {\vec x}_1,\tilde y_1),(\mathbf {\vec x}_2,\tilde y_2),\cdots,(\mathbf {\vec x}_N,\tilde y_N)\}$ ，其中 $\mathbf {\vec x}_i \in \mathbb R^{n}, y_i \in \{0,1\}$ 。可以用极大似然估计法估计模型参数，从而得出模型。
为了便于讨论，将参数 $b$ 吸收进 $\mathbf{\vec w}$ 中。
令：
$\mathbf{\vec w}=(w_{1},w_{2},\cdots,w_{n},b)^{T} \in \mathbb R^{n+1}\\ \mathbf{\vec x}=(x_{1},x_{2}\cdots,x_{n},1)^{T}\in \mathbb R^{n+1}$
令
$p(y=1\mid\mathbf {\vec x})=\pi(\mathbf {\vec x})=\frac{\exp(\mathbf{\vec w\cdot \vec x})}{1+\exp(\mathbf{\vec w\cdot \vec x})}\\ p(y=0\mid \mathbf {\vec x})=1-\pi(\mathbf {\vec x})$
则似然函数为： $\prod_{i=1}^{N}[\pi(\mathbf {\vec x}_i)]^{\tilde y_i}[1-\pi(\mathbf {\vec x}_i)]^{1-\tilde y_i}$ 。
对数似然函数为：
$L(\mathbf {\vec w})=\sum_{i=1}^{N}[\tilde y_i\log\pi(\mathbf {\vec x}_i)+(1-\tilde y_i)\log(1-\pi(\mathbf {\vec x}_i))]\\ =\sum_{i=1}^{N}[\tilde y_i\log\frac{\pi(\mathbf {\vec x}_i)}{1-\pi(\mathbf {\vec x}_i)}+\log(1-\pi(\mathbf {\vec x}_i))]$
由于 $\pi(\mathbf {\vec x})=\frac{\exp(\mathbf{\vec w\cdot \vec x})}{1+\exp(\mathbf{\vec w\cdot \vec x})}$ ，因此：
$L(\mathbf {\vec w})=\sum_{i=1}^{N}[\tilde y_i(\mathbf{\vec w\cdot \vec x}_i)-\log(1+\exp(\mathbf {\vec w} \cdot \mathbf {\vec x}_i))]$
则需要求解最优化问题：
$\mathbf {\vec w}^*=\arg\max_{\mathbf {\vec w}} L(\mathbf {\vec w})=\arg\max_{\mathbf {\vec w}} \sum_{i=1}^{N}[\tilde y_i(\mathbf{\vec w\cdot \vec x}_i)-\log(1+\exp(\mathbf {\vec w} \cdot \mathbf {\vec x}_i))]$
最终 logistic 回归模型为：
$p(y=1\mid \mathbf {\vec x})=\frac{\exp(\mathbf{\vec w}^*\cdot \mathbf{ \vec x})}{1+\exp(\mathbf{ \vec w}^*\cdot \mathbf{\vec x})}\\ p(y=0\mid \mathbf {\vec x})=\frac{1}{1+\exp(\mathbf{ \vec w}^*\cdot \mathbf{\vec x})}$
logistic 回归的最优化问题，通常用梯度下降法或者拟牛顿法来求解。

3.3 多分类模型

可以推广二分类的 logistic 回归模型到多分类问题。
设离散型随机变量 $y$ 的取值集合为： $\{1,2,\cdots,K\}$ ，则多元 logistic 回归模型为：
$p(y=k\mid\mathbf {\vec x})=\frac{\exp(\mathbf {\vec w}_k \cdot \mathbf {\vec x})}{1+\sum_{j=1}^{K-1}\exp(\mathbf {\vec w}_j \cdot \mathbf {\vec x})},\quad k=1,2,\cdots,K-1\\ p(y=K\mid\mathbf {\vec x})=\frac{1}{1+\sum_{j=1}^{K-1}\exp(\mathbf {\vec w}_j \cdot \mathbf {\vec x})}$
其中 $\mathbf {\vec x}\ \in \mathbb R^{n+1},\mathbf {\vec w}_k \in \mathbb R^{n+1}$ 。
其参数估计方法类似二项 logistic 回归模型。

四、线性判别分析

线性判别分析Linear Discriminant Analysis:LDA 基本思想：
- 训练时：给定训练样本集，设法将样例投影到某一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。要学习的就是这样的一条直线。
- 预测时：对新样本进行分类时，将其投影到学到的直线上，在根据投影点的位置来确定新样本的类别。

4.1 二分类模型

考虑二类分类问题。设数据集为： $\mathbb D=\{(\mathbf {\vec x}_1,\tilde y_1),(\mathbf {\vec x}_2,\tilde y_2),\cdots,(\mathbf {\vec x}_N,\tilde y_N)\},\mathbf {\vec x}_i \in \mathcal X \subseteq \mathbb R^{n},y_i \in \mathcal Y=\{0,1\}$ 。

4.1.1 投影

设 $\mathbb D_0$ 表示类别为 0 的样例的集合，这些样例的均值向量为 $\vec \mu_0=(\mu_{0,1},\mu_{0,2},\cdots,\mu_{0,n})^{T}$ ，这些样例的特征之间协方差矩阵为 $\Sigma_0$ （协方差矩阵大小为 $n \times n$ ）。
设 $\mathbb D_1$ 表示类别为 1 的样例的集合，这些样例的均值向量为 $\vec \mu_1=(\mu_{1,1},\mu_{1,2},\cdots,\mu_{1,n})^{T}$ ，这些样例的特征之间协方差矩阵为 $\Sigma_1$ （协方差矩阵大小为 $n \times n$ ）
假定直线为： $y=\mathbf{\vec w}^{T}\mathbf{\vec x}$ ，其中