线性分类模型(二)——生成式模型

生成式方法：对类条件概率密度$p(\pmb{x}|C_k)$和类先验概率分布$p(C_k)$建模，然后使用贝叶斯定理计算后验概率密度$p(C_k|\pmb{x})$，从而进行预测。

二分类模型

类别$C_1$的后验概率为

$$p(C_1|\pmb{x})=\frac{p(\pmb{x}|C_1)p(C_1)}{p(\pmb{x}|C_1)p(C_1)+p(\pmb{x}|C_2)p(C_2)}=\frac{1}{1+\exp(-a)}\triangleq\sigma(a)$$

其中，$a=\ln\frac{p(\pmb{x}|C_1)p(C_1)}{p(\pmb{x}|C_2)p(C_2)}$，$\sigma(a)$是sigmoid函数。
假设类条件概率密度是高斯分布，且所有的类别协方差阵相同。则

$$p(\pmb{x}|C_k)=\frac{1}{ {(2\pi)}^\frac{D}{2} }\frac{1}{|\Sigma|^\frac{1}{2}}\exp\{-\frac{1}{2}(\pmb{x}-\pmb{\mu}_k)^\top\Sigma^{-1}(\pmb{x}-\pmb{\mu}_k)\}$$

则后验可化为

$$p(C_1|\pmb{x})=\sigma(\pmb{w}^\top\pmb{x}+w_0)$$

其中，定义了$\pmb{w}=\Sigma^{-1}(\pmb{\mu}_1-\pmb{\mu}_2)$，$w_0=-\frac{1}{2}\pmb{\mu}_1^\top\Sigma^{-1}\pmb{\mu}_1+\frac{1}{2}\pmb{\mu}_2^\top\Sigma^{-1}\pmb{\mu}_2+\ln\frac{p(C_1)}{p(C_2)}$

多分类模型

类别$C_k$的后验概率为

$$p(C_k|\pmb{x})=\frac{p(\pmb{x}|C_k)p(C_k)}{\sum_jp(\pmb{x}|C_j)p(C_j)}=\frac{\exp(a_k)}{\sum_j\exp(a_j)}\triangleq softmax_k(\pmb{a})$$

其中，$a_k=\ln (p(\pmb{x}|C_k)p(C_k))$。
在同样的高斯分布和类别协方差阵假设下，有

$$a_k(\pmb{x})=\pmb{w}_k^\top\pmb{x}+w_{k0}$$

其中，$\pmb{w}_k=\Sigma^{-1}\pmb{\mu}_k$，$w_{k0}=-\frac{1}{2}\pmb{\mu}_k^\top\Sigma^{-1}\pmb{\mu}_k+\ln p(C_k)$

极大似然解

首先考虑二分类的情形。
假设有一个数据集$\{\pmb{x}_n,t_n\}$，其中$n=1,2,\cdots,N$。$t_n=1,0$分别表示类别$C_1,C_2$，把先验记为$p(C_1)=\pi$，则有

$$p(\pmb{x}_n,C_1)=p(C_1)p(\pmb{x}_n|C_1)=\pi\mathscr{N}(\pmb{x}_n|\pmb{\mu}_1,\Sigma)$$

根据全概率公式可得似然函数为

$$p(\textbf{t}|\pi,\mu_1,\mu_2,\Sigma)=\prod_{n=1}^{N}[\pi\mathscr{N}(\pmb{x}_n|\pmb{\mu}_1,\Sigma)]^{t_n}[(1-\pi)\mathscr{N}(\pmb{x}_n|\pmb{\mu}_2,\Sigma)]^{1-t_n}$$

其中，$\textbf{t}=(t_1,t_2,\cdots,t_N)^\top$。
分别对各个参数求导可得极大似然解为

$$\pi=\frac{1}{N}\sum_{n=1}^Nt_n=\frac{N_1}{N}\\ \pmb{\mu}_1=\frac{1}{N_1}\sum_{n=1}^Nt_n\pmb{x}_n\\ \pmb{\mu}_2=\frac{1}{N_2}\sum_{n=1}^N(1-t_n)\pmb{x}_n\\ \Sigma=S=\frac{N_1}{N}S_1+\frac{N_2}{N}S_2$$

其中，$S_1=\frac{1}{N_1}\sum_{n\in C_1}(\pmb{x}_n-\pmb{\mu}_1)(\pmb{x}_n-\pmb{\mu}_1)^\top$，$S_2=\frac{1}{N_2}\sum_{n\in C_2}(\pmb{x}_n-\pmb{\mu}_2)(\pmb{x}_n-\pmb{\mu}_2)^\top$。详细求解过程见参考。
而对于多分类问题，很容易得到极大似然解。
注：该方法对于离群点不鲁棒。

参考

“Pattern Recognition and Machine Learning”