线性分类模型(二)——生成式模型

生成式方法:对类条件概率密度$p(\pmb{x}|C_k)$和类先验概率分布$p(C_k)$建模,然后使用贝叶斯定理计算后验概率密度$p(C_k|\pmb{x})$,从而进行预测。

二分类模型

类别$C_1$的后验概率为

其中,$a=\ln\frac{p(\pmb{x}|C_1)p(C_1)}{p(\pmb{x}|C_2)p(C_2)}$,$\sigma(a)$是sigmoid函数。
假设类条件概率密度是高斯分布,且所有的类别协方差阵相同。则

则后验可化为

其中,定义了$\pmb{w}=\Sigma^{-1}(\pmb{\mu}_1-\pmb{\mu}_2)$,$w_0=-\frac{1}{2}\pmb{\mu}_1^\top\Sigma^{-1}\pmb{\mu}_1+\frac{1}{2}\pmb{\mu}_2^\top\Sigma^{-1}\pmb{\mu}_2+\ln\frac{p(C_1)}{p(C_2)}$

多分类模型

类别$C_k$的后验概率为

其中,$a_k=\ln (p(\pmb{x}|C_k)p(C_k))$。
在同样的高斯分布和类别协方差阵假设下,有

其中,$\pmb{w}_k=\Sigma^{-1}\pmb{\mu}_k$,$w_{k0}=-\frac{1}{2}\pmb{\mu}_k^\top\Sigma^{-1}\pmb{\mu}_k+\ln p(C_k)$

极大似然解

首先考虑二分类的情形。
假设有一个数据集$\{\pmb{x}_n,t_n\}$,其中$n=1,2,\cdots,N$。$t_n=1,0$分别表示类别$C_1,C_2$,把先验记为$p(C_1)=\pi$,则有

根据全概率公式可得似然函数

其中,$\textbf{t}=(t_1,t_2,\cdots,t_N)^\top$。
分别对各个参数求导可得极大似然解为

其中,$S_1=\frac{1}{N_1}\sum_{n\in C_1}(\pmb{x}_n-\pmb{\mu}_1)(\pmb{x}_n-\pmb{\mu}_1)^\top$,$S_2=\frac{1}{N_2}\sum_{n\in C_2}(\pmb{x}_n-\pmb{\mu}_2)(\pmb{x}_n-\pmb{\mu}_2)^\top$。详细求解过程见参考。
而对于多分类问题,很容易得到极大似然解。
:该方法对于离群点不鲁棒。

参考

“Pattern Recognition and Machine Learning”