生成式方法:对类条件概率密度$p(\pmb{x}|C_k)$和类先验概率分布$p(C_k)$建模,然后使用贝叶斯定理计算后验概率密度$p(C_k|\pmb{x})$,从而进行预测。
二分类模型
类别$C_1$的后验概率为
其中,$a=\ln\frac{p(\pmb{x}|C_1)p(C_1)}{p(\pmb{x}|C_2)p(C_2)}$,$\sigma(a)$是sigmoid函数。
假设类条件概率密度是高斯分布,且所有的类别协方差阵相同。则
则后验可化为
其中,定义了$\pmb{w}=\Sigma^{-1}(\pmb{\mu}_1-\pmb{\mu}_2)$,$w_0=-\frac{1}{2}\pmb{\mu}_1^\top\Sigma^{-1}\pmb{\mu}_1+\frac{1}{2}\pmb{\mu}_2^\top\Sigma^{-1}\pmb{\mu}_2+\ln\frac{p(C_1)}{p(C_2)}$
多分类模型
类别$C_k$的后验概率为
其中,$a_k=\ln (p(\pmb{x}|C_k)p(C_k))$。
在同样的高斯分布和类别协方差阵假设下,有
其中,$\pmb{w}_k=\Sigma^{-1}\pmb{\mu}_k$,$w_{k0}=-\frac{1}{2}\pmb{\mu}_k^\top\Sigma^{-1}\pmb{\mu}_k+\ln p(C_k)$
极大似然解
首先考虑二分类的情形。
假设有一个数据集$\{\pmb{x}_n,t_n\}$,其中$n=1,2,\cdots,N$。$t_n=1,0$分别表示类别$C_1,C_2$,把先验记为$p(C_1)=\pi$,则有
根据全概率公式可得似然函数为
其中,$\textbf{t}=(t_1,t_2,\cdots,t_N)^\top$。
分别对各个参数求导可得极大似然解为
其中,$S_1=\frac{1}{N_1}\sum_{n\in C_1}(\pmb{x}_n-\pmb{\mu}_1)(\pmb{x}_n-\pmb{\mu}_1)^\top$,$S_2=\frac{1}{N_2}\sum_{n\in C_2}(\pmb{x}_n-\pmb{\mu}_2)(\pmb{x}_n-\pmb{\mu}_2)^\top$。详细求解过程见参考。
而对于多分类问题,很容易得到极大似然解。
注:该方法对于离群点不鲁棒。