Yki表示第i类中第k个样本的投影值
N1为ω1样本数 N2为ω2样本数 （7）电位函数分类器：电位函数，累积电位的计算
(a)电位函数：电位分布函数有如下三种形式： 1. K(XXk)? exp{-?||x?xk||2}
12. K(XXk)?
1??||x?xk||2
2sin?||x?xk|| 3. K( XX k ) ? | | α为系数 xk为某一特定点 ?||x?xk||2
(b)累计电位的计算： Kk+1(x)= Kk(x)+rk+1K(x,xk)
其中： xk+1∈ω1并且Kk(xk+1)>0时 rk+1= 0 xk+1∈ω1并且Kk(xk+1) ≤ 0时 rk+1= 1 xk+1∈ω2并且Kk(xk+1)<0时 rk+1= 0 xk+1∈ω2并且Kk(xk+1) ≥ 0时 rk+1= -1
5．1）二类问题的贝叶斯判别
（1）判别函数的四种形式 （2）决策规则 （3）决策面方程
（4）决策系统的结构
（1）判别函数的四种形式：
(A)g(x)?P(?1x)?P(?2x),(后验概率)
(B)g(x)?P(x?1)P(?1)?P(x?2)P(?2),(类条件概率密度) （2）判别规则：
P(x?1)P(?2)(C)g(x)??,(似然比形式)
P(x?2)P(?1)
P(x?1)P(?2)
(D)g(x)?ln?ln,(取对数方法) P(x?2)P(?1)
?1?
(A)P(?1x)P(?2x)?x? ?2? ?1?(B)P(x?)P(?)P(x?)P(?)?x? 1122?2?
?1?P(?2) P(x?)1(C)?x? P(x?2)?P(?1)?2
?1P(x?1)?P(?2) (D)g(x)?lnln?x??2P(x?2)?P(?1)
（3）决策面方程：g（x）=0
2）多类问题的贝叶斯判别 （1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4）决策系统的结构
（1）判别函数的四种形式：M类有M个判别函数g1(x), g2(x),…, gm(x). (A)g(x)?P(?1x)?P(?2x),(后验概率) (B)g(x)?P(x?1)P(?1)?P(x?2)P(?2),(类条件概率密度)
P(x?1)P(?2)(C)g(x)??,(似然比形式)
P(x?2)P(?1)
P(x?1)P(?2) (D)g(x)?ln?ln,(取对数方法)P(x?2)P(?1)
（2）决策规则：
gi(x)?P(x?i)P(?i)?maxP(x?j)P(?j)?x??i,(i?1,2,...,M)1?j?M另一种形式：
gi(x)?lnP(x?i)?lnP(?i)
?maxlnP(x?j)?lnP(?i)?x??i1?j?M
（3）决策面方程： gi(x)?gj(x),即gi(x)?gj(x)?0
??
6．三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程 （1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况) (a)判别函数： ) ? w T x ? w , (线性判别函数 ) g (xiii0其中：wi?
(b)判别规则：
12?2?i,wi0??12?2?iT?i?lnP(?i)
gi(x)?wiTx?wi0?maxwTjx?wj0?x??i1?w?M??W(x?x0)?0
其中W??i??j
?2?i??jP(?i)1x0?(?i??j)?ln
2P(?j)?i??j
（2）第二种情况：Σi＝ Σ相等，即各类协方差相等。 (a)判别函数： gi(x)?WiTx?wi0（线性函数）, ?1其中Wi??i
(c)决策面方程：
gi(x)?gj(x)?0
???1wi0???iT??1?i?lnP(?i)2
(b)判别规则：
gi(x)?WiTx?wi0?maxWjTx?wj0?x??i1?j?M
(c)决策面方程： 若?与?相邻?g(x)?g(x)?0ijij
?WT(x?x0)?0,其中W???1(?i??j)。
P(?i) ln(?i??j)P(?)1j x0?(?i??j)?2(?i??j)T??1(?i??j)
（3）第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。
(a)判别函数： 1?1TTg(x)?xWx?Wx?w,其中W??iiiii0i,(n?n矩阵) 2 1T?11?1W??(n维列向量)，w?????lni?lnP(?i)iiii0iii 22(b)判别规则：
gi(x)?xTWix?WiTx?wi0
?maxxTWjx?WjTx?wj0?x??i1?j?M
gi(x)?gj(x)?0 (c)决策面方程：
7．最小风险贝叶斯分类器：判别函数，判别规则 （1）判别函数： 条件风险：
M
R??ix??E??i?j????i?jP?jx,i?1,2,...,a.(a?M) j?1αi：表示把模式x判决为ωi类的一次动作 期望风险： R ? R ? ? ? x ? x ?P ?x , ( 平均风险 ) ?dx
（2）判别规则： R ? ? k x ? ? min R ? ? i x ?, 则 x ? ? k ： 若?????????????????i?1,2,...,M8．最小最大损失准则判决（二类）：准则，判别规则，P*(?1)的确定
（1）准则：讨论在P(ωi)变化时如何使最大可能风险最小； （2）判别规则：风险 R ? a ? bP ? ? 1 ? 其中：a??22???12??22?P?x?2?dx?2
b???11??22????21??11?P?x?1?dx???12??22?P?x?2?dx ?2?1 通过最小风险与先验概率的关系曲线 ，确定最大风险，使最大风险最小。
???（3）P(?1)的确定：
如果选择?1,?2使b?0,R与P??1?无关.
即??11??22????21??11??P?x?1?dx???12??22??P?x21
*???2?dx?0这时候最大风险为最小，R?a??22???12??22??P?x?2?dx?29．（1）贝叶斯估计算法思想：准则，求解过程
(A)准则：通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/θ)转化为 后验概率P(θ/Xi) ，再求贝叶斯估计；
(B)求解过程： ① 确定θ的先验分布P(θ),待估参数为随机变量。
② 用第i类样本xi=(x1, x2,…. xN)T求出样本的联合概率密度分布P(xi|θ)，它是
θ的函数。
i ③ 利用贝叶斯公式,求θ的后验概率 P(?|Xi)?P(X|?).P(?)??P(Xi|?)P(?)d?
求贝叶斯估计???P(?|Xi)d? ④
?
（2）正态分布情况下：?的计算
对μ的估计为
22N?0??N??N??Xk?N?02??2?0N?02??2k?1???若令P(μ)=N(μ0, σ02 )=N(0,1)
?1N Xk?N?N?1k?1
9．非参数估计的条件密度计算公式
（1）Parzen窗口估计的三种形式，条件密度的计算
（A）窗口的选择：（A）方窗函数；（B）正态窗函数；（C）指数窗函数
1? ?1,|u|?112?(u)??(u)?exp{?2?|u|}?u}?(u)?exp{
22???0.其他
?（B）条件密度的计算：
1N1|x?xi|KNNPN(x)???() Ni?1VNVNhN
（2）K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法
（A）基本思想：以x为中心建立空胞，使v↑，直到捕捉到KN个样本为止。 （B）用K-近邻法作后验概率估计的方法：由KN近邻估计知N个已知类别样 本落入VN内为KN个样本的概率密度估计为
kN
NPN(x)?
VN
N个样本落入VN内有KN个，KN个样本内有Ki个样本属于ωi类，则联合概率密度：
? kiN?P(x|)P() ?i?iPN(x,?i)?vN
根据Bayes公式可求出后验概率： P(x|?i)?P(?i)(x,?i)?MPNPN(?i|x)?N
P(x|?i)?P(?i)PN(x,?i)
i?1j?1
ki后验概率的估计：PN(?i|x)? kN
??27．模糊聚类分析方法 1）基于等价关系 （1）?-水平截阵 （2）等价划分
（1）α水平截阵： R α =[x| μA(x)≥α] （2）等价划分：若 R 是E上的一个等价关系。则对任意阈值α(0≤ α ≤1)则模糊水平集R α
~也是E上的一个等价关系；由小到大选取阈值α(0≤ α ≤1)，将矩阵中相同的行的特征归为一类，得到分类；逐渐增大阈值，则分类增多，知道满足分类数目为止。
2）基于相似关系
（1）求传递闭包?等价 （2）利用等价关系聚类
R 变成等价关系方法为： （1）把相似关系（相似矩阵）~248取 R 的乘幂为 R , R , R ......
~~~~k2k
若在某一步有R＝R＝R.~~~
2则R就是模糊等价关系。且R＝R?R
~~~~ 422844R＝R?R,R＝R?R~~~~~~
（2）选择适当α值，取等价关系R的α水平集，根据水平集确定样本的类别
相关推荐：
loading