量为?1，?2，证明对于贝叶斯最小错误概率分类器，错误概率分布是
PB????(1/2)dm1exp(?z2/2)dz 2?其中，dm是这两个均值向量之间的马氏距离。该函数是dm的增函数。
提示：对数似然比u?lnp(x|w1)?lnp(x|w2)是一个随机变量，且服从高斯分布：
?122?122???dm,dm?，?x??1；和???,，?x??2。据此计算错误概率。 ?dmdm?22????
4.20．证明假设每个向量都遵循高斯概率密度函数分布，在（2。19）的最大似然概率检测
x??1(?2)if等价于
p?x|?1?l12?p?x|?2??(?)?2
d??2m2m1,x|?1?dm???i2,x|?2?ln???????2ln? ?12这里
d??,x|??是?ii和x之间关于
?矩阵的的马氏距离。
i4.21．如果?1??2??，证明上个问题成为
这里
??2??1??x?????
T?1??ln??12??1???2??
4.22．在二维两类问题中，每一类?1,?2都服从以下分布：
rp?x|?1??rp?x|?2???1rrTrr?exp??2(x??1)?x??1?? 22??1?2?1?1?1rrTrr?exp??2(x??2)?x??2?? 22??2?2?2?1其中
?r1?(1,1)，??(1.5,1.5)T2rT22???，12?0.2假设P(?)?P(?)，设计一个贝叶斯分
12类器，满足
（a） 错误分类概率最小
（b） 具有损失矩阵?的平均风险最小
?01?????
0.50??使用一个伪随机的数值产生器，从每一个类中得到100个特征向量。按照上面的概率密度函数。使用这
T个分类器去分类已经产生的向量。对于每个事例中的错误概率是多少？用?2?(3.0,3.0)重复这个实
r验。
4.23．重复上面的实验，特征向量服从以下分布：
1r?1 p?x|?i??exp??212?2??rr?x??i??T?1?rr?x???
i??而且
?1.010.2?????
0.21.01??T2并且
?1??1,1?，???1.5,1.5?
T提示：一个高斯随机向量的线性变换仍然是一个高斯随机向量。注意
?1.010.2??10.1??10.1??0.21.01???0.11??0.11? ???????1.10.3?4.24．二维两类问题，假设两类服从同一正态分布，其协方差矩阵为????，均值
?0.31.9?rrr向量分别为?1?(0,0)T,?2?(3,3)T。试用贝叶斯分类器对向量x?(1.0,2.2)T进行分类。
4.25．假设在两类一维问题中p?x|?1?服从高斯分布?(?,?2)，p?x|?2?服从a到b之间的
?b????a????G均匀分布。证明贝叶斯错误概率的上限为G?其中G?x??P?y?x?，???，
??????并且y服从高斯N(0,1)分布。
r?ln(p(xk;?))r4.26．证明随机向量的均值是0。 ??r4.27．在掷硬币的游戏实验中，正面（1）出现的概率是q，反面出现的概率是（1-q）。设xi，i=1,2,…，
N是这个实验的结果，xi??0,1?，证明q 的最大似然估计是
提示：
似然函数是：
1?qMLN?x
i?1iN
P(X;q)??qi?1Nxi?1?q?ii?1?x?i
证明ML结果是下列方程的解
q?ixi?1?q??N??x???ixi???qN??ixi???0? ?1?q?4.28．随机变量x服从高斯N??,?2?分布，?未知。给定该变量的N个观测值，设L（?）
为?的对数似然函数：L(?)?ln(p(x;?))。试求该随机变量的Cramer-Rao界：
?2L?????E??2?。将该结果与?的ML估计值的方差进行比较，有何结论？假如这个未??????知参数是方差?，结论又如何？。
24.29．证明假如似然函数是高斯函数有未知的均值?，和协方差矩阵?，然后ML估计如下给出
1??N:?xk?1Nk
T
1??N::????xk????xk???k?1?N?????:
4.30．随机变量x 服从Erlang分布，概率密度函数为
p?x;????2xexp???x?u?x? 其中u(x)是一个阶跃函数
?1 u?x????0, x?0, x?0
假设x的N个观测值x1，…，xN ，证明?的最大似然估计为
??ML?2N?k?1xkN
4.31．随机变量x是服从正态分布?(?,?)，其中未知参数?服从Rayleigh分布，其概率
密度函数为
2?exp(??2/2??) p???? 2??2试证明?的最大后验概率估计为
?MAP? ?Z(1?1?4R/Z2) 2R其中，
Z?1?2?xk?1Nk, R?N2???12
?4.32. 证明对于对数正态分布
2??(lnx??)1?,x?0 exp?? p(x)?2??2??x2???最大似然估计为
?? ML1?N???lnxk?1Nk
4.33．若已知一个随机变量x的均值和方差：
???xp(x)dx，
?? ?2??(x??)2p(x)dx
????试证明，该随机变量概率密度函数的最大熵估计服从高斯分布N(?,?2)
4.34．P为一个随机点x位于某区间h的概率。给定x的N个观测值，其中有k个落入区
相关推荐：
loading