??????X?(x1,x2,?,xN1,xN1?1,xN1?2,?,xN1?N2)T
属于?1的样本作为X的前N1行，属于?2的样本作为X的后N2行。证明：当余量矢量
NNNN时，MSE解等价于Fisher解。 ,?,,,?,)N1N1N2N2??????????N1N2b?(?????3.4 已知二维样本：x1=(-1,0)T，x2=(0,-1)T，x3=(0,0)T，x4=(2,0)T和x5=(0,2)T，
??????T
{x1,x2,x3}??1，{x4,x5}??2。试用感知器算法求出分类决策函数，并判断x6=(1,1)属于哪一类？
3.4. 已知模式样本 x1=(0,0)T,x2=(1,0)T,x3=(-1,1)T分别属于三个模式类别，即， x1??1,x2??2,x3??3，
（1）试用感知器算法求判别函数gi(x)，使之满足，若xi??i 则gi(x)>0，i=1,2,3； （2）求出相应的判决界面方程，并画出解区域的示意图。 给定校正增量因子C=1，初始值可以取：
w1(1)=(4,-9,-4)T，w2(1)=(4,1,-4,)T，w3(1)=(-4,-1,-6)T。
3.5 已知?1：{(0,0)T},?2：{(1,1)T},?3：{(-1,1)T}。用感知器算法求该三类问题的判别函数，并画出解区域。
3.6 试证明：
?????T?|g(x)|（1）从x到超平面g(x)?wx?w0?0的距离r??是在g(xq)?0的约束条件下，使
w??2x?xq达到极小的解。
????T???g(x)?（2）x在超平面g(x)?wx?w0?0上的投影是xp?x??2w 。
w
3.7 设有一维空间二次判别函数g(x)?5?7x?9x2，试将其映射成广义齐次线性判别函数
???g(x)?aTy 。
?3.8 对二维线性判别函数g(x)?x1?2x2?2
????（1）将判别函数写成g(x)?wTx?w0的形式，并画出g(x)?0的几何图形；
???（2）将其映射成广义齐次线性判别函数g(x)?aTy ；
??（3）指出上述X空间实际是Y空间的一个子空间，且aTy?0对X子空间的划分与原空间
??中wTx?w0?0对原X空间的划分相同，并在图上表示出来。
?3.9 指出在Fisher线性判别中，w的比例因子对Fisher判别结果无影响的原因。
3.10 证明两向量外积组成的矩阵一般是奇异的。
3.11 证明，在几何上，感知器准则函数值正比于被错分类样本到决策面的距离之和。
3.12解释为什么感知器函数是一个连续分段的线性分类器。
3.13如果在感知器算法中
???k，那么在
k0?w?0???w2*???2???步之后，这个算法收敛，其中
????2，??2。
3.14证明感知器算法的正确分类和错误分类在有限个反复的运算以后是收敛的
?0,1?。类?中包含?1,0?和?1,1?两个向量。根据感知器算法，其中??1，?(0)??0.5,0.5?，设计一个线性分离器来区分这两类
TTTT3.15 考虑一种情况，在类
?中包含两个特征向量?0,0?1，
2T3.16在上一章2。12问题中两分类问题中，取
?T1??1,1?,???0,0?,?1??2?0.2.对于每一类产
22T2生50个向量。为了确保对于这两类的线性分离，对于向量[1，1]类确保对于[0，0]向量类
x?x12?1，
x?x12?1。下面的步骤就是使用这些向量去设计一个线性分类器使用(3.21)中的感
知器算法。在收敛以后，画出相关的判定线
3.17 假如2.12问题中是多类分类问题，每一类有100个样本点。根据LMS算法使用这些数据去设计一个线性分类器。当所有的点被带入这个算法中进行计算的时候，画出这个算法收敛的相关超平面。其中
?k???0.01，然后使用??0.01。观察这个结果
3.18 证明，使用KESLER构造器，经过前面3。21感知器算法的有限步正确与错误分类计算后，对于一个
x????ti，变为
?i?t?1???i?t???x?t?if?i??t?1????t?kkTx?t???j?t?x?t?,x?t???j?t?x?t?,?k?jTTj?ij?iandk?i
?i?t?1???i?t???x?t?if?iT
3.19 证明理想权重向量的误差平方和趋渐进于MSE的解。 3.20使用均方误差和的原则解问题3.6并设计一个线性分类器。
3.21证明设计一个M类的线性分类器，有最佳误差平方和。分类器减少到M等价个有相应的效果。 3.22证明，假如x,y服从联合高斯分布，对于x条件下y的分布是
?????x E?y|x???????yyyxxx，
? ?????????????xx2xyyk2y?? ??k3.23 取M类分类器按照参数函数gx;???的形式存在，目的是估计参数?，使得分类器根据输入
向量x能够产生期望的响应输出值 。假设在每一类中x是随机分布，分类器的输出根据相关期望响应值的不同而不同。按照高斯已知变量的一个高斯分布，假设所有的输出都是相同的。证明按照误差平方和的原则，ML估计是产生一个等价的估计值。
提示：在已知的类别当中取出N个训练样本值。对于他们中的每一个形成是第k类中第i个样本点的期望响应值。
y2i?g?xi;?k??dk。dkiiys服从正态0均值，方差为?i'的分布。这个似然函数使用
ys
i'3.24在二类分类问题中，贝叶斯最佳判定截面是通过g?x??P??|x??P??12|x??0给出，证明
MSE中训练一个判定界面f?x;??，目的是对两类进行有效判别，相关的，它等价于在MSE最优感知中，它等价于f?x;??的渐进函数形式g(.).
3.25 假设在两类分类问题中有服从联合分布的特征向量，他们在有共同的方差?。设计一个线性MSE分类器，证明在2.11问题中的贝叶斯分类器和这个结果的MSE分类器仅仅通过一个阈值就可以区分。简化起见，仅仅考虑等概率的类的情况。 提示：计算MSE超平面
?Tx??0?0，增加x的维数，它的解按照下列方式提供，
?R??Ex???TE?x???w??1?????21??w0????T?1?????120??? ?相关的R和?在MSE分类器中按照下列的形式给出
??1??2??1??x?2?????(?)0 ?1?2???
第四章 统计判决
4.1 使用最小最大损失判决规则的错分概率是最小吗？为什么？ 4.2 当?i=?2I时，先验概率对决策超平面的位置影响如何？
4.3 假设在某个地区的细胞识别中正常?1和异常?2两类的先验概率分别为 正常状态 ：P(?1)?0.9 异常状态：P(?2)?0.1
现有一待识的细胞，其观测值为x，从类条件概率密度分布曲线上查得
p(x?1)?0.2,p(x?2)?0.4
并且已知损失系数为?11=0，?12=1，?21=6，?22=0。
试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小损失准则的贝叶斯判决。请分析两种分类结果的异同及原因。 4.4 试用最大似然估计的方法估计单变量正态分布的均值?和方差?2。
4.5 已知两个一维模式类别的类概率密度函数为
相关推荐：
loading