1．线性判别方法
（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a）判别函数： g ( x ) ? w 1 ? w 2x w 3 ( w 为参数， x ) 1x2 ?1,x2为坐标向量 （b）判别边界：g(x)=0; （c）判别规则： ??0,X??1g(x)?? i?0,X??2?
x n ?n维情况：（a）判别函数： g ( x ) ? w 1 x 1 ? w 2 x 2 ? ...... ? w n w n ?1
也可表示为： g ( W T X x ) ? W?(w1,w2,...,wn,wn?1)T为增值权向量，
X＝(x1,x2T,...,xn，xn?1)T为增值模式向量。 （b）判别边界：g1(x) =WX=0
（c）判别规则：
??0,X??igi(x)?WiX???0,其它,i?1,2,...,M。T（2）多类：3种判别方法（函数、边界、规则）
(A)第一种情况：(a)判别函数：M类可有M个判别函数
T
gi(x)?WiX
式中Wi?(wi1,wi2,...,win,win?1,)T为第i个判别函数的
权向量。
(b)判别边界：ωi （i=1,2,…,n）类与其它类之间的边界由 gi(x)=0确定 (c)判别规则： ??0,X??iTgi(x)?WiX?
??0,其它,i?1,2,...,M。
(B)第二种情况：(a)判别函数：有 M(M _ 1)/2个判别平面 Tgij(x)?WijX
gij(x)?0(b)判别边界：
(c)判别规则：
??0?当x??igij(x)?i?j ?0?当x??j?
(C)第三种情况：(a)判别函数：g k(x)?WKX (b)判别边界：
gi(x) =gj(x) 或gi(x) -gj(x) =0
(c)判别规则： ?最大，当x??iTg(x)?WX ?ik?小，其它
2．分段线性判别方法
1）基于距离:（1）子类，类判别函数 （2）判别规则
（1）子类：把ωi类可以分成li个子类:
1l∴ ? i ? ( ? i ? i2 ,..., ? i 分成l个子类。 ,)子类判别函数： gi(x)?minx??ill?1,2,...,l
在同类的子类中找最近的均值 （2）判别规则： gj(x)?mingi(x),i?1,2,...,M这是在M类中找最近均值。则把x归于ωj类完成分类
2）基于函数：（1）子类，类判别函数 （2）判别规则
（1）子类类判别函数：对每个子类定义一个线性判别函数为： llllg(x)?wx,其中w为?子类的权向量。iiii
（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则
gj(x)?maxgi(x),则x??ji?1,2,.....,M
3）基于凹函数的并：（1）析取范式，合取范式，凹函数
判别规则
析取范式：P=(L11∧L12∧…∧L1m)∨…∨(Lq1∧Lq2∧…∧Lqm)
合取范式：Q= (L11 ∨ L12 ∨ … ∨ L1m) ∧ … ∧(Lq1 ∨ Lq2 ∨ … ∨ Lqm) 凹函数：Pi=Li1∧Li2∧…∧Lim
判别规则：设第一类有q个峰，则有q个凹函数。 即P=P1∨P2∨……∨Pq
??0,x??1,i?1,2,...,q子类。Lij?wijx?
??0,x??2,j?1,2,...,m每个子类的判别函数数。
?P?0,则x??1 判别规则：??P?0,则x??2 3．非线性判别方法 （1）?1集中，?2分散
定义?1判别函数:?1g(x)?k2?(x??1)T?1(x??1),k的大小，决定超平面的大小。其中：?1为?1均值，?1为?1协方差?g(x)?0,x??1判别规则：??g(x)?0,x??2判别平面：g1(x)?0是个超球面由k控制大小（2）?1, ?2均集中
如果?，?都比较集中，那么定义两个判别函数：12
gi(x)?ki2?(x??i)Ti?1(x??i)，i?1,2
其中：?i为?1，?2均值，i为?1，?2协方差 判别平面方程：g(x)?g1(x)?g2(x) ?11T?1T?1??x2(1??2)x?2(?11??22)x?
T?1T?122 (?11?1??22?2)?(k1?k2)?0 ??0,x??1 判别规则：g(x)???0,x??2
k,k可用来调整二类错误率。 12
4．分类器的设计
（1）梯度下降法（迭代法）：准则函数，学习规则
（a）准则函数：J(W)≈J(Wk)+ ▽JT(W- Wk)+(W- Wk)TD(W- Wk)T/2
其中D为当W = Wk时 J(W)的二阶偏导数矩阵
（b）学习规则：从起始值W1开始，算出W1处目标函数的梯度矢量▽J(W1)，则下一步的w值为：W2 = W1-ρ1▽J(W1) 其中W1为起始权向量， ρ1为迭代步长，J(W1) 为目标函数，▽J(W1)为W1处的目标函数的梯度矢量 在第K步的时候
Wk+1 = Wk-ρk▽J(Wk) 最佳步长为ρk=||▽J||2/▽JTD▽J 这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本） （a）准则函数： J ( W ) ? ? W T X 其中x0为错分样本
X?X0
（b）学习规则：
1.错误分类修正wk
如wkTx≤0并且x∈ω1 wk+1= wk+ρkx
T
如wkx≥0并且x∈ω2 wk+1= wk-ρkx 2.正确分类 ，wk不修正 如wkTx＞0并且x∈ω1 如wkTx＜0并且x∈ω2 wk+1= wk
（3）最小平方误差准则法（MSE法）（非迭代法）：准则、权向量解
N(a)准则函数： 222TJ(W)?||e||?||XW?b||? WXibii?1(b)权向量解： ?1T?Tb?bXXWXX
?1 其中?TT称为X的伪逆（规范矩阵）?????????????????X?X??X?X
（4）韦—霍氏法（LMS法）（迭代法）：准则，学习规则 (a)准则函数： N222TJ(W)?||e||?||XW?b||? WXibii?1?1(b)学习规则： W1任意 ，Wk+1=Wk+ρk(bk-WkTXk) Xk 取 ? K ?
????ρk随迭代次数k而减少，以保证算法收敛于满意的W值
（5）何—卡氏法（H-K法）（迭代法）：准则，b，W的学习规则
N(a)准则： 222TJ(W)?||e||?||XW?b||? WXibi 它的解为： ?TWXX
k???1??i?1??T?Xb?Xb（b）b，W的学习规则： 对 b前后两次迭代后，bk?1?bk??bk
?bk?C[ek?|ek|]
其中?bk为b的增量其中 c为矫正系数，ek为误差矢量，ek=XWk-bk W k ? 1 ? X ? b K ? 1 ? X ?[bK??bk]?X?bK?X??bk?Wk?cX?[eK?|ek|] 初始条件 W1=X+b1并且b1>0 迭代时检测
如果ek≥0时，XW >b，系统线性可分，迭代收敛 如果ek<0时，XW （6）Fisher分类法：准则函数的建立，W权值计算，W0的选择 (a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越2|Y1?Y2|好。 Fisher 准则函数有 ) ? 2 2 所以J (W??1??2?即可表示为： T WSbWJ(W)?T WSwW其中Sw为类内散布矩阵, Sb为类间散布矩阵 TT Sw?S1?S2S1?X?X1XX1S2?X?X2XX2 X?N1X?N2T Sb?X1?X2X1?X2 ?1对J(W)求极值得W?SwX1?X2 (b)W权值计算： (c)W0的选择 ： ? Y1Y21.?W0 2TT N 1 Y 2 ? N 2 Y 2 N 1 X 1? N2WX2W2.W0?? N1?N2NN11?N22 Yk1??Y???????????????????3.W0?Y1?(Y2?Y1)?k?11??Yk1?Y????Yk2?Y?12N1k?12N2k?12
相关推荐：
loading