4.2 递归最小二乘(RLS)算法
这一节主要介绍递归最小二乘法(RLS)算法是一种快速收敛的算法，该算法判决依据是直接处理接受数据，使其二次性能指数函数最小，而前面所述的LMS算法则是使平方误差的期望值最小。 号s(n)在某种意义上最逼近原信号s(n)。此时，一方面，恢复误差：
?(n)?s(n)?WTX(n) (4-1)
另一方面，可以将WTX(n)视作为x(n)的预测。因此可定义预测误差：
e(n)?x(n)?WTX(n) (4-2) 设计自适应滤波器的目的自然是希望使恢复误差?(n)最小。但是由于真实信号s(n)未知，故
?
设计出的自适应滤波器，通过调节滤波器参数Wi，使得基于过去的观测样本而得到的观测信
?(n)是不可观测的或无法计算的。与此相反，预测误差e(n)却是可观测的，它与恢复误差的关系为：
e(n)??(n)?n(n) (4-3)
而噪声序列n(n)是独立的，因此不可观测的恢复误差?(n)的最小化等价于可观测的预测误差
e(n)的最小化。
具体的，考虑到
?(n,W)???n?ie(i) (4-4)
i?1n2的最小化。式中，?为遗忘因子，通常取0???1。由
(4-5)
可得到等价关系式：
??i?1nn?iX(i)X(i)W???n?ix(i)X(i) (4-6)
Tnni?1若令： R(n)???n?iX(i)XT(i) (4-7)
U(n)???n?ix(i)X(i) (4-8)
i?1i?1n则式(4-6)可简写为：
R(n)W(n)?U(n) (4-9)
假定R(n)是非奇异的，则：
W(n)?R?1(n)U(n) (4-10)
这就是滤波器滤波参数的公式，之所以记作W(n)，是因为W随着时间而改变。式(5-8)叫做最佳滤波器系数的Yule-Walker 方程。依据式(5-10)来调整滤波器参数有两处不便。第一，需要矩阵求逆及矩阵乘法等运算，因而计算量大。第二，W(n)与预测误差e(n)之间也未建立任何关系，不能达到根据预测误差e(n)来调整滤波器参数的要求。
(非平稳或时变)预测误差e(n)由
e(n)?x(n)?WT(n?1)X(n) (4-11)
表示。利用此公式，可以将式(5-7)的U(n)改写作 (4-12)
注意到WT(i?1)X(i)X(i)?X(i)XT(i)W(i?1)和式(5-11)，用R?1(n)式乘上式后得到：
(4-13)
为了简化第一项W1(n)的表达，并建立W(n)与W(n?1)之间的关系，一种合理的想法是认为
n?1时刻及其以前时刻的滤波器参数相同，即：
W(0)?W(1)? ……. ?W(n?1)
这样，利用式(5-7)及上述假定，就有
(4-14)
另一方面，为了简化W2(n)的表达，一种合理的想法就是：认为遗忘因子??0。这相当于，只有本时刻的结果被记忆下来，而将以前的各时刻的结果全部遗忘。从而，有下列的简化结果：
W2(n)?R(n)?0n?iXT(i)e(i)?R?1(n)XT(n)e(n) (4-15)
?1i?1n将式(4-13)和(4-14)代入(4-12)，则得
W(n)?W(n?1)?R?1(n)XT(n)e(n) (4-16)
式(4-15)描述了一个滤波器参数受其输入误差e(n)控制的自适应滤波算法，被称作递归最小二乘(RLS)。
为了实现递推计算，还要解决逆矩阵R?1(n)的递推计算问题。为此，我们先引入一个著名的结果——矩阵求逆引理。
矩阵求逆引理：若A是非奇异的，则：
(A?BCT)?1?A?1?A?1B(I?CTA?1B)?1CTA?1 (4-17) 由R(n)的定义式(4-7)，显然有
R(n)?R(n?1)?X(n)XT(n) (4-18) 对它应用矩阵求逆引理，得：
R?1(n)X(n)XT(n)R?1(n?1)?1?1 1 ) ? T ?1 (4-19) R(n)?R(n?1?X(n)R(n?1)X(n)综上所分析，递归最小二乘法自适应滤波(RLS)算法如下所示
算法初始化：[18]
For k=1 to n final do :
(4-20)
4.3 递归最小二乘(RLS)算法的性能分析
RLS(递推最小二乘法)算法的关键是用二乘方的时间平均的最小化锯带最小均方准则，并按时间进行迭代计算。对于非平稳信号的自适应处理，最合适的方法是采用最小二乘自适应滤波器。它使误差的总能量最小。RLS算法的优点是收敛速度快，其收敛性能与输入信号的频谱特性无关，但其缺点是计算复杂度很高，对于N阶的滤波器，RLS算法的计算量为O(N2)[1,2]为了对非平稳信号进行跟踪，RLS算法引入了数加权遗忘因子λ。该遗忘因子的引入，使RLS算法能够对非平稳信号进行跟踪。[19]
由于设计简单、性能最佳，其中RLS滤波器具有稳定的自适应行为而且算法简单，收敛性能良好。
?(n)的收敛性；二是这里讨论RLS算法收敛特性两个方面的问题：一是从均值的意义上讨论W
从均方值的意义上讨论误差e(n)的收敛性。为了讨论进行这样的讨论，必须对输入过程的类别作出规定。
考虑随即机回归模型：
其中x(n)是零均值过程V(n)是均值为零,方差为?2N的高斯白噪声序列。
其中E[W?(n)]的收敛性 对公式d(n)?XT(n)W0?V(n)，其中W0?[wT01??w0M]。而可以写出：
n q(n)???n?iX(i)[XT(i)W0?V(i)] i?1当?(n)，W?(n)满足： W?(n)??AT(n)?(n)A(n)??1AT(n)?(n)b(n)?R?1X(n)q(n)将其写成如下形式：
Rnx(n)?rx(n)???I 其中
n rx(n)???n?iX(i)XT(n) i?1将式(4-22)和式(4-24)带入式(4-23)中得：
?n W(n)?[rx(n)???nI]?1[rx(n)W0???n?iX(i)V(i)]i?1故
?W?10?rx(n)??nW0 假定输入过程呈各态历经的平稳随机过程，对于?=1的情况，当n很大时，有
Rx?1n r(n)n?X(i)XT(i)?xn i?1其中Rx表示输入矢量X(i)的M?M组合平相关矩阵，所以
E[W?(n)]?W0??nR?1xW0 由此可见，当n???时，E[W?(n)]?W0，故滤波器的权矢量个估计是无偏的。 还有E[e2(n)]的收敛性
考虑到X(n)与V(n)的不相关性，所以
根据矩阵迹的性质，加权矢量的均方误差又可写成
E[e2(n)]??2V?tr{E[C?(n)C?T(n)]Rx} (4-30) 其中C?(n)?W0?W?(n),Rx?E[X(n)XT(n)]。 由W?(n)=(AT(n)Λ(n)A(n))-1AT(n)Λ(n)b(n) 现令V(n)?[v(1)??v(n)]T，则：
V(n)?b(n)?A(n)W0
(4-21)
(4-22)
(4-23)
(4-24)
(4-25)
(4-26) (4-27)
(4-28) (4-29) (4-31)
将式(5-31)带入式(5-30)中得
因此
??1?1???E?C(n)CT(n)??E{AT(n)?(n)A(n)AT(n)?(n)V(n)VT(n)?(n)A(n)AT(n)?(n)A(n)} 因为X(n)与V(n)的??不相关，则上式变为：
???? (5-32)
对于n???时有采用这些近似则式(5-33)可划简为：
AT(n)A(n0?nRx A(n)?(n)A(n)?Rx??n?jTj?1n (4-33)
A(n)?2(n)A(n)?Rx?(?n?j)2Tj?1n由式(4-30)可知
2?(n)C?T(n)]R}E[e2(n)]??V?tr{E[Cxn?(?n?j)2???2j?1?tr??Vn?(??n?j)2?j?1????I???? (4-34)
根据自适应滤波器失调量?的定义
E[e2(n)]??V ???V22?nn?j2??(?)?j?1?tr?n?(??n?j)2??j?1n?1??2j????0 (4-35) I??MJn?1?(??j)2?j?0?在不加权的情况下，
??1,??在加权情况下，
M (4-36) n1????M (4-37)
1??由此可见，在不加权情况下，失调量随时间增加而趋于0，这意味着输出的均方误差随时间的
2增长而趋于理论最小值?V，在指数加权的情况下， 失调量?渐进于
显然?值越小，失调量越大。从而收敛性变差。
在最小二乘法(RLS)算法引入了?的意义。统计量的计算是从零时刻开始的，如果不引入遗忘因子，所有采样点数据对当前估计量估计的贡献是相等的，在时变条件下，这显然不合理，因为离当前时刻比较远的数据，其信道与当前信道时域相关度越低，而通过引入0到1之间的取值?，可以令离当前时刻越远的采样数据对统计量估计的贡献越小，由此可以实现对时变信道的有效跟踪。另外，通过调节?的大小，可以使算法适用于不同的信道时变速率环境。例如，信道时变速率较慢
(4-38)
时可选用较大的?，反之则选用较小的?。
结论
自适应滤波是信号处理的重要基础，近年来发展速度很快，在各个领域取得了广泛的应用。在实际问题当中，迫切需要研究有效，实用的自适应滤波算法。围绕这个课题，本文在阅读大量文献的基础上，对自适应滤波的多种算法进行了分析和研究，其中详细分析了LMS算法和RLS算法。
LMS算法确实结构简单、计算量小且稳定性好，因此被广泛地应用于自适应控制、雷达、系统辨识及信号处理等领域。它的主要限制是它的收敛速度慢，这归因于仅仅使用一阶信息，影响它的收敛速度的主要因素：步长因子?，?较小时，自适应速率减慢，它等效于LMS滤波器有长的“记忆”。因此自适应后平均额外均方误差较小，这是因为滤波器使用大量的数据估计梯度向量。另一方面，当?较大时，自适应速率相对较快，但以自适应后平均额外均方误差的增加为代价。在这种情况下较少数据进入估计，故滤波器误差性能恶化。因此参数?的倒数可以看作LMS滤波器的记忆。
这种固定步长的LMS自适应算法在收敛速率、跟踪速率及权失调噪声之间的要求也是相互矛盾的，LMS的收敛速度与调整步长有关，如果为了缩短响应时间而加大运算步长，过大的步长会使运算过程产生发散，不能跟踪目标。也就是说，步长增大可以使收敛速率加快，但是会使权失调噪声增大，跟踪速度减小，从而影响稳定性。
为了克服这一缺点，人们研究出了各种各样的变步长LMS的改进算法。尽管各种改进算法的原理不同，但变步长LMS自适应算法基本上遵循如下调整原则：即在初始收敛阶段或未知系统参数发生变化时，步长应比较大，以便有较快的收敛速度或对时变系统的跟踪速度；而在算法收敛后，不管主输入端干扰信号有多大，都应保持很小的调整步长以达到很小的稳态失调噪声。
递推最小二乘法即RLS算法，是最小二乘法的递推形式引出一种自适应算法，它是严格以最小二乘方准则为依据的算法。其主要优点就是收敛速度快，其收敛性能与输入信号的频谱特性无关。主要缺点是每次迭代计算量很大(对于L阶横向滤波器，计算量数量级为L2)。
RLS算法与LMS算法的基本差别如下：LMS算法中的步长参数?被??1(n)(即输入向量的相关矩阵的逆)代替这一改进对平稳环境下RLS算法的收敛性能有如下深刻的影响。指数加权因子?的作用和?的作用类似：RLS算法的收敛速度比LMS算法快一个数量级。RLS算法的收敛速度随着?的变小而加快，但稳定性相对减弱。反之，收敛速度减慢，稳定性加强。
相关推荐：
loading