一般当光谱阵与浓度阵相关性不大,或光谱阵背景噪音太大时,用P LS或PCR方法建立校正模型,前几个主因子对应的光谱载荷往往不是浓度阵信息,而是与浓度阵无关的光谱信号。因此,在建立定量校正模型前,通过正交的数学方法将与浓度阵无关的光谱信号滤除,可减少建立模型所用的主因子数,进一步提高校正模型的预测能力和稳健性。此外,正交信号校正方法还可用于解决多元校正中的模型传递以及奇异点的检测等问题。以下主要介绍用于正交信号校正的几种流行算法。
(1)S.W old算法
S.W old等人[62]第一次提出了正交信号校正思想,其具体算法如下:
①将原始校正集光谱阵X(n×m)和浓度阵Y (n×1)进行均值化中心化或标准化处理(n为校正集样品数,m为波长点数,下同);
②计算光谱阵X的第一主成分得分向量t;
③将t对Y作正交处理,t
new
=(I-Y(Y′Y)-1 Y′)t,I为单位阵;
④计算权重向量w,w为X与t
new进行P LS或PCR运算得到的回归系数;
⑤计算新的t,t=Xw;
⑥判断是否‖t-t
old
‖P‖t‖<10-6,如果满足
?
3
3
5
?
第4期褚小立等 近红外分析中光谱预处理及波长选择方法进展与应用? 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
进行下一步,否则返回步骤(3);
⑦计算载荷向量p′=t′X P(t′t
n ew
);
⑧在X中将正交信号减去,X=X2tp′;
⑨返回步骤②,直至循环完所需的主因子数f,f 为需正交处理的主因子数;
l u对于预测向量x new,由权重w和载荷p求出
校正后的光谱:t=x′
new
w,x′OSC=x′new-tp′。
(2)Fearn算法
Fearn在S.W old算法的基础上提出了一种简单快速的OSC算法[66]:
①将原始校正集光谱阵X(n×m)和浓度阵Y (n×1)进行均值化中心化或标准化处理;
②计算M=I-X′Y(Y′XX′Y)-1Y′X,I为单位阵;
③计算Z=XM;
④对Z进行奇异值分解,[U,S,V]=svd(Z′);
⑤取前f个需正交处理的特征值g=diag(S
f
)
及对应的载荷矩阵C=V
f
;
⑥计算权重向量w
i
=MX′C i P g′i,i=1,2,..., f;
⑦计算得分向量t
i
=C i g′i;
⑧计算载荷向量p
i
=X′t i P(t′i t i);
⑨在X中将正交信号减去,X
OSC
=X-∑f
i=1
t i p′i;
l u对于预测向量x new,由权重w和载荷p求出
校正后的光谱:t=x′
new
w,x′OSC=x′new-t′p
Feudale基于Fearn算法提出了分段正交信号校正算法(piecewise orthog onal signal correction, POSC)[67],用来解决正交无关的局部性特点。对两组NIR光谱数据的处理结果表明,其性能略优于OSC算法,但同时带来了选择窗口大小的问题。S. W old算法与Fearn算法的比较可以看出,S.W old算法求取t和p时有数学根据,求w却没有;Fearn算法求w有理论基础,而求取t和p却没有。Li结合这两种方法提出了一种新的OSC算法[68]。
(3)DOSC算法
与S.W old算法不同,Westerhuis提出的DOSC算法[63]首先将光谱阵X与Y正交,然后再对正交后的X进行主成分分析,求取T和P具体算法如下:
①将原始校正集光谱阵X(n×m)和浓度阵Y (n×1)进行均值化中心化或标准化处理;
②计算M=X′((X′)-1)′Y;
③计算Z=X-MM-1X;
④对ZZ′进行主成分分析,取前f个需正交处理的主成分得分矩阵T
f
;
⑤计算权重矩阵W
f
=X-1T f,广义逆X-1通过P LS得到;
⑥计算新的T
f
,T f=XW f;
⑦计算载荷矩阵P
f
=X′T f P(T′f T f);
⑧X
DOSC
=X-T f P′f;
⑨对于预测向量x
new
,由权重w和载荷p求出
校正后的光谱:T=x′
new
W,x′OSC=x′new-TP′
(4)DO算法
DO算法与S.W old算法的差异在于前者是用逆偏最小二乘回归的方法滤除与浓度阵无关的信号,而DO算法是直接将光谱阵与浓度阵正交来滤除无关的信号[64,65]。因此,DO算法比OSC算法简单,运行速度快,两种算法对光谱实际预处理的结果有一定的差异。DO运算步骤如下:
①将原始校正集光谱阵X(n×m)和浓度阵Y (n×1)进行均值化中心化或标准化处理;
②计算M=X′Y(Y′Y)-1;
③计算Z=X-Y M′;
④对Z进行主成分分析,取前f个需正交处理
的得分矩阵T
f和载荷矩阵P f;
⑤计算新的T
f
,T f=XP;
⑥X
OD
=X-T3f P′f;
⑦对于预测向量x
new
,由载荷p求出校正后的
光谱:T=x
new
P,X′OD=x′new-TP′
在用正交信号校正算法对光谱进行预处理时,应注意以下两个问题:其一是对光谱阵正交处理所用主因子数的选取。用正交方法对光谱预处理都存在主因子的选取,一般选1—5个主因子数,但最终确定主因子数还依靠未知样品的预测结果,因此可用主因子数对验证集的预测标准偏差(SEP)作图来选取。其二是浓度阵准确性对光谱正交处理结果的影响。浓度参考阵数据的准确性对光谱正交处理的影响至关重要,若参考方法的测定结果不准确,在用该数据对光谱正交处理时,会滤除与浓度阵相关的部分信息,而保留与之无关的信号,从而使校正模型的预测能力变差。因此,在使用OSC方法时,一定要保证浓度阵的准确性。
正交信号校正算法提出不久就被用于解决NIR 分析模型传递问题[69],随后几乎涉及模型传递问题都将OSC算法作为对比方法[70,71],其中G eladi[72]比
?
4
3
5
?化 学 进 展第16卷? 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
较了几种模型传递方法(FIR、WT、PDS和S2G平滑),对用湖底沉淀物预测湖水pH值的NIR分析模型在不同仪器间进行传递,证明OSC预处理方法的传递结果最佳。Blanco等人[73]使用OSC方法有效消除了两类NIR光谱数据(固体药物在线和实验室所测光谱)的差异,校正和预测结果均优于1st Der、S NV和MSC预处理方法。
需要说明的是,由于校正过程中单独P LS方法在一定程度上也可以消除非线性和其它的不相关变量,因此,在大多数情况下,OSC算法并未显著提高模型的预测能力,在本质上也未简化模型所用的主因子数(OSC正交的主因子数与OSC2P LS的主因子数之和与单独使用P LS所用的主因子数基本一致)。Bertran[74]试图采用OSC算法提高NIR分析模型预测低浓度含量的能力,结果并不理想。但OSC算法能够较好直观地解释光谱特征[75]。目前,已有含OSC算法的商品化近红外光谱2化学计量学分析软件[76]。
最近,Svenss on对不同的OSC算法进行比较[77]。Trygg等人将OSC融入P LS回归步骤中,提出了一些新的预处理和多元校正方法[78—80]。
9.净分析信号算法(net analyte signal,NAS)
净分析信号也是有浓度阵参与的一种预处理算法[81—83],最早由Lorber提出[84]。它的基本思想与OSC基本相同,都是通过正交投影除去光谱阵中与待测组分无关的信息。其具体算法如下:
(1)将原始校正集光谱阵X(n×m)和浓度阵Y (n×1)进行均值化中心化或标准化处理;
(2)计算X中与Y正交的部分Z,Z=(I-YY′P (Y′Y))X,(I为单位阵,n×n);
(3)对Z进行主成分分析,取前f个需正交处理的载荷矩阵P
f
;
(4)计算正交投影矩阵R=I-P
f
P′f(I为单位阵,f×f);
(5)计算经NAS处理后的X nas=XR;
(6)对于预测向量x new,x nas=x new R。
经过NAS处理后的校正集光谱阵,一般通过C LS建立校正模型,也可使用P LS或PCR建立。此外,NAS还用来计算多元校正的分析性能参数,如灵敏度、选择性、检测限和置信区间,也可用来检测奇异点以及选择波长[85—88]。
Boschetti[89]使用NAS P C LS建立了NIR测定橡胶中两种添加剂含量的校正模型,其结果与单独使用P LS、PCR的结果相当。G oicoechea[90]比较了NAS和OSC算法的差异,并对两组样品集分别用OSC P C LS、OSC P P LS、NAS P C LS和NAS P P LS建立了模型,但NAS 和OSC模型的预测能力均未得到显著提高。Berg2 er[91—93]基于NAS提出了一种新的多元校正方法———混合线性分析法(hybrid linear analysis,H LA)。Xu[94]等人也基于NAS提出了一种不需要选择最佳主因子数的校正方法。Faber[95]则使用NAS评价了MSC、1st Der和2nd Der等预处理方法对NIR校正模型预测能力的影响。
在涉及浓度阵参与的光谱预处理方法中,除了OSC和NAS算法外,还有独立干扰消除算法(inde2 pendent interference reduction,IIR),该方法主要用来解决NIR或IR测量低浓度物质的问题[96],以及Ferre提出的正交化算法[97]。
三、波长选择方法与应用
在NIR结合P LS方法建模中,传统观点认为P LS 具有较强的抗干扰能力,可全波长参与多元校正模型的建立[98]。随着对P LS方法的深入研究和应用,通过特定方法筛选特征波长或波长区间有可能得到更好的定量校正模型[99]。波长选择一方面可以简化模型,更主要的是由于不相关或非线性变量的剔除,可以得到预测能力强、稳健性好的校正模型。
目前,在多元校正分析中,波长选择方法主要有相关系数法、方差分析法、逐步回归法、无信息变量的消除法(UVE)、间隔偏最小二乘法(interval P LS, iP LS)、遗传算法(genetic alg orithms,G A)等,其中G A 是应用较广泛的一种波长选取方法。
1.相关系数法和方差分析法
相关系数法是将校正集光谱阵中的每个波长对应的吸光度向量x
i与浓度阵中的待测组分浓度向量y
i
进行相关性计算,得到波长2相关系数r图[100]。对应相关系数越大的波长其信息应越多,因此,可结合已知的化学知识给定一阈值,选取相关系数大于该阈值的波长参与模型建立。相关系数r由下式计算:
r j=
∑n
i=1
(x
i,j
-x j)(y i-
y)
∑n
i=1
(x
i,j
-
x j)2∑
n
i=1
(y
i
-y)2
其中,x
j
=∑
n
i=1
x i,j/n,y=∑
n
i=1
y i P n,j= 1,2,…,m,m为波长点数;i=1,2,…,n,n为校正集的样品数。
方差分析法是通过对校正集光谱阵在各波长下
?
5
3
5
?
第4期褚小立等 近红外分析中光谱预处理及波长选择方法进展与应用? 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
的方差分析,得到波长2标准偏差s图,对应标准偏差越大的波长,其光谱变动越显著。与相关系数法相似,可给定一阈值来选择波长区间。由于方差分析法不是针对待测组分优化选取波长,一般不用于定量分析模型,但该方法特别适合于定性分析中的波长选取。
王艳斌[101]采用相关系数法选取波长,提高了NIR测定润滑油粘度指数校正模型的质量。王芳等人[102]也用相同的波长选择方法,建立了NIR测定卷烟样品中常规成分的定量模型,与全谱方法相比,总糖、总植物碱、总氮、氯和蛋白质的SEP分别下降了913%、415%、219%、112%和219%。
值得注意的是,由于相关系数法是基于线性统计方法建立的,对于非线性相关及校正集样本分布不均匀的问题,通过该方法选取的结果往往不可靠。
2.逐步回归分析方法(stepwise regression analys2 is,SRA)
逐步回归法最初是M LR中选择回归变量的一种常用数学方法,即利用逐步回归法按一定显著水平筛选出统计检验显著的波长,再进行多元线性回归计算。后来,该方法发展为其它校正方法如ANN 选取输入变量[103]。逐步回归法的基本思想是,逐个选入对输出结果有显著影响的变量,每选入一个新变量后,对选入的各变量逐个进行显著性检验,并剔除不显著变量。如此反复选入、检验、剔除,直至无法剔除且无法选入为止。具体算法参见文献[104]。
早期的近红外光谱分析大都采用M LR方法,逐步回归法在波长选取方面起到了重要的作用。姜能座[105]采用逐步回归分析方法,选取8个波长建立了NIR漫反射测定饲料中水分含量的校正模型。ANN 是建立非线性校正模型较好的一种方法,但若将光谱仪采集的上千个数据直接输入ANN网络中,不但计算容量大,且会产生“过拟合”的分析模型,反而使其预测适应能力大大下降。齐小明[106,107]则用逐步回归分析方法直接选取波长或选取主成分回归得到的主成分作为ANN网络的输入变量,得到了满意的结果。
在使用逐步回归法时经常遇到的问题是输入变量间具有多重交互作用,输入变量不仅与输出相关,而且彼此相关。在此情况下,模型中的一个输入变量可能会屏蔽其它变量对结果的影响。因此,逐步回归法选取的变量在大多数情况下不是最优的。
搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新资格考试认证近红外分析中光谱预处理及波长选择方法进展与应用(3)全文阅读和word下载服务。
相关推荐：
北栀凉心