x:设计矩阵，包含格式化的输入量（n×p维） a：预测系数向量（p维）
在此，a代表系数向量。在最简单的情况中，仅存在一个独立的输入变量x，通常的情况是存在几个独立的输入变量。设计矩阵x是输入量的组合，从指数1到m。也即，该项包括输入值以任意顺序的排列，指数从1到m，包括输入量之间的所有关系。矩阵中的每一行对应一个输出y。要估计系数矩阵a，采用回归分析的方法。为达到这个目标，预测值和观测值之间的差，称为偏差，在所有偏差的平方和最小化后计算。
公式 （2）
y：观测向量（n维） r:偏差向量（n维）
简单计算后，得到最小平方差方程：
公式 （3）
向量a’代表系数向量a的预测值，预测值常常偏离真实值。即使观测数n超过估计系数p，该方程仍有效。评估该估计方法的质量，需要附加观测，且要求[1]，[2]。
模型的核查分两步执行。首先，在评估阶段，使用原先建立模型时的数据。第二步，使用在建立模型时未使用的有效数据来测试已建立的模型。确实地，该方法能确保对建立的模型提供足够的预测质量。然而，采用多项式模型，没有其他模型的过拟合度高。然而，存在不同的性质，可以用来探测过拟合。 过拟合
如果模型包含过多的系数，该选定的模型存在过拟合的危险。也即，模型只预测用来估计的数据。有效数据点预测起来更不准确，因为模型同时描述了所有的测量误差。由于这些误差是随机的，不可能生成他们精确的复制品。图5显示了一个测量例子（钻石）。第一个模型（红）预测了测量点，第二模型（蓝）在采用回归方法估计了所有测量误差后，预测了可能的特性。
图5 过拟合
以几个估计标准为基础，决定哪些系数要从模型中移除。在大部分情况下，要反复进行估计过程。另外，要检查设计区点的分布，看看是否与选定的模型方法兼容。为达到这个目标，要使用信息矩阵，这将在“优化设计方案”章节中介绍（见p25f）。对该矩阵方差和协方差的估计，能提供更多信息给需要从模型中移除的系数。另外，可采用所谓的设计矩阵的条件数来核查分布质量。所谓条件数，通俗地讲，就是矩阵的最小和最大特征值的商。当条件数小的情况下，设计点的分布质量好。 回归预测误差
模型方案的初次评估，采用偏差的平方和方法，该值在回归过程中最小化。计算根后，得到根均方误差（RMSE）。
公式 （4）
如下解释： n:观测数
5
p:评估系数数 yi：第i个观测 yi’：第i个估计
值小表明模型方法的质量好。预测误差包括由于测量不确定性而造成的随机误差，和描述真实值与定义的多项式模型偏离的模型误差。如果使用的多项式能准确描述模型的物理联系，则模型误差为零。为了描述随机误差，观测数n必须超过估计系数p。如果观测数值和系数数值相等，根据定义，该误差也为零。
例如，图6表明了误差的频率分布，在理想情况下，是正态分布曲线。为进一步核查过拟合现象，采用PRESS RMSE值（PRESS：预测误差平方和）。该值允许预测误差更精确的估计值。在n维观测情况下，只有采用n-1观测，多项式才拟合。因此，当测量和预测模型比较时，剩余的第n个观测用来验证模型质量。模型预测值和剩余的观测值的偏差称为根均方预测误差。
图6 偏差直方图和高斯分布
2
决定量R的系数
回归R2的系数表明了回归模型描述观测量特性的能力。该质量标准用来评估估计值的变化和观测值的变化之间的比率。
公式 （5）
y：观测值的平均值
R2在0到1之间。值接近1，表明模型拟合性好。然而，该标准不能检测出过拟合。模型与观测特性拟合得越好，上述方程右端的分子表示的偏差平方和越小。相应地，R2趋向于1。为避免不能检测过拟合这种现象，须修改公式的系数，生成另外两种质量标准，以提供回归模型和过拟合模型的估计标准。首先，得到决定量的调整系数，缩减了可变性和模型的项数。其次，应用PRESS R2值，代替了偏差平方和（见以前的章节“回归的预测误差”，p.13.）[3],[4]。 变形
通过对响应的变形，能获得更好的拟合模型。为达到这个目的，计算响应y的根值、倒数值、对数值。对范围内的所有输入量，该变形能生成响应的更好分布。这种方法，称为Box-cox变形法，将变形应用到所有响应值，并选择偏差平方和最小的变形。除数据估计外，物理联系和实际因素的考虑也要放到变形中去。例如，当输入量和响应之间成对数关系时，推荐采用对数变形。
如果小响应对模型的应用有重大关系，平分根和对数变形是明智的。例如，排放量的预测是相当小的值。另外，对特定燃料消费值，采用倒数变形是合适的，变化成效率。因此，考虑有重大关系的输入量效率更高。因此，在这个范畴下，回归误差比预测误差更小。 人工神经网络
人工神经网络能进一步提供了模型的物理联系。人工神经网络能拟合任意连续功能。神经网络的数学定义复制出自然结构和神经细胞（也称神经元）功能，以及他们之间传递的信息。通俗地讲，神经元包括细胞体，树突，长的神经纤维，
6
也称轴突。在树突和轴突的末端，微小的间隙称为突触，用来传递神经细胞间的信息（图7）。在化学物质的帮助下，电信号通过突触传递到接受神经细胞。在细胞使用轴突将信号向前传递给下一个神经前，树突将信号传给神经元。人工神经网络通过几条输入通道（树突）接收信息。质量乘以神经输入代表突触强度。将该信息传递到下一个神经元，要应用输出（轴突）（图8）。
图7 神经元的自然结构
和多项式模型相似，特定的输入和测量响应之间的物理联系做为一个黑箱，由一个方程和一些未知系数描述。这些未知的系数用来描述实际问题。
图8 人造神经元
在发动机优化建模过程中，最常使用的是前馈神经网络。这种模型的名字反映了向前传导网络的基本原理，信号仅从输入向输出传递。因此，不会发生向前一层神经元输送信号的情况。这种类型网络的另外一个名称为多层感知器（MLP）。感知器[6]被认为是最简单的前馈网络。它只包括1个神经元（见图8）。该神经元计算输入值的总质量和。如果该和超过一定的极限，神经元向前传递信号，也即，被认为是激活的。也会说，该神经元“兴奋”。 用数学公式总结，感知器可描述成下面的方程：
公式 （6）
y:神经元响应
wi:第i个输入值质量 xi:第i个输入 b:神经元阈值
f:传递函数和激活函数
如果多个感知器平行相连到相同的输入，他们形成神经层。类似地，如果细胞层一层一层相连，代表多层感知器。一层神经层的输出是下一层神经层的输入（图9）。一般地，前馈神经网络包含一个输入层，几层隐藏的有不同数量神经元的中间层，一个输出层。输出层一般包含一个带线性传递函数的神经元。
图9 多层感知器网络(MLP)
专业的前馈网络用来适应特定问题，如，他们质量和阈值（系数未知）定下来了。为达到这个目标，要求一套专业数据，包括对某些输入参数的响应。预测输出和预决定输出之间的差别在于，采用最陡梯度搜索方式能最小化网络误差。该方法称为“向后传播算法”。一些特定的专业算法是基于这个基本方法，但设
7
法避免网络的过拟合。由于陡梯度搜索的成功性依赖于选定的初值，因而，有必要多次训练网络。确保该程序不在本地找到最小值。
为了能够采用人工神经网络解决物理问题，需要成功拟合模型。为达到这个目的，有必要选择恰当的算法。另外，需要调查什么样的网络结构最合适，需要几层网络。另外，需要确定每层的神经元数量。在发动机建模领域中，采用仅有一个响应被证实能得到更高的正确度。因此，使用的模型在输出层包含带线性传递函数的响应。神经网络结构的选择取决于外部条件，比如，硬件单元可能会限制计算时间。在通常情况下，网络的训练是非常耗时的。
为验证神经网络的质量，在验证数据的设臵的帮助下，计算平均误差RSME。另外，须核查模型响应和神经网络输入之间的关系，以确保无非理想形状（如强振荡）。 径向基函数网络（RBF网络）
相比于多层感知器网络（MLP），发动机建模中的RBF网络仅包含一层隐藏层和一层输出层。和MLP网络类似，输出层仅包括一个带线性传递函数的神经元。 在隐藏层中，输入向量x与第j个神经元中心之间的距离计算如下。
公式 （7）
该距离值是径向对称中心或激活函数（径向基函数）的输入。在这里，采用高斯函数作为例子（图10）：
公式 （8）
图10 高斯函数 宽度为σ=0.3
所有的径向基函数有一个系数，来决定函数宽度。考虑上面描述的函数，这个系数称为σ。这个函数宽度决定相邻细胞输出的重叠度（图11）。
隐藏层的输出向前传递到输出层，输出层仅包含一个神经元。输出神经元的输入要进行质量测量，而后，网络的响应根据下面方程计算：
公式 （9）
Cj:第j个神经元的中心 X：输入向量
Wj:第j个神经元的质量 h：中心函数 y:网络响应
基函数的基本原理是神经元的输入向量接近神经元中心的强反应。反过来，如果输入量向量远离中心点，神经元反应弱。径向基函数的重叠使RBF网络在训练值之间进行插值，相比MLP之下，这是一个优势。多层感知器网络在网格之间有时会有振荡，因此，在输入域下，产生极端响应。
8
相关推荐：
loading