关键词:
机器学习
降维
逐步回归
正则化惩罚
Stepwise-Kriging模型
摘要:
Kriging模型是一种最小化均方误差损失的插值模型,由于具有较高的精度和准确性,该模型被广泛应用于具有较高计算成本的工程问题.在处理低维工程问题时,Kriging模型能够展现出较好的近似效果.然而,当处理的问题变得高维、复杂时,Kriging模型的性能显著下降,并且建模所需的时间急剧增加.出现这种情况的原因是高维的数据样本会导致Kriging建模过程相关矩阵和超参数计算的复杂度迅速增长,进而迫使Kriging模型的效率和精度低下,甚至出现建模失败等结果.因此,对高维的Kriging建模进行优化具有重要的理论意义和工程价值.鉴于以上考虑,本文对高维Kriging模型开展了研究,主要研究内容和成果如下:(1)针对高维Kriging建模时间过长和精度偏低等问题,提出了StepwiseKriging模型,有效弥补了高维Kriging方法的缺陷.将Kriging模型和机器学习的降维算法相结合,提出了一种基于逐步回归特征选择的Kriging方法,即Stepwise-Kriging模型.该方法在建立Kriging模型前,按照给定的p值大小,使用逐步回归技术将初始的高维数据进行特征选择,转化为低维数据.问题的关键是如何选取逐步回归过程中的最优p值,本文按照假定的步长进行划分,使用区间内不同的p值建立Stepwise-Kriging模型,并结合交叉验证结果,选择出误差最小的Stepwise-Kriging模型p值,以进行最优模型的建立及后续问题的分析与验证.由于降低了初始样本点的维数,该方法可以显著降低Kriging模型的计算时间.另外,得益于逐步回归可以有效解决多重共线性等问题的性质,在处理冗余变量多和变量共线性程度高的问题时,Stepwise-Kriging模型具有极大的优势.(2)对Stepwise-Kriging模型实施了正则化惩罚,建立了正则化StepwiseKriging模型,从而进一步提高了模型的精度和泛化能力.尽管提出的Stepwise-Kriging模型能够实现降维效果,但由于其本质上是将数据进行简单的降维,并没有改变模型的结构,故其精度和泛化能力有待进一步完善.特别是在处理具有很大的条件数的不适定反问题时,Stepwise-Kriging模型的结果缺乏一定的稳定性.因此,有必要对提出的模型进行合理的优化.考虑到正则化技术能够很好的处理该类问题,从理论上对Stepwise-Kriging模型的损失函数实施了正则化项的惩罚,并重新推导了模型.由于增加的正则化项系数(亦称为惩罚系数)需要使用者定义,于是,惩罚系数的选择也是一个亟需解决的问题.对给定的不同惩罚系数分别建立了Stepwise-Kriging模型,并结合交叉验证的结果确定了最优值.本文提出的Stepwise-Kriging模型和正则化Stepwise-Kriging模型都使用了一些数值函数和工程仿真实例进行了测试.测试结果验证了本文方法的精度和准确性,特别是当数据之间存在强相关性时,使用本文的方法具有显著的优势.