基于数据分析的预测理论与方法研究

预测的目的是为决策系统提供制定决策所必须的未来信息。现代社会的动态技术领域中，在开发一种新技术或设计某种新产品时，不探索其发展动向，不进行预测或预断，很难设想会得到成功。所以，可以毫不夸张地说，没有预测或预断，就没有科学的决策，也就不可能有科学、技术、经济的高速发展。 近几十年来，尽管传统预测理论与方法的扩展研究取得了较大的进展，但由于预测问题本身所处环境的复杂性与不确定性，其理论成果与实际应用的需要还有相当大的差距。本文从应用已有的预测方法进行实际的大规模数据趋势预测时遇到的具体问题入手，从多个方面对传统的预测理论与方法进行了进一步的扩展研究，具体的研究内容如下： （一）数值逼近理论对经典的GM（1,1）预测公式的改进 经典的GM（1,1）预测公式是灰色预测理论中的一个重要研究成果，其研究的出发点是在“少数据”、“贫信息”条件下利用相关数据生成规律预测事物的未来发展趋势。然而，从一般意义上讲，对于任意一个时间序列，如果在不了解其变化规律的情况下，就采用这种拟合方法，必然会存在预测不准确或预测精度达不到标准等一系列问题。因此，非常有必要对GM（1,1）预测模型进行针对性的改进。本文在深刻理解GM（1,1）方法构成规律的基础上，将影响其预测精度的原因归纳为三个指标：（1）初始条件的选取；（2）背景值的重构；（3）参数估计方法的改进。同时，本文指出，指标（2），即背景值的重构，具有十分重要的意义，因为根据GM（1,1）模型的迭代性质，指标（1）与指标（3）最终都能归结为对背景值的重构。因此，背景值z（1）（k+1）构造方法将直接影响GM（1,1）模型的预测精度和适用性。 基于上述分析，本文将构造高效、简便的预测背景值作为论文主体第一部分（第三章）的重点研究内容并利用数值逼近理论中的相关方法进行实现。具体研究方案包括：利用分段线性Lagrange、Newton等插值方法改进背景值的构造；利用三次样条函数改进背景值的构造；利用Gauss插值公式改进背景值的构造；利用Markov链原理对Gauss-Chebyshev正交化预测模型的预测结果进行二次修正。其中，第一类方案侧重关注背景值数值解法的收敛性与稳定性；第二类方案侧重关注背景值数值解的光滑性；第三类方案侧重关注背景值数值解的代数精度；第四类方案侧重关注背景值在经过数值化重构后的二次修正。 （二）对半参数回归预测模型进行了扩展性研究 本文在论文主体的第二部分（第四章）中重点讨论了针对确定性数据及不确定性数据趋势预判的半参数统计模型。半参数统计模型作为参数统计理论的代表，既有参数分量又有非参数分量，它集中了主体部分（即参数分量）的信息，又不忽略干扰项（非参数分量）的作用。一方面解决了单纯参数模型与非参数模型难以解决的问题，增强了模型的适用性，另一方面克服了非参数方法信息损失过多的缺陷。用它描述实际问题更贴近事实，能充分利用数据提供的信息，具有较高的信息提取精度。 基于上述分析，本文给出的具体解决方案是：将补偿最小二乘法引入传统的半参数回归模型，有效的解决了因未知参数个数多于方程个数导致最小值问题V TPV min的解不唯一的问题，同时引进了光滑因子，为估计曲线的平滑性提供了保证，提高了半参数模型用于预测问题求解的可靠性。其次，运用滑动平均估计ARMA方法估计半参数回归模型中的非参部分，将传统的理论估计公式直接推广到可实际使用的形式，给出了一条时间序列分析预测与统计预测结合使用的思路。最后，通过对参数主部的学生残差进行分布拟合检验，估计出分布拟合函数，并利用此拟合函数近似替代半参数回归模型的未知函数部分，构造出基于残差分布测度修正的半参数回归预测模型。该模型克服了残差干扰项的影响，能自动调节模型的边界效应，扩展了半参数回归模型的研究思路，提高了利用半参数回归模型进行预测的准确度，并在此基础上进一步考虑了大样本内部各样本点的区间集结性，给出时间粒度划分的重新定义，并利用微元法思想设置信息集结区间，构造基于区间可变权重的半参数回归预测模型，并给出了相应的求解算法。 （三）智能优化方法的引入对传统预测建模思路的推广 本文在论文主体的第三部分（第五章）中引入了两类智能优化方法：①应用自适应遗传算法确定ARMA（p,q）模型的自回归阶数p和滑动平均阶数q，并根据其建立改进型遗传算法的适应度函数，通过调整相关参数，逐代进化等操作，得到最优的ARMA模型。②构建了具有压缩因子K的粒子群算法，以此来改进灰色模型的背景值，进一步推广了传统灰色预测方法的研究思路，并在此基础上进一步将粒子群算法扩展到了带极值扰动且能自适应调整惯性权重的情形，并给出了相应的求解算法。 上述扩展研究成果不仅丰富了预测理论的内容，也拓宽了传统预测模型的应用空间，对数据驱动的预测方法研究提出了新的思路，为决策者进行实际的基于预测信息的决策提供了更充分的科学依据。