面向养殖环境监测的数据流处理方法研究

随着智慧农业、物联网、互联网、云计算等技术的飞速发展,在农业领域出现了大规模的数据增长,当今信息社会已经进入了大数据时代。大数据主要有数据流和静态数据两种形式,智慧农业中各种传感器产生的数据流是农业大数据的主要来源。农业领域中的数据流来源众多,形式多样,处理复杂,很难有一种计算模式能涵盖所有不同的计算需求,因此,如何根据数据流的不同数据特征和计算特征,从多样性的计算问题和实际需求中提炼并建立出各种高层抽象模型,是目前数据流研究亟待解决的问题。 本论文围绕数据流处理过程中的聚类、追溯、预测与建模关键技术进行了研究,取得了一些成果,主要研究内容包括以下几个方面： (1)提出了一种基于高斯混合模型的数据流聚类算法cumicro,使用高斯混合模型作为数据流中不确定数据的基本表示形式,可以更好的利用存储空间,完成对真实情况的逼近。该算法将时间直接作为数据属性,可直接查询某个时间维度的聚簇。实验证明,本文算法在原始数据较密集时,相较原有基于离散模型的聚类,该算法具有准确度上的优势。 (2)提出了一种基于不确定数据的数据流追溯方法,将不确定数据引入到追溯系统中搭建追溯模型,解决了数据流背景下无法对可追溯单元一一标识的混合过程进行表示的问题。利用不确定数据的基本表示和查询方法,解决了多源追溯问题,完成了数据流追溯模型中的一般查询、节点评价和单节点异常推断功能,并给出了多节点异常的求解方法。 (3)提出一种基于时间粒度的自适应调整灰色二阶模型的数据流预测方法,通过实验得出随着滑动窗口更新周期的增大,预测的成功率反而下降；随着采样频率的变大,预测成功率降低；随着未来数据窗口宽度的增加,预测的平均相对误差增大,但该方法对近期的数据预测比较准确,满足了系统的需求。 (4)设计了一个面向养殖环境的猪舍数据流采集与预测为一体的自动化控制系统,提出了子啊数据流背景下切换到数据视角,以数据为中心来开展业务研究,将时间和空间的事件信息都以数据驱动为中心明确地抽象到编程模型中,进行形式化的描述及一体化建模,打破了传统的建模方法仅局限于时间域内分析的局限性,考虑了计算过程和物理过程通过网络实时交互对系统行为所带来的影响。