基于长短期记忆网络和滑动窗口的流数据异常检测方法

被引：48

作者：

仇媛 ^{[1
]}

常相茂 ^{[1
]}

仇倩 ^{[2
]}

彭程 ^{[1
]}

苏善婷 ^{[1
]}

机构：

[1] 南京航空航天大学计算机科学与技术学院

[2] 河北工业大学人工智能与数据科学学院

来源：

计算机应用 | 2020年 / 40卷 / 05期

关键词：

流数据; 异常检测; 滑动窗口; 长短期记忆网络; 神经网络;

D O I：

暂无

中图分类号：

TP311.13 []; TP183 [人工神经网络与计算];

学科分类号：

140502 [人工智能];

摘要：

针对目前流数据存在数量巨大、生成迅速和概念漂移的特点,提出了一种基于长短期记忆(LSTM)网络和滑动窗口的流数据异常检测方法。首先采用LSTM网络进行数据预测,之后计算预测值与实际值的差值。对于每个数据,选择合适的滑动窗口,将滑动窗口区间内的所有差值进行分布建模,再根据每个差值在当前分布的概率密度来计算数据异常可能性。LSTM网络不仅可以进行数据预测,还可以边预测边学习,实时更新调整网络,保证模型的有效性;而利用滑动窗口可以使得异常分数的分配更为合理。最后使用在真实数据基础上制造的模拟数据进行了实验。实验结果验证了所提方法在低噪声环境下比直接利用差值进行检测和异常数据分布建模法(ADM)方法的平均曲线下面积(AUC)值分别提高了0. 187和0. 05。

引用

页码：1335 / 1339

页数：5

共 6 条

[1]

Unsupervised real-time anomaly detection for streaming data.[J].Subutai Ahmad;Alexander Lavin;Scott Purdy;Zuha Agha.Neurocomputing.2017,

[2]

Ensembles for unsupervised outlier detection.[J].Arthur Zimek;Ricardo J.G.B. Campello;Jörg Sander.ACM SIGKDD Explorations Newsletter.2014, 1

[3]

Ganesha.[J].Xinghao Pan;Jiaqi Tan;Soila Kavulya;Rajeev Gandhi;Priya Narasimhan.ACM SIGMETRICS Performance Evaluation Review.2010, 3

[4]

基于DBSCAN密度聚类算法的高速公路交通流异常数据检测 [J].