基于数据挖掘的入侵检测方法及系统研究

入侵检测是信息安全体系结构中的重要一环。计算机安全问题的日益突出，对入侵检测系统(Intrusion Detection System，IDS)提出了更高的要求。当前IDS的最大弱点是面对海量的审计记录无法快速检测入侵行为，并且误报率之高严重影响了系统性能。本论文提出一种新的入侵检测方法，并在此基础上开发了基于网络的异常入侵检测系统(Network-based Anomaly Intrusion Detection System，NAIDS)原型。 在对既有基于数据挖掘方法的入侵检测技术进行全面分析的基础上，NAIDS从一个新的角度将关联规则和分类技术应用到网络审计记录数据中以检测攻击行为。在关联规则挖掘上，建立了两种挖掘模式：静态挖掘模式、动态挖掘模式；实施两个层面上的挖掘：单层面挖掘、领域层面挖掘；在分类引擎的构建上，通过实验综合比较了主流分类技术，并针对具体问题对决策树分类方法进行了应用上的改进，从而使得NAIDS系统具备一定的检测新类型攻击的能力，而这个特性正是异常检测的优势所在；所提出的增量式挖掘方法由于每次只监测一个窗口的数据量，而不是批量处理网络日志，所以非常适合在线挖掘，从而使得NAIDS在实时性上有较好的性能表现。 既有基于数据挖掘方法的IDS本质上属于误用检测范畴，采用关联规则挖掘和频繁情节挖掘的目的是用来描述入侵特征，规则分类器的使用是为了检测入侵行为。NAIDS是第一个基于数据挖掘方法的异常检测系统，是第一个通过分类引擎来降低误报率的入侵检测系统，是第一个提出滑动窗口技术实施在线增量式挖掘的入侵检测系统。在工作原理上，动态滑动窗口技术的提出，保证了NAIDS可以做到实时监测；分类引擎的引入，使得NAIDS可以保持较低的误报率，由于分类引擎由多种性质不同的主流分类算法组成，本文通过实验方式详细验证了各种分类器在入侵检测领域的性能问题。在DARPA1998、1999入侵检测评估数据集上的大量实验证明了本文方法的合理性和有效性。综上，本文在一定程度上为解决当前IDS所面临的两个严峻问题提供了一种经实验验证的可行方案。最后为进一步改善正常活动简档建立过程，本文在动态挖掘中首次提出使用绝对支持度概念，实验结果验证了所提方法的有效性。论文在最后系统地总结了有关入侵的分类研究，并针对各种入侵数据进一步评估了NAIDS系统的性能，总体上讲，系统在检测拒绝服务攻击和探测攻击上有着较好的性能表现。