基于PCA和半监督聚类的入侵防御技术研究

随着互联网技术的日新月异、物联网技术的飞速发展和云计算技术的迅猛兴起，网络安全问题越来越受到人们广泛关注。传统的网络安全防护技术如防火墙、入侵检测等，已难以有力地保障网络安全。入侵防御技术是近年来网络与信息安全领域研究的新热点之一，逐渐受到人们高度重视。 传统的基于无监督学习的入侵检测算法，检测率较高但误报率也较高；而基于监督学习的入侵检测算法检测率较高且误报率较低，但其难以正确检测出新的未知入侵攻击。本文将半监督学习引入到入侵检测中，并研究了主成分分析(principal componentanalysis, PCA)和聚类分析理论，给出了基于PCA和半监督聚类的入侵检测算法。首先利用PCA对入侵检测数据集进行特征提取，消除了样本间的冗余属性；然后利用少量具有先验知识的已标记样本，对成对约束信息进行量化并引入改进的竞争凝聚来监督指导大量未标记样本实现正确聚类。入侵检测实验结果表明，算法能够克服传统FCM依赖于初始化聚类个数、对样本几何形状及噪声和离群点敏感等问题，优于其他几种入侵检测算法。 在现实的高速网络环境下会产生海量高维数据，使用传统的入侵检测算法审计和分析这些数据，必将面临“维数灾难”的难题。本文分别改进了基于PCA的半监督降维算法(SSDRpca)以及半监督聚类算法(PCCA)，给出了基于改进的半监督维数约减和成对约束竞争聚类的入侵检测算法。一方面，算法对SSDRpca中的正则项进行了改进，充分利用了大量未标记样本来保持局部结构信息，从而得到更好的降维性能；另一方面，针对PCCA中的约束惩罚项与经典FCM项的数量级不一致的问题，算法将约束违反代价调整为两样本对应的隶属度与距离的联合表达式，并将竞争项改进为Shannon熵项，有效控制了大量未标记样本的正确聚类过程。在UCI数据集和KDD CUP1999数据集上的实验结果表明，算法能够改善聚类效果并提高了入侵检测系统的性能。 本文研究并提出了基于PCA和半监督聚类的入侵防御系统模型，模型主要由中央控制模块、通信模块、入侵防御模块和日志记录模块组成。论述了系统模型中各模块的基本工作原理，重点研究了入侵防御模块并设计了入侵检测系统和入侵响应系统。