机器学习安全性问题及其防御技术研究综述

机器学习已经成为当前计算机领域研究和应用最广泛的技术之一,在图像处理、自然语言处理、网络安全等领域被广泛应用。然而,一些机器学习算法和训练数据本身还面临着诸多安全威胁,进而影响到基于机器学习的面部检测、恶意程序检测、自动驾驶汽车等实际应用系统的安全性。由目前已知的针对支持向量机(support vector machine,SVM)分类器、聚类、深度神经网络(deep neural networks,DNN)等多种机器学习算法的安全威胁为出发点,介绍了在机器学习的训练阶段和测试/推理阶段中出现的基于对抗样本的投毒、逃逸、模仿、逆向等攻击和隐私泄露等问题,归纳了针对机器学习的敌手模型及其安全评估机制,总结了训练过程和测试过程中的若干防御技术和隐私保护技术,最后展望了下一步机器学习安全研究的发展趋势。