人工智能系统安全与隐私风险

被引：52

作者：

陈宇飞 ^{[1
,2
]}

沈超 ^{[1
,2
]}

王骞 ^{[3
]}

李琦 ^{[4
]}

王聪 ^{[5
]}

纪守领 ^{[6
,7
]}

李康 ^{[8
]}

管晓宏 ^{[1
,2
]}

机构：

[1] 智能网络与网络安全教育部重点实验室(西安交通大学)

[2] 西安交通大学电子与信息学部

[3] 武汉大学网络安全学院

[4] 清华大学网络科学与网络空间研究院

[5] 香港城市大学计算机科学系

[6] 浙江大学网络空间安全研究中心

[7] 浙江大学计算机科学与技术学院

[8] 乔治亚大学计算机科学系

来源：

计算机研究与发展 | 2019年 / 56卷 / 10期

关键词：

智能系统安全; 系统安全; 数据处理; 人工智能; 深度学习;

D O I：

暂无

中图分类号：

TP18 [人工智能理论]; TP309 [安全保密];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 081201 ; 0839 ; 1402 ;

摘要：

人类正在经历着由深度学习技术推动的人工智能浪潮,它为人类生产和生活带来了巨大的技术革新.在某些特定领域中,人工智能已经表现出达到甚至超越人类的工作能力.然而,以往的机器学习理论大多没有考虑开放甚至对抗的系统运行环境,人工智能系统的安全和隐私问题正逐渐暴露出来.通过回顾人工智能系统安全方面的相关研究工作,揭示人工智能系统中潜藏的安全与隐私风险.首先介绍了包含攻击面、攻击能力和攻击目标的安全威胁模型.从人工智能系统的4个关键环节——数据输入(传感器)、数据预处理、机器学习模型和输出,分析了相应的安全隐私风险及对策.讨论了未来在人工智能系统安全研究方面的发展趋势.

引用

页码：2135 / 2150

页数：16

共 8 条

[1] 基于图模型的自动驾驶推理任务调度 [J].

王娟娟 ;

乔颖 ;

王宏安 .

计算机研究与发展, 2017, 54 (08) :1693-1702

[2] 基于深层神经网络的多特征关联声学建模方法 [J].

范正光 ;

屈丹 ;

闫红刚 ;

张文林 .

计算机研究与发展, 2017, 54 (05) :1036-1044

[3] Making Machine Learning Robust Against Adversarial Inputs [J].

Goodfellow, Ian ;

McDaniel, Patrick ;

Papernot, Nicolas .

COMMUNICATIONS OF THE ACM, 2018, 61 (07) :56-66

[4] Resolving Individuals Contributing Trace Amounts of DNA to Highly Complex Mixtures Using High-Density SNP Genotyping Microarrays [J].

Homer, Nils ;

Szelinger, Szabolcs ;

Redman, Margot ;

Duggan, David ;

Tembe, Waibhav ;

Muehling, Jill ;

Pearson, John V. ;

Stephan, Dietrich A. ;

Nelson, Stanley F. ;

Craig, David W. .

PLOS GENETICS, 2008, 4 (08)

[5]

DolphinAttack:Inaudible voice commands. Zhang Guoming,Yan Chen,Ji Xiaoyu.et al. Proc of 2017ACM SIGSAC Conf on Computer and Communications Security . 2017

[6]

IBM watson. IBM. https://www.ibm.com/watson . 2019

[7]

Knock knock who’’s there?Membership inference on aggregate location data. Pyrgelis A,Troncoso C,De Cristofaro E. Proc of the 25th Annual Network and Distributed System Security Symp （NDSS 2018） . 2018

[8]

Skill squatting attacks on amazon alexa. Kumar D,Paccagnella R,Murley P,et al. Proc of the 27th USENIX Security Symp （USENIX Security’’18） . 2018

← 1 →