开源大数据治理与安全软件综述

随着网络和信息技术的不断发展与普及,人类产生的数据量也正在呈指数级增长。数据不再像传统技术时代那样在数据所有者的可控范围内,因此大数据安全与隐私成为了人们共同关注的热点问题。大数据安全与治理是为了解决数据的安全性以及数据隐私难以得到保障等问题而形成的最为热门的研究领域之一。文章首先介绍了大数据安全与治理的基本概念,接着分别讨论了Apache Falcon、Apache Atlas、Apache Ranger、Apache Sentry与Kerberos等大数据治理与安全开源框架。Apache Falcon和Apache Atlas能够对大数据平台执行包括数据采集、数据处理、数据备份和数据清洗在内的数据生命周期管理,也能够对大数据平台的各种组件进行很好的调度。Apache Ranger和Apache Sentry框架可以提供对大数据平台中的数据访问进行细粒度的权限控制和日志审计功能。Kerberos框架主要用来对大数据平台上框架进行权限认证,维护大数据平台上框架的安全。