Apache Atlas是什么意思
Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。
Apache Atlas是Apache基金会的孵化项目,是Hadoop生态圈的数据治理和元数据框架(Data Governance and Metadata framework)。Atlas是一套核心基础治理服务的集合,有很好的伸缩性和可扩展性,能够满足企业对Hadoop生态系统的多样性需求,并能和企业的数据生态系统集成。
核心特性
Apache Atlas为Hadoop的元数据治理提供了以下特性:
1、数据分类
● 为元数据导入或定义业务导向的分类注释
● 定义,注释,以及自动捕获数据集和底层元素之间的关系
● 导出元数据到第三方系统
2、集中审计
● 捕获与所有应用,过程以及与数据交互的安全访问信息
● 捕获执行,步骤,活动等操作的信息
3、搜索与血缘
● 预定义的导航路径用来探索数据分类以及审计信息
● 基于文本的搜索特性来快速和准确的定位相关联的数据和审计事件
● 对数据集血缘关系的可视化浏览使用户可以下钻到操作,安全以及数据起源相关的信息
4、安全与策略引擎
● 基于数据分类模式,属性以及角色的运行时合理合规策略
● 基于分类-预测的高级策略定义以防止数据推导
● 基于cell的属性和值的行/列级别的masking