CDP 使用 Apache Ranger 进行数据安全管理。如果您希望利用 Ranger 进行集中安全管理，则需要将 HBase ACL 迁移到Ranger策略。...可以为表中的单个表、列和单元格定义这些规则。 HBase 访问级别 HBase 访问级别彼此独立授予，并允许在给定范围内进行不同类型的操作。...在集群上运行 HBase 的用户是超级用户。分配给HMaster上hbase-site.xml配置文件中的配置属性hbase.superuser 的任何主体也是超级用户。...“默认”的命名空间，上表“EMP”，列“个人资料”和行“1” .....3.2 允许/拒绝条件Apache Ranger 支持以下访问条件： 允许 从允许中排除 拒绝 从拒绝中排除 这些访问条件使您能够设置细粒度的访问控制策略。
这些策略存储在数据库中，并由运行在Kudu Masters上的Ranger插件定期提取和缓存。 Ranger插件负责根据缓存的策略授权请求。...可以在Ranger中为Kudu设置基于资源的访问控制（RBAC）策略，但是Kudu当前不支持基于标签的策略、行级过滤或列掩码。...Kudu不支持数据库，但是启用了Ranger集成后，它将把表名中第一个句点之前的部分作为数据库名，如果表名不包含句点，则默认为“默认”（这是可以使用“ gflagfile的主高级配置代码段（安全阀）”中的...要创建以foo开头的表，只需在db = foo上授予“ create”特权，并且不需要表级特权。...这样，您的用户将能够在他们创建的表上执行任何操作，而不必显式地为每个表分配特权。当然，他们将需要被授予db = *或特定数据库上的CREATE特权，才能真正创建自己的表。
当用户登录Ranger Admin时，可以针对不同的Hadoop组件制定不同的安全策略；当策略制定好并保存之后，Agent Plugin定期（默认是30秒）从Ranger Admin拉取该组件配置的所有策略...当用户在Ranger Admin中修改配置策略后，Agent Plugin会拉取新策略并更新；如果用户在Ranger Admin中删除了配置策略，那么Agent Plugin的鉴权服务也无法继续使用。...它不仅支持表级的访问控制，还能细化到字段级的访问控制。同时，Ranger还支持字段级的加密和行级别的过滤。这些手段非常适合临时授权时，限制临时用户的访问权限。...这个字段的数据，将以hash值的方式展现给damp用户。当damp访问这张表时，他查询的结果如下图所示： 在Row Level Filter标签页，我们可以制定行级的过滤策略。...因此在配置Hive组件的策略时，需要用hive管理员对应的操作系统账号登录Ranger Admin，才能配置成功。
Ranger Web UI 也可用于安全密钥管理，使用 Ranger KMS 服务的密钥管理员可以单独登录。Apache Ranger 还提供了非常需要的安全功能，例如开箱即用的列掩码和行过滤。...Sentry 中 HDFS ACL 同步的实现与 Ranger RMS 处理从 Hive 到 HDFS 的访问策略自动转换的方式不同。但是表级访问的底层概念和授权决策是相同的。...允许用户在默认数据库中自助创建表 允许用户查询有关表、视图、列和您的 Hive 权限的信息 “public”组- 这是 Ranger 中的一个特殊内部组，由系统上存在的任何经过身份验证的用户组成。...使用这个特殊对象可以显着简化策略结构。例如，如果用户“bob”创建了一个表，那么“bob”将成为该表的 {OWNER}，并且将在所有策略中获得在该表上提供给 {OWNER} 的任何权限。...RMS 当前仅适用于表级同步，而不适用于数据库级（即将推出） 在 Hive 中使用 Ranger 创建外部表 (1) 用户应具有对 HDFS 位置的直接读写访问权限 (2) Ranger Hadoop
Apache Ranger 为所有 Cloudera 运行时服务提供集中授权。 您可以设置 Ranger 以使用 Hadoop SQL 策略保护托管的 ACID 表或外部表。...您可以使用 Ranger 中的 HDFS 策略来保护文件系统上的外部表数据。 您可以设置 SBA 和 HDFS ACL 来保护外部表和外部表数据。...Ranger 策略授权 Apache Ranger 为所有 Cloudera Runtime 服务（包括 Hive）的授权和审计提供集中策略管理。...细粒度授权（列级、行级） 使用 GRANT/REVOKE 语句进行权限管理 集中管理图形用户界面 Apache Ranger 安全的 是的 是的 是的 基于存储 安全的 HiveServer 中的 SQL...直接读取授权限制 由于 Spark 允许用户运行任意代码，因此 Spark 本身无法实现 Ranger 细粒度访问控制，例如行级过滤或列级屏蔽。
Apache Knox 的加入将显著简化了安全访问的配置，用户受益于强大的单点登录。Apache Ranger 将安全策略管理与基于标签的访问控制、强大的审计以及与现有公司目录的集成相结合。...然后可以为角色或直接在组或个人用户上设置 Ranger 策略，然后在所有 CDP 服务中一致地实施。...HDP 客户将受益于新的Apache Ranger RMS将 Hive 表级授权与以前在 Apache Sentry 中可用的 HDFS 文件系统同步的功能。...与公司目录集成 创建并保护 Hive 表： 描述 Ranger 策略评估流程 提供如何通过角色为组或用户启用和保护特定 Hive 对象的示例。...描述可应用于 Hive 表和底层 hdfs 目录的基于标记的策略。
本文基于 Apahce Spark 2.4.8 和 Apache Ranger 2.2 进行原理讲解，和大家聊聊「袋鼠云一站式大数据基础软件数栈」基于 Ranger 在 Spark SQL 权限控制上的实践探索之路...基于Ranger实现Spark SQL权限控制 Apache Ranger 是一个开源的权限管理框架，可以提供对 Hadoop 生态系统的安全访问控制。...Ranger 内置并没有提供 Spark 的权限控制插件，需要开发者自己实现，基于 Ranger 数栈实现了 Spark SQL 对库、表、列和 UDF 的访问权限控制、行级别权限控制和数据脱敏三方面的权限管理与控制...Ranger 安全相关的功能也十分丰富，管控力度更细，支持数据库表级别权限管理，也支持行级别过滤和数据脱敏等非常实用的功能。...图片 基于 Spark SQL Extensions 机制，我们编写了类 RangerSparkSQLExtension，并在该类中将实现好的鉴权 Rule、行级过滤 Rule 和数据脱敏 Rule 通过调用
Ozone支持350TB的密集型节点配置，与HDFS相比，当前的可用存储容量增加了350％， 并将存储成本降低了50％。 SDX –安全与治理 Ranger审核筛选器可提供更好的审核管理。...Ranger Audit筛选器有助于使用JSON定义的筛选器来控制捕获的审核事件，以便仅通过包含相关事件来简化审核量。...具有备用操作配置的其他策略选项，可以将其定义为在放置规则的目标队列不存在或无法创建时应执行的操作 引入放置规则策略可以提供比映射规则创建更好的解决方案，并且可以为最常见的用例提供快捷方式。...运营数据库– Apache Phoenix 5.1 我们已将Apache Phoenix 5.1作为Operation Database的一部分发布到CDP私有云中，以提供以下功能： 基于Apache...HBase构建的横向扩展RDBMS 星型模式支持和演化模式支持 视图和二级索引支持 全面支持Apache Omid 通过Phoenix 5.1，我们添加了复杂的x行，x表事务支持（开箱即用地支持TPC-C
关于Hive-HDFS ACL同步 旧版CDH用户使用Apache Sentry中的Hive策略，该策略自动将Hive权限与HDFS ACL链接在一起。...它与Sentry的不同之处在于，它完全透明地支持Ranger策略代表的所有功能。因此，此实现包括对基于标记的策略、安全区域、掩码和行过滤以及审核日志记录的支持。...默认情况下，Ranger RMS仅跟踪Hive中的外部表。要将Ranger RMS配置为也跟踪托管的Hive表，请将以下配置设置添加到Ranger RMS。...登录到Ranger RMS数据库，然后运行delete from x_rms_mapping_provider;以从该表中删除唯一的行。 启动Ranger RMS。...映射的Hive表具有行过滤器策略 访问将被拒绝。审核日志将显示Hive行过滤器策略。 Ranger Hive策略允许访问映射表，以进行从原始HDFS访问请求派生的访问。 访问将被授予。
关于Ranger Api的官方文档如下： https://ranger.apache.org/apidocs/index.html 本小节简单演示下User Api的使用，User Api用于管理用户，...，然后到ranger admin上查看是否有新增相应的用户： ?...---- Ranger Api之Policy管理 本小节将介绍使用Policy Api对Ranger上的权限策略进行管理。...首先定义接口的请求/响应实体类，由于Policy稍微复杂点，需要定义的类也比较多： /** * 策略所作用的资源，即hdfs目录、hive的库/表/列等 * https://ranger.apache.org...，到ranger admin上验证是否创建了相应的策略： ?
Apache Ranger Apache Ranger 是 Hortonworks 公司发布的 Hadoop 安全组件开源组件，经过调研我们发现它的优点非常多： 提供细粒度级的权限控制； 权限模型基于访问策略...我们会在 Ranger Admin 的项目里配置一些策略，具体到某一个组件会定期通过 REST 接口把所拥有的策略拉取到相应的服务上，根据策略执行访问决策树，并且记录访问审计。...图 4 总结以上策略优先级的处理逻辑可得： 黑名单优先级高于白名单 黑名单排除优先级高于黑名单 白名单排除优先级高于白名单 每个权限控制组件会有自身的权限接口，Ranger 将它们实现之后重写一遍之后...，同时它会拉取一些访问策略的线程，该线程通过 REST 请求拉取 Ranger Admin 上配置的策略，同时在内存和本地目录中备份，这个配置更新过程约 30S。...#美图 Ranger 相关实践 基于美图数据技术团队的现状，综合以下几点考虑进行分析比对，我们选择了 Apache Ranger ： 多组件支持，基本覆盖美图现有技术栈的组件； 支持审计日志，方便查找某个用户在某台机器上提交的任务明细
使用 Direct Reader 选项，SparkSQL 查询直接从 HMS 读取托管表元数据，但前提是您有权访问文件系统上的文件。您不能使用 Direct Reader 选项写入托管表。...Direct Reader授权限制 由于 Spark 允许用户运行任意代码，因此 Spark 本身无法实现 Ranger 细粒度访问控制，例如行级过滤或列级屏蔽。...授权外部表 作为管理员，您需要了解如何授权用户对Apache Hive 外部表进行读写，包括使用Spark SQL、Hue 和Beeline 访问表。您还需要为用户配置表的文件级权限。...在hive-site.xml 的Hive Metastore 服务器高级配置片段（安全阀）中，单击+。 添加属性名称和值。 重复步骤以添加其他属性。 保存更改。 为用户配置表的文件级权限。...只有对外部表具有文件级权限的用户才能访问外部表。
这里说的通用性在于以下两点： 上层支持的应用组件更多 对于控制的资源的类型更多 第一点，前文已经提到过，第二点这里的资源就不仅仅只有文件和目录了这种了，它还可以有表，行以及列的访问控制。...这些都是体现在Ranger的策略信息里面的。 Ranger的架构模型 对于具体的策略控制，由用户通过admin web ui页面进行配置。...Ranger的策略配置 对于用户的ACL控制 我们先来看最简单的，对于用户的访问控制，我们可以设置用户对于选定的路径有哪些权限，策略细节如下： 配置此策略信息后，系统会对这些用户做额外判断处理。...表的行过滤及列处理 假设我们有一以下Hive表： Table: customer +----+------------+-----------+--------------+--------------...的页面配置效果如下图所示： 然后我们以john用户身份去查，查出的记录所属地域就只会是US上的了，不会受全部的数据了。
2.回滚操作文档 支持从CDH6升级到CDP7.1.7的回滚操作； 支持从HDP3升级到CDP7.1.6的回滚操作； 3.新的升级指南 现在docs.cloudera.com网站上提供了一个新的Upgrade...2.SDX增强 对于Hive表创建的Ranger权限支持新资源"storage-type"和"storage-url"，以及新权限"RW Storage"。...这样可以确保用户和组及其相关访问权限在从同步源中删除时不会保留在Ranger中。 CM上可以为Ranger配置Maximum Retention Days属性。...3.Data Warehouse增强 Impala现在支持使用Ranger的行级别权限策略。Row-level filter策略同其他Ranger访问策略相似，可以为特定用户、组和条件设置过滤器。...支持 INSERT 和 INSERT_IGNORE 操作的多行事务，技术预览版 5.Streaming增强 现在可以将 Kafka 服务配置为自动将topic元数据发布到 Apache Atlas，Kafka
Apache Ranger Apache Ranger 是 Hortonworks 公司发布的 Hadoop 安全组件开源组件，经过调研我们发现它的优点非常多： 提供细粒度级的权限控制； 权限模型基于访问策略...我们会在 Ranger Admin 的项目里配置一些策略，具体到某一个组件会定期通过 REST 接口把所拥有的策略拉取到相应的服务上，根据策略执行访问决策树，并且记录访问审计。...*如果没有policy能决策访问，一般情况是认为没有权限拒绝访问，然而Ranger还可以选择将决策下放给系统自身的访问控制层 总结以上策略优先级的处理逻辑可得： 黑名单优先级高于白名单 黑名单排除优先级高于黑名单...，同时它会拉取一些访问策略的线程，该线程通过 REST 请求拉取 Ranger Admin 上配置的策略，同时在内存和本地目录中备份，这个配置更新过程约 30S。...美图 Ranger 相关实践 基于美图数据技术团队的现状，综合以下几点考虑进行分析比对，我们选择了 Apache Ranger ： 多组件支持，基本覆盖美图现有技术栈的组件； 支持审计日志，方便查找某个用户在某台机器上提交的任务明细
Atlas通过与Apache Ranger的深度集成，可以让你在所有Hadoop组件之间一致的定义，管理安全和合规策略。...Apache Ranger提供Web UI来进行管理访问控制，以确保CDP Data Center各组件能实现一致的安全策略管理。...安全管理员可以在数据库，表，列和文件级别定义安全策略，还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件（例如时间或地理位置）的规则添加到现有策略规则中。...对于熟悉Cloudera企业版的客户来说，Apache Ranger取代了Sentry，并且还提供以下功能： 1.更好的细粒度访问控制： 动态行过滤 动态列脱敏 基于属性的访问控制 SparkSQL细粒度授权...2.丰富的策略功能 Allow/Deny constructs，自定义策略条件/上下文增强器，基于时间的策略，Atlas集成（用于基于标签的策略） 3.丰富的事件元数据的访问审计 CDP7.1.3的新特性
1.配置ranger_user1对表t1的访问策略 ? ? 配置完成后保存 2.使用ranger_user1查询t1表 ? ?...用户ranger_test1对表t1有select权限，一共查询出7条记录 3.配置行过滤策略 ? ? ? 配置完成后保存 4.使用用户ranger_test1再次访问t1表 ?...2.2 对表配置多个行过滤条件 针对同一个表中可以配置多个行过滤条件，例如每个租户只能看到自己的数据行，下面测试对同一个表配置多个行过滤条件。...·行过滤策略修改，加入对ranger_user2的过滤条件 ? 3.使用ranger_user2查询t1表 ?...2.查询t1表进行测试 ? 3.4 Hash 将所有字符替换为整个单元格的值对应的哈希 1.修改策略，使用name列进行测试 ? ? 修改完成后保存策略 2.查询t1表进行测试 ?
文档编写目的 Cloudera数据平台（CDP）利用用于数据安全性和治理的最佳工具-Apache Atlas和Apache Ranger。...管理员可以轻松地基于Atlas元数据标签定义安全策略，并将安全策略实时应用于实体的整个层次结构，包括数据库、表和列。 本教程将学习如何对数据进行分类，谁可以访问数据以及如何屏蔽数据。...通过Ranger创建基于标签的策略 使用admin用户打开ranger ? 创建基于标签的策略 让我们创建一个基于标签的策略，也称为基于访问的属性控制（ABAC）。...10) 允许条件2：>组件权限> 配置单元（仅select权限） 11) 拒绝所有其他访问 True 12) 点击添加 ?...总结 通过Ranger和Atlas，可以使用Atlas设置的分类，通过Ranger的基于标签的控制策略来控制谁可以访问数据以及如何屏蔽数据。
然后Fayson介绍下Access Manager 中的Reports ,该页面主要统一展示在Ranger 设置哪些权限策略，并且在页提上了条件筛选，默认展示所有策略。...如果我们只想知道某个用户或者组的权限策略，以通过Search By 这里进行条件筛选 ?...包括功能点如下： Access 用于对所有策略请求记录查看，包括拒绝的策略和允许的策略。默认展示的为当天的权限策略请求记录，也可以根据上面的条件对用户、组、服务类型、安全域等条件进行筛选查看。 ?...Admin 用户的 操作记录，就是指登录Ranger WebUI时候或者是使用Rest API所用的用户的操作记录，包括用户创建或者修改策略信息等，支持用户、时间等条件筛选。 ?...这有助于简化安全策略的管理，并允许在针对某些资源进行授权时检查数量有限的策略，因为仅加载和检查包含请求资源的特定区域下的策略。在《什么是Apache Ranger – 3》文章中有详细的介绍 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
