1.文档编写目的 CDP集群中的ranger在添加新的策略的时候，默认会启用审计。审计可以帮助我们在查询到历史操作的详细信息。但是随着集群任务量的增长，海量的审计信息会占用大量的磁盘空间。...本文主要是说明如何关闭ranger里面配置的策略的审计功能。...点击cm_hdfs进入hdfs的策略配置界面 ? 3.选取一条策略进行查看，可以看到当前的审计日志是开启的，点击右边的按钮编辑 ? 4.按图把下面的audit按钮打到关闭状态 ?...5.保存退出，再进行查看，可以看到当前的audit logging已经关闭了 ? ? 3.总结 1.ranger中的审计日志可以对策略中配置的权限进行审计。...2.可以针对不同的权限策略进行不同的配置，按照需求进行配置开启还是关闭。 3.修改策略的审计日志立即生效，不需要重启。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...作者简介 范志会 腾讯数平高级运维工程师 目前腾讯公司内部业务在使用 Pulsar 的过程中，基于综合业务是否在线影响用户体检，是否产生营收影响，以及降本增效趋势下的成本考虑，会选择不同级别的容灾策略。...下面从业务场景以及保障程度详解 Pulsar 以及客户端的容灾部署和策略配置。...Rack 上选取 Bookie，可以保证 Write Quorum 至少包括两个 Rack，这个策略要求网络拓扑中至少包含两个Rack信息。...在微信大流量实时推荐场景下的实践》 《好未来基于北极星的注册中心最佳实践》 《百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践》 《预告|ArchSummit 全球架构师峰会杭州站即将盛大开幕
Atlas与Apache Ranger的紧密集成使您能够在Hadoop堆栈的所有组件之间一致地定义、管理和治理安全性和合规性策略。...3.1 何时使用Atlas分类进行访问控制 基于资源和基于标签的策略以不同的方式有用。 Ranger提供基于资源的策略和基于标签的策略。...基于标签的访问控制如何工作 在Atlas中做一些准备工作，以使标签可用于创建Ranger策略。 请按照以下步骤在您的环境中设置基于标记的访问控制： 1....跨多个服务的相同资源。在Ranger中设置基于标签的策略。请注意，基于资源的策略适用于单个服务。 整个数据库。在Ranger中设置基于资源的策略。 表。在Ranger中设置基于资源的策略。 列。...在Atlas中标记列，然后在Ranger中创建基于标记的策略，即使将其转换为其他表，也可以控制对该数据的访问。 2. 在Atlas中创建分类，以描述何时应控制数据的触发器。 3.
为了介绍Ranger中基于标签的策略，我们需要了解什么是Apache Atlas，因为Ranger依靠Atlas获取有关Tag的元数据信息，然后才能决定如何应用策略。...现在，我们对Atlas是什么有了一些了解，让我们回到Ranger中基于资源和标签的策略。基于资源定义的策略，可以是Hive表，HDFS路径，Kafka topic等。...每个服务的plugin将标签信息保存到本地的policyCache中，以便快速检索 我将通过一个非常基本的示例来演示Ranger中基于资源和标记的策略的工作方式，我们将从基于资源的策略开始，以设置一些规则来阻止用户访问表中的某些列...这样就完成了Atlas这边的设置，我们在其中启用了“address”和“ dob”列的PII Tag/Classification。接下来我们在Ranger Web UI中设置基于标签的策略。...至此我们已经完成了对Student表的完整设置，允许user1访问所有数据，但是user2受基于资源和基于标记的策略的部分限制。
关于Hive-HDFS ACL同步 旧版CDH用户使用Apache Sentry中的Hive策略，该策略自动将Hive权限与HDFS ACL链接在一起。...它与Sentry的不同之处在于，它完全透明地支持Ranger策略代表的所有功能。因此，此实现包括对基于标记的策略、安全区域、掩码和行过滤以及审核日志记录的支持。...= org.apache.ranger.chainedplugin.hdfs.hive.RangerHdfsHiveChainedPlugin 注意 如果启动Ranger RMS并与Hive Metastore...在HDFS访问评估期间以及在Hive访问评估阶段（如果需要）都考虑了适当的标记策略。同样，将生成一个或多个日志记录，以指示由哪个策略（如果有）做出访问决定。 以下方案说明了如何确定访问权限。...没有匹配的Ranger Hive策略。 访问将被拒绝。审核日志将不指定策略。 游标策略会屏蔽映射表中的某些列。 访问将被拒绝。审核日志将显示Hive屏蔽策略。
Apache Knox 的加入将显著简化了安全访问的配置，用户受益于强大的单点登录。Apache Ranger 将安全策略管理与基于标签的访问控制、强大的审计以及与现有公司目录的集成相结合。...这些将在以下部分中更详细地描述。 Apache Ranger Apache Ranger 是一个跨平台启用、监控和管理综合数据安全性的框架。...更广泛地说，Apache Ranger 提供： 集中管理界面和 API 跨所有组件的标准化身份验证方法 支持基于角色的访问控制和基于属性的访问控制等多种授权方式 集中审核管理和审核操作 Apache...安全区 安全区域使您能够将 Ranger 资源和基于标签的策略安排到特定组中，以便可以委派管理。例如在特定的安全区域： 安全区域“财务”包括“财务”Hive 数据库中的所有内容。...描述可应用于 Hive 表和底层 hdfs 目录的基于标记的策略。
1.2.1 Apache Ranger Ranger使用基于角色的访问控制（RBAC）策略和基于属性的访问控制（ABAC）策略。也就是说，Ranger通过角色或属性将组映射到数据访问权限。...例如： QA角色有数据库中特定数据的只读权限 X部门的所有人都有QA角色 那么， X部门的所有人都可以访问数据库中的特定数据 1.2.2 Apache Atlas Apache Atlas可以用来定义属性...1.5.1Apache Ranger 即便是安全集群，也仍然需要启用审计服务。CDP使用Apache Ranger来提供审计报告，以便更深入地控制生产环境。...Ranger插件从用户日常操作中收集审计日志，并通过一个独立的线程汇聚到Ranger Audit Server。...Ranger审计报告通常用来查看用户访问轨迹及其结束状态。同时，还能用来调整Ranger现有的访问策略或者定义新的访问策略。
文档编写目的 Cloudera数据平台（CDP）利用用于数据安全性和治理的最佳工具-Apache Atlas和Apache Ranger。...通过Ranger创建基于标签的策略 使用admin用户打开ranger ? 创建基于标签的策略 让我们创建一个基于标签的策略，也称为基于访问的属性控制（ABAC）。...我们有两种策略类型可供选择：Access和Masking。让我们看看两者。 ? ? 访问策略允许我们对特别标记的数据列施加限制。...在此示例中，我们将敏感分类列仅限制为etl组和 joe_analyst用户 。没有其他用户应该能够访问或读取标记为敏感的数据。 选择Access选项卡，然后选择添加新策略。...总结 通过Ranger和Atlas，可以使用Atlas设置的分类，通过Ranger的基于标签的控制策略来控制谁可以访问数据以及如何屏蔽数据。
我们之前介绍过，分布式环境下经常会出现 CAP 定义中的一致性问题。...我们知道 Leader 选举首先要判断集群中 Leader 服务器是否存在不同，要想进行集群中的数据同步，首先需要 ZooKeeper 集群中存在用来进行数据同步的 Learning 服务器。...之后系统就进入到数据同步的过程中。...在进行全量同步的过程中，Leader 服务器首先会向 ZooKeeper 集群中的 Learning 服务器发送一个 SNAP 命令，在接收到 SNAP 命令后， ZooKeeper 集群中的 Learning...如下面的代码所示，ZooKeeper 底层实现了一个 Learner 类，该类可以看作是集群中 Learnning 服务器的实例对象，与集群中的 Learning 服务器是一一对应的。
具体可以参考上一篇文章《0741-什么是Apache Ranger - 1》。 在这第二篇文章中，我会介绍Ranger的一些基础架构，组成整个Ranger产品的其它部件。...admin UI中显示审计数据 HDFS中的数据作为备份，不会被使用(就我目前的了解) 从0.5开始不再支持审计数据存储在DB中 支持审计日志摘要(Audit Log Summarisation) 从Apache...只要资源附加了相同的标签，就可以将一个标签策略应用于多个组件 帮助减少Ranger中所需的策略数量 需要Apache Atlas来管理元数据（Hive数据库/表，HDFS路径，Kafka Topic和标签.../分类等） 基于事件 Hive等中的任何更改都会将事件发送到Kafka topic（ATLAS_HOOK），然后Atlas将获取更改 Atlas中的任何更改都会将事件发送到Kafka topic（ATLAS_ENTITIES...），然后Ranger Tag Sync将获取更改 标签策略将在基于资源的策略之前进行评估 ?
Apache Sentry Apache Sentry 是 Cloudera 公司发布的一款 Hadoop 安全开源组件，它提供了细粒度级、基于角色的授权。 ?...Apache Ranger Apache Ranger 是 Hortonworks 公司发布的 Hadoop 安全组件开源组件，经过调研我们发现它的优点非常多： 提供细粒度级的权限控制； 权限模型基于访问策略...权限模型 访问权限定义了「用户-资源-权限」这三者间的关系，Apache Ranger 基于策略来抽象它们之间的关系，进而延伸出它的权限模型。...，同时它会拉取一些访问策略的线程，该线程通过 REST 请求拉取 Ranger Admin 上配置的策略，同时在内存和本地目录中备份，这个配置更新过程约 30S。...#美图 Ranger 相关实践 基于美图数据技术团队的现状，综合以下几点考虑进行分析比对，我们选择了 Apache Ranger ： 多组件支持，基本覆盖美图现有技术栈的组件； 支持审计日志，方便查找某个用户在某台机器上提交的任务明细
文档编写目的 在前面的文章中，Fayson介绍了 《0752-7.0.3-如何在CDP DC7.0.3安装Ranger》 《0741-什么是Apache Ranger - 1》 《0742-什么是Apache...Access Manager 中的Tag Based Policy页面的信息如下，只有一个cm_tag 的权限策略，在《什么是Apache Ranger - 4 - Resource vs Tag Based...这有助于简化安全策略的管理，并允许在针对某些资源进行授权时检查数量有限的策略，因为仅加载和检查包含请求资源的特定区域下的策略。在《什么是Apache Ranger – 3》文章中有详细的介绍 ?...总结 通过对Ranger 页面功能简介可以看出，Ranger 基于策略(Policy-based)的访问权限模型,并且有者通用的策略同步与决策逻辑，便控制插件的扩展接入。...基于LDAP、File、Unix的用户同步机制，提供了统一的中心化的管理界面，包括策略管理、审计查看、插件管理等功能，相对于Sentry 而言，权限管理明确又易用。
Atlas与Apache Ranger的紧密集成使您能够在Hadoop堆栈的所有组件之间一致地定义、管理和治理安全性和合规性策略。...它提供以下功能： 灵活的元数据模型 使用模型属性、分类（标签）和自由文本的实体搜索 基于应用于实体的流程的跨实体血缘 Apache Ranger Apache Ranger为您的CDP-私有云基础版集群提供了审核...Apache Ranger还通过用户界面管理访问控制，以确保跨CDP-私有云基础版组件进行一致的策略管理。...安全管理员可以在数据库、表、字段和文件级别定义安全策略，还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件（例如时间或地理位置）的规则添加到现有策略规则中。...o 动态列屏蔽 o 基于属性的访问控制 o SparkSQL细粒度的访问控制 丰富的政策功能 o 允许/拒绝构造，自定义策略条件/上下文增强器，限时策略，Atlas集成（用于基于标签的策略） o 具有丰富事件元数据的广泛访问审核
Apache Sentry 是 Hadoop 中特定组件的基于角色的授权模块。它在为 Hadoop 集群上的用户定义和实施不同级别的数据权限时很有用。...CDP Private Cloud Base 中支持基于 Ranger 授权的所有服务都有一个关联的 Ranger 插件。这些 Ranger 插件在客户端缓存访问权限和标签。...中，以下操作需要某个位置的 URI 权限 在 Ranger 中，Hadoop SQL 中的“URL”策略或 Hive 对象使用的位置的 HDFS 策略可用于此类使用位置的活动的相同效果。...以下是对 {OWNER} 具有权限的默认策略。尽管不建议这样做，但基于安全要求，可以更改对该特殊实体的访问权限。...Sentry 中的“插入”权限现在映射到 Ranger Hadoop SQL 策略中的“更新”权限 Sentry 中的“URI”权限现在映射到 Ranger Hadoop SQL 中的“URL”策略 Ranger
上一篇文章讲到了kafka中的ACL，也提到了是以插件式的形式实现的，本文就来聊聊基于ranger的kafka访问控制。...对于ranger也开启kerberos的场景下，即插件需要通过https的方式从ranger服务端拉取策略。...之后重启kafka服务后，在ranger的管理界面就可以看到对应的插件模块来拉取策略的日志信息了。...ranger开启kerberos情况下，客户端拉取策略失败问题 ranger服务端也开启kerberos的情况下，插件去拉取策略的方式不再是http，而是https。...【总结】 ---- 本文介绍了kafka中如何正确配置ranger插件，并基于ranger进行权限控制，以及安装部署使用中容易踩坑的地方。
Apache Spark 2.2最近装备了高级的基于成本的优化器框架用于收集并均衡不同的列数据的统计工作 (例如., 基（cardinality）、唯一值的数量、空值、最大最小值、平均/最大长度，等等）...Spark的基于成本的优化器（CBO）并讨论Spark是如何收集并存储这些数据、优化查询，并在压力测试查询中展示所带来的性能影响。...我们还修剪笛卡儿积（cartesian product ）用于在构建新的计划时如果左右子树都没有join条件包含的引用需要情况。这个修剪策略显著减少了搜索范围。...我们先看下没使用基于成本优化的Q25的join树(如下)。...我们对已经取得的进展感到十分兴奋并希望你们喜欢这些改进。我们希望你们能在Apache Spark 2.2中尝试新的CBO!
HDP3.0默认安装包括Apache Ranger与Apache Atlas，目的是提供受信任以及安全的数据库。...3.7.安全和治理 3.7.1.Apache Ranger 3.7.1.1.核心策略引擎和审计功能增强 1.可调度策略：策略生效日期，以支持有时间限制的授权策略和临时策略 2.覆盖策略以支持临时资源访问...5.在Ranger Admin UI中审计用户同步操作 6.用于分组和组织策略以及按标签filter/search的策略标签 7.Ranger Admin UI中显示的组中的用户成员身份 3.7.1.2...6.2、Ranger 1.支持时间限制的分类或业务目录映射。Ranger策略引擎识别标签的开始时间和结束时间，并根据标签的有效期限实施策略。...2.支持Safenet KeySecure加密平台，用于存储Ranger KMS的主密钥。 3.支持允许用户在Ranger中定义策略级别条件。
>配置段中均可以试用Reuire配置项来控制客户端的访问。...试用Require配置，需要设置客户端地址以构成完整的限制策略，地址的形式可以是用IP地址，网络地址，主机名或域名，使用名称all 时候表示任意地址。...Apache 重新启动后，对 Web 服务器的访问将被限制为仅允许来自 IP 地址 192.168.93.112 的请求。来自任何其他 IP 地址的请求都将被拒绝。...Server (httpd) 中的用户授权限制涉及控制谁可以访问 Web 服务器上的特定资源。...以下是该命令的详细说明： htpasswd ：这是一个实用程序，用于管理 Apache HTTP 身份验证的密码文件。 -c ：此选项告诉 htpasswd 创建一个新的密码文件（如果它不存在）。
Atlas通过与Apache Ranger的深度集成，可以让你在所有Hadoop组件之间一致的定义，管理安全和合规策略。...Apache Ranger提供Web UI来进行管理访问控制，以确保CDP Data Center各组件能实现一致的安全策略管理。...安全管理员可以在数据库，表，列和文件级别定义安全策略，还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件（例如时间或地理位置）的规则添加到现有策略规则中。...Ranger授权模型是可插入的，并且可以使用基于服务的定义轻松扩展到任何数据源。...2.丰富的策略功能 Allow/Deny constructs，自定义策略条件/上下文增强器，基于时间的策略，Atlas集成（用于基于标签的策略） 3.丰富的事件元数据的访问审计 CDP7.1.3的新特性
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
