Cloudera从CM6.3版本开始,引入了Red Hat IdM来做整个集群的认证,Red Hat IdM对应的软件为FreeIPA,在本文中描述如何使用FreeIPA来做CDP-DC集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。之前的文章包括<使用FreeIPA为CDP DC7.1集群部署安全>,<CDP-DC中为CM集成FreeIPA提供的LDAP认证>。
按照我们之前的配置,在CDH7.1.1上为Ranger集成OpenLDAP认证这边文章中,我们为Ranger集成了OpenLDAP认证,刚开始给Hive、HDFS、HBase授权的时候,没发现有什么毛病,ldap用户都能正常登录和同步。后来使用Ranger API给用户批量授权时,将大量用户放在同一用户组里,比较好管理。这时我们才发现ldap的用户组没有被Ranger同步过来。
在企业的生产环境中大多使用了OpenLDAP来进行用户的管理,因此本篇文章主要介绍如何在CDP DC7.0.3集群上为Ranger集成RedHat7的OpenLDAP,集成只针对使用LDAP用户登陆Ranger的Web UI,关于Ranger的安装,请参考之前的文章《0752-7.0.3-如何在CDP DC7.0.3安装Ranger》。
很多公司在生产环境中会用OpenLDAP来进行用户的管理。LDAP是一款轻量级目录访问协议(Lightweight Directory Access Protocol,简称LDAP),属于开源集中账号管理架构的实现。OpenLDAP可以直接运行在更简单和更通用的TCP/IP或其他可靠的传输协议层上,避免了在OSI会话层和表示层的开销,使连接的建立和包的处理更简单、更快,对于互联网和企业网应用更理想。
本文档描述如何使用多种安全管理工具来保护CDP环境。重点介绍安全管理工具与CDP环境之间的集成点,但不会探讨这些工具的核心功能。
2021年8月6日 1.升级增强 1.CDH6升级 CDH6客户可以直接从CDH 6.1.x, 6.2.x和6.3.x集群原地升级到CDP Private Cloud Base,而不需要搭建一个新的集群。 2.回滚操作文档 支持从CDH6升级到CDP7.1.7的回滚操作; 支持从HDP3升级到CDP7.1.6的回滚操作; 3.新的升级指南 现在docs.cloudera.com网站上提供了一个新的Upgrade Companion,为所有CDP升级相关活动提供一个集中的文档中心。Upgrade Compan
《0801-什么是Apache Ranger - 4 - Resource vs Tag Based Policies》
作为管理员,您需要了解运行 Hive 查询的 Hive 默认授权是不安全的,以及您需要做什么来保护您的数据。您需要了解您的安全选项:设置 Ranger 或基于存储的授权 (SBA),它基于模拟和 HDFS 访问控制列表 (ACL),或这些方法的组合。
Cloudera从CM6.3版本开始,引入了Red Hat IdM来做整个集群的认证,Red Hat IdM对应的软件为FreeIPA,在本文中描述如何使用FreeIPA来做CDP-DC集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。之前的文章包括<使用FreeIPA为CDP DC7.1集群部署安全>,<CDP-DC中为CM集成FreeIPA提供的LDAP认证>,<在CDP-DC中Ranger集成FreeIPA的LDAP用户>。
感谢阅读「美图数据技术团队」的第 5 篇文章,关注我们持续获取美图最新数据技术动态。
大数据集群的基本是数据以及用于计算的资源,企业将相应的数据和资源开放给对应的用户使用,防止被窃取、破坏等,这些都涉及到大数据安全。基于以上关键点,考虑到美图公司原有的系统较为庞大复杂,在第一阶段内我们采取轻量级的改造方案进行了大数据集群安全的初探索,接下来通过本文与大家交流相关经验。
作为全链路数字化技术与服务提供商,袋鼠云在数据安全方面有过多年的探索和实践。近日,袋鼠云依托其实践,在旗下产品大数据基础平台 EasyMR 上新增了一站式大数据应用安全防控以及数据权限管控能力。
本篇博客将总结 CDP 私有云基础(PvC Base)集群的安全架构。该架构反映了安全工程最佳实践的四大支柱:边界、数据、访问和可见性。CDP PvC Base的发布对安全架构进行了许多重大改进,包括:
1.文档编写目的 Apache Ranger通过用户界面管理访问控制,以确保跨Cloudera Data Platform(CDP)组件进行一致的策略管理。使用Ranger,可以为特定资源(HDFS,HBase,Hive等)创建服务,并将访问策略添加到这些服务中。并且可以基于资源和标签来定制策略,以此来管理访问控制。本文档将介绍在Kerberos环境下使用Ranger为HDFS授权。 2.使用Ranger给HDFS授权 2.1.准备测试用户 1.在集群所有节点创建用户user1(如果部署了OpenLDAP则
作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Cloudera, 担任高级售后技术支持工程师,主要擅长解决在CDH生态系统中出现的各种疑难杂症。
授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能访问,查看,使用,控制或更改特定的资源,服务或数据。在使用各种CDH组件(Hive,HDFS,Impala等)部署来满足特定工作负载的任何集群中,不同的授权机制可以确保只有授权的用户或进程才能根据需要访问数据,系统和其他资源。理想情况下,授权机制可以利用身份验证机制,以便当用户登录系统(例如集群)时,将根据他们在系统中对应用程序,数据和其他资源的授权,对他们进行透明授权。。
CDP私有云基础使用的基础集群不同于 CDP 公有云中 PaaS 风格的 SDX 集群。 从那里,私有云控制计划从控制体验服务的基础集群中的 CM 部署。
2020 年 1 月,时间跨度长达 14 年的,微软 2.5 亿条客户服务和支持记录在网上泄露;
Hadoop于2007年首次发布时,其目的是在受信任的环境中管理大量Web数据,因此安全性不是重点,也不是聚焦点。随着采用率的上升和Hadoop演变成企业技术,它逐渐发展成为一种不安全的平台而享有盛誉。最初的Hadoop安全性的大多数缺陷已在后续版本中得到解决,但感觉变化比较缓慢。Hadoop的安全声誉和现实远不匹配。
Apache Knox网关(“ Knox”)是一种在不降低Hadoop安全性的情况下将Apache™Hadoop®服务的覆盖范围扩展到Hadoop群集之外的用户的系统。Knox还为访问群集数据和执行作业的用户简化了Hadoop安全性。Knox网关被设计为反向代理。
2020年2月23日19点,国内最大精准营销服务商微盟出现大面积系统故障,旗下300万商户线上业务全停,商铺后台所有数据被清。始作俑者是一位运维,在生产环境数据库删库,而刚上市不久的微盟就因此遭受巨大的损失,2月23日宕机以来,市值蒸发30亿港元。最贵的安全事件。数据中台咋防止类似事件?
《0800-什么是Apache Ranger - 4 - Resource vs Tag Based Policies》
Cloudera发布的Cloudera的数据平台(CDP)私有云基础版为用户提供了下一代混合云架构。这篇博文概述了设计和部署包含硬件和操作系统配置的集群的最佳实践,以及有关网络和安全以及与现有企业基础架构集成的指南。
3.进入CM>Kafka>配置> Inter Broker Protocol,选择SASL_PLAINTEXT
生产环境中CDH集群需要启用安全认证,在CDH7以后,Ranger被替换成了Ranger,因此启用安全认证的步骤包括:集群安装并启用Kerberos,安装OpenLDAP和客户端,集成sssd和SSH,Hive、impala、hue集成LDAP,Ranger集成LDAP,这几个步骤我们分成几篇文章都有详细的操作。
请教一下,这个是cdp测试过程中,我这边想把hive命令默认client改为原来的hive cli,修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改hive-site.xml中的hive.server2.active.passive.ha.enable为fals
Cloudera从CM6.3版本开始,引入了Red Hat IdM来做整个集群的认证,Red Hat IdM对应的软件为FreeIPA,在本文中描述如何使用FreeIPA来做CDP-DC集群的认证。关于FreeIPA服务器搭建参考<使用FreeIPA对Linux用户权限统一管理>。之前的文章包括<使用FreeIPA为CDP DC7.1集群部署安全>,<CDP-DC中为CM集成FreeIPA提供的LDAP认证>,<在CDP-DC中Ranger集成FreeIPA的LDAP用户>,<CDP-DC中Hue集成FreeIPA的LDAP认证>,<CDP-DC中Impala集成FreeIPA的LDAP认证>。
重启之前将身份验证后端修改为desktop.auth.backend.AllowFirstUserDjangoBackend
八月再见,九月你好,今天是九月一日,新学年开始,Cloudera正式发布CDP Base 7.1.8和Cloudera Manager 7.7.1。这个版本引入了诸多新功能,比如通过EC提升Ozone的存储效率,Cloudera Manager的HA,多NameNode支持,全面支持Impala4.0,Hive性能提升,HDFS/Schema Registry血缘功能的增强,改进Ranger RMS,以及实时平台的全面增强。 1.平台支持增强 1.新的操作系统支持 CDP Private Cloud Ba
Cloudera数据平台(CDP)私有云基础版是Cloudera数据平台的本地版本。该新产品结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的优点以及整个堆栈中的新功能和增强功能。该统一分发是可扩展和可定制的平台,您可以在其中安全地运行多种类型的工作负载。
之前文章已记录如何使用Kyuubi整合Spark与Flink计算引擎及KyuubiUI的使用方法,感兴趣的朋友请自行阅读。本文属于姊妹篇,继续记录WebUI在企业生产环境的场景下,如何开启WebUI的Basic LDAP安全认证,该特性也是1.9.1版本引入。欢迎关注微信公众号:大数据从业者!
如果您想使用 Apache Hive 进行快速测试,您可以使用 Hive 默认授权模式来执行此操作,假设您位于不安全的集群上(没有 Kerberos 或 Ranger 策略)。默认授权模式下,只有用户hive可以访问Hive。启动 Hive shell 的步骤,不要与 CDP 不支持的 Hive CLI 混淆,包括如何登录到集群。
使用admin用户登录http://cdp02.fayson.com:6080 页面,点击cm_hdfs 进入该页面
在大数据平台建设初期,安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员,提高数据开发效率,提供便捷的开发流程,有效支持数仓建设。大数据平台的用户都是公司内部人员。数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中,需要考虑哪些安全性方面的问题?
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的
Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Directory安装证书服务并配置》、《03-Active Directory的使用与验证》、《04-如何在RedHat7上配置OpenLDAP客户端及集成SSSD服务和集成SSH登录》、《05-如何为Hive集成AD认证》和《06-如何为Impala集成AD认证》。本篇文章Fayson主要介绍Hue集成AD认证。
作为一家以 “客户第一” 为价值观的公司,袋鼠云一直以来关注客户体验,专注提升产品品质,不断收集客户反馈,持续增加新功能并不断优化旧功能,为用户输出最佳产品使用体验。2022 年上半年,我们新增了许多重要功能,并进行了若干细节更新,然后整理了这份产品优化报告,在此与您分享,欢迎您提出宝贵建议。
CDP Data Center是CDP(Cloudera Data Platform)的on-premise版本。这个新产品结合了Cloudera EDH和HDP两者的优点包括新功能或增强功能。该发行版是一个可扩展和可定制的平台,你可以在之上运行多种类型的工作负载。
Fayson在前面一系列文章中介绍了OpenLDAP的安装及与CDH集群中各个组件的集成,包括《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的OpenLDAP认证》、《5.如何为Impala集成Redhat7的OpenLDAP认证》、《6.如何为Hue集成RedHat7的OpenLDAP认证》、《7.如何在RedHat7的OpenLDAP中实现将一个用户添加到多个组》、《8.如何使用RedHat7的OpenLDAP和Sentry权限集成》、《9.如何为Navigator集成RedHat7的OpenLDAP认证》、《10.如何在OpenLDAP启用MemberOf》、《11.如何为CDSW集成RedHat7的OpenLDAP认证》、《12.OpenLDAP管理工具Phpldapadmin的安装及使用》和《13.一键添加OpenLDAP用户及Kerberos账号》。本篇文章Fayson主要介绍如何为Cloudera Manager集成OpenLDAP认证。
在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》、《3.如何实现OpenLDAP的主主同步》、《4. 如何为Hive配置OpenLDAP认证》以及《5.如何为Impala配置OpenLDAP认证》。本篇文章主要介绍如何为Hue配置OpenLDAP认证。
此前对Hive的用户体系一直是心存疑惑,最近有了一些新的体会,我发现一个此前困恼了很久的问题,随着经验的增长都会迎刃而解。
这次迁移算是TBDS集群的第一次完整迁移案例,包括用户的业务数据,平台应用,从项目启动到最后完成迁移差不多耗费了1个月的时间。
同步Linux中的用户需要用到RangerUsersync模块,这个模块需要单独安装,主要可以将Linux机器上的用户和组信息同步到Ranger中管理。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》、《4.如何为Hive集成RedHat7的Op
对于任何计算环境来讲,身份验证是最基本的安全要求。简单来说,用户和服务必须先向系统证明其身份(身份验证),然后才能在授权范围内使用系统功能。身份验证和授权携手并进,以保护系统资源。授权有多种方式处理,从访问控制列表(ACL)到HDFS扩展的ACL,再到使用Ranger的基于角色的访问控制(RBAC)。
权限的管控,历来是大数据平台中最让人头疼的问题之一。管得严了,业务不流畅,用户不开心,放得宽了,安全没有底,你能放心?而且大数据平台组件,服务众多;架构,流程复杂,有时候,就是你想管,也未必能管得起来。
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点:
作者介绍 毛宝龙 腾讯高级工程师,Alluxio PMC & Maintainer,Apache Ozone committer,腾讯 Alluxio OTeam 开源协同团队负责人。主要负责腾讯 Alluxio 的研发和落地工作和 Apache Ozone 的文件系统方向的研发工作。 DOP(Data Orchestration Platform) 是腾讯推出的数据编排平台服务。定位通用数据编排。无论是大数据和AI,无论公有云、私有云和腾讯内网都在使用统一的数据编排平台 DOP,如腾讯云DLC、EMR等产
领取专属 10元无门槛券
手把手带您无忧上云