前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Impala配置Ranger服务进行权限控制

Impala配置Ranger服务进行权限控制

作者头像
skyyws
发布于 2022-05-20 00:28:49
发布于 2022-05-20 00:28:49
1.6K00
代码可运行
举报
运行总次数:0
代码可运行

Impala目前在新版本3.4中提供了Sentry和Ranger的2种权限管控,我们这里分别介绍一下最新的使用,这里跟2.12.0的版本有所不同。

Sentry

在impala-2.12.0版本中,我们可以通过如下配置来指定sentry文件:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
-server_name=hive-cluster1
-authorization_policy_file=/user/impala/policy.cfg
-authorization_policy_provider_class=org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider

这样,即使没有Sentry服务,我们也可以进行权限的管理操作。但是在3.4版本中authorization_policy_file配置项被移除了,所以我们没办法直接配置hdfs上的Sentry文件作为权限管理了。因此需要通过配置sentry-site.xml来进行权限控制,关于最新版本的Sentry配置可以参考:Impala权限管理Impala权限管理Impala权限管理 。由于我们内部都是使用的Ranger服务,关于Sentry服务的配置,就不多做介绍。下面主要来讲一下Ranger服务的配置。

Ranger

社区相关JIRA:IMPALA-7916

Impala在新版本中提供了对Ranger的支持,我们可以通过直接配置Ranger的信息,来进行权限的管控。目前,我们可以直接使用测试的集群进行ranger的配置,具体信息参考:如何配置带Ranger的Impala集群如何配置带Ranger的Impala集群如何配置带Ranger的Impala集群 Ranger服务起来之后,我们就可以通过hostname:6080来进行访问,登陆用户和密码默认是admin/admin,具体的Ranger配置位于:$RANGER_HOME/ews/webapp/WEB-INF/classes/conf/ranger-admin-site.xml。相关页面如下:

我看可以看到,有一个名为test_impala的service,这个service里面配置了具体的各个用户以及对应的policy,这里主要就是admin用户。这里的test_impala对应的就是ranger-hive-security.xml中的如下配置项:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
  <name>ranger.plugin.hive.service.name</name>
  <value>test_impala</value>
  <description>
    Name of the Ranger service containing policies.
  </description>
</property>

配置完成之后,我们就可以使用文档里面的命令重启impala测试集群,然后进行测试:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
./bin/start-impala-cluster.py \
--impalad_args="--server-name=server1 --ranger_service_type=hive --ranger_app_id=impala --authorization_provider=ranger" \
--catalogd_args="--server-name=server1 --ranger_service_type=hive --ranger_app_id=impala --authorization_provider=ranger"

关于上面各个参数的释义如下:

  • server_name,该参数配置的值例如server1,从日志来看,会去加载ranger-hive-server1-audit.xml、ranger-hive-server1-security.xml和ranger-hive-server1-policymgr-ssl.xml这几个文件,其他作用暂时还没发现,在测试过程中,发现配置为其他值也可以正常加载权限;
  • ranger_service_type,表示ranger服务的类型,目前仅支持hive,impala会根据这个去加载ranger-hive-audit.xml、ranger-hive-security.xml和ranger-hive-policymgr-ssl.xml这几个文件;
  • ranger_app_id,该参数测试发现也并没有什么特别的作用,默认配置为impala,作为标识;
  • authorization_provider,不配置表示禁用权限控制功能,目前支持配置为ranger;

我们使用$IMPALA_HOME/shell/build/impala-shell-4.0.0-SNAPSHOT/impala-shell -u hive命令连接到测试进行,然后创建database,会提示没有权限,如下所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[localhost:21000] default> create database ranger_test;
Query: create database ranger_test
ERROR: AuthorizationException: User 'hive' does not have privileges to execute 'CREATE' on: ranger_test

这是由于测试的配置里面默认没有hive用户,因此我们需要在ranger里面新建一个hive的User,然后将hive加入all-database这个policy,如下所示:

配置完成之后,我们再执行上述的SQL发现可以执行成功:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[localhost:21000] default> create database ranger_test;
Query: create database ranger_test
+----------------------------+
| summary                    |
+----------------------------+
| Database has been created. |
+----------------------------+
Fetched 1 row(s) in 0.38s

需要注意的是,配置ranger的文件ranger-hive-security.xml和ranger-hive-audit.xml位于$IMPALA_HOME/fe/src/test/resources/,依赖组件的这些xml配置都是通过执行bin/create-test-configuration.sh脚本自动生成的。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-08-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
论如何用AI做视频滤镜:SIGGRAPH Asia 2016
新海诚“你的名字”同款滤镜着实在各社群火爆一把,朋友圈中滤镜粉们纷纷穿越到二次元,普通图片经过滤镜的渲染粉饰重获“新生”。滤镜处理图片的技术现在已经司空见惯,但是迁移到视频上,实现高质量且风格百变的效果却鲜为人知。一方面因为大规模推广的厂商不多,另一方面也因为这背后牵扯的技术难度较大。在刚刚结束的SIGGRAPH Asia 2016上,腾讯AI Lab现场揭秘了实时视频风格转换是如何生成的。本文内含演讲PPT,纯正技术干货立即奉上 演讲主题:基于深度学习的图像和视频风格转化 演讲者:matt,腾讯AI L
腾讯技术工程官方号
2018/01/29
9870
论如何用AI做视频滤镜:SIGGRAPH Asia 2016
艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频
腾讯18周年庆当天,腾讯人工智能实验室(AI Lab)首次发布深度网络学习视频案例——《青春无畏,冲动不止》庆生视频的艺术滤镜版本 今年风靡业界的Prisma以及天天P图的“潮爆艺术画”,能够将用户拍摄的照片变换成指定的风格。它不仅仅是一个简单的图像滤镜操作,它赋予深度神经网络学习任意艺术风格的能力,并且能够应用到任意的输入图像中,是以深度学习为代表的AI技术在艺术上的创新。 视频是未来互联网上最多的流量载体。“未来 70%、80% 的流量可能都出自视频”。 在图像风格变换引起爆发性关注之后,一系列的公司,
腾讯技术工程官方号
2018/01/29
1.1K0
艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频
2021智博会即将开幕,腾讯优图携「AI画廊」与你相“渝”
2021中国国际智能产业博览会(以下简称2021智博会)将于本月23—25日,在山城重庆举办。本次大会主题为“智能化:为经济赋能,为生活添彩”,重点围绕工业互联网、智能制造、工业软件、产业基础再造等重点领域,以“线上虚拟展+线下实体展”的形式展开。届时,腾讯优图将带来一次特别的AI互动,与大家在「AI画廊」相“渝”。
优图实验室
2021/08/17
7320
2021智博会即将开幕,腾讯优图携「AI画廊」与你相“渝”
【犀牛鸟·视野】SIGGRAPH ASIA 2018:腾讯“AI画师YUI”的背后技术
导语 腾讯AI Lab在SIGGRAPH ASIA 2018上展出了自主研发的“AI画师YUI”demo。访客可以直接用手机拍摄一张自己的照片,然后利用AI画师YUI的微信小程序自动将真人头像转换成萌萌的日系二次元头像。转换结果可以现场打印成照片,供访客带回家留念。很多访客都亲身试用了该功能,表示非常有趣,期待着未来的正式上线。 图1 SIGGRAPH AISA上现场展示AI画师YUI YUI 的日文假名写法为“ゆい”,对应汉字为“結”(简体中文:结),其意思即“连结”。其名字的寓意是希望 Y
腾讯高校合作
2018/12/19
1.3K0
【犀牛鸟·视野】SIGGRAPH ASIA 2018:腾讯“AI画师YUI”的背后技术
PS 2021融入AI新技术!用起来简单,几个键搞定老照片修复、变妆、绘画风格转换
PS 2021中,新增的功能“神经滤镜” (Neural Filters)令人惊艳,将近期有意思的CV(计算机视觉)技术都收入其中。
AI算法与图像处理
2020/11/05
2.9K0
想不想让你拍的照片秒变宫崎骏风格漫画,一起来看看CartoonGAN
让我们观察一下上面这张图片,仔细看一看,两张图片有什么不同,看出来了吧?右边这幅图明显不像现实中的车辆嘛,是不是很像漫画呢?有了这个CartoonGAN,漫画家会不会失业呀?
AI深度学习求索
2018/12/11
2.4K0
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议(附论文下载)
腾讯AI Lab微信公众号今日发布了其第一条消息,宣布腾讯AI Lab多篇论文入选即将开幕的CVPR、ACL及ICML等顶级会议。 在AI科技大本营公众号会话中输入“腾讯”,打包下载腾讯AI Lab入选CVPR、ACL及ICML的论文。 腾讯AI实验室授权转载 1. CVPR IEEE Conference on Computer Vision and Pattern Recognition IEEE国际计算机视觉与模式识别会议 7月21日 - 26日 | 美国夏威夷 CVPR是近十年来计算机
AI科技大本营
2018/04/28
1K0
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议(附论文下载)
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议
本文介绍了腾讯AI Lab在计算机视觉、自然语言处理、语音识别、游戏AI和机器人这五个领域的研究方向,包括具体的技术发展和应用场景。此外,还分享了腾讯AI Lab在研究上的新进展和未来的计划。
腾讯AI实验室
2017/07/20
5.6K0
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议
有个微信小程序想人工智能跟你一起修复老照片
IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 每到过年,长辈们总会翻出所剩不多的老照片讲讲故事。这些老照片黑白,或者泛黄。模糊的画面里是你熟悉又陌生的身影。   对
IT派
2018/03/27
2.8K0
有个微信小程序想人工智能跟你一起修复老照片
干货 | 抖音漫画效果解密
这个效果可谓非常惊艳,真切的将真人照片转换为了漫画风格,而且支持多人处理,也是因此,一时间刷遍了抖音和朋友圈,周末两天的使用量达到了20亿次以上。
OpenCV学堂
2020/06/29
2.2K0
干货 | 抖音漫画效果解密
《蜘蛛侠:平行宇宙》的视觉解析与滤镜实现
早在四年前,索尼想要制作全新风格的“蜘蛛侠”电影这一消息被泄露时,一个显眼的词汇便被反复提及——“rejuvenate”,译为“使其恢复年轻”。当时,除去《蜘蛛侠:返校日》之外,由索尼出品的《蜘蛛侠》真人电影已有五部之多(托比·马圭尔主演《蜘蛛侠》三部曲,以及安德鲁·加菲尔德主演的两部《超凡蜘蛛侠》)。索尼高层希望以一部动画电影来让这个系列重新恢复活力。 而为了拍摄这部动画电影,索尼找到了当时因《天降美食》系列以及《乐高大电影》等作品在业界小有名气的导演搭档——菲尔·罗德和克里斯托弗·米勒。有着天马
腾讯技术工程官方号
2019/01/09
1.5K0
《蜘蛛侠:平行宇宙》的视觉解析与滤镜实现
基于深度学习的艺术风格化研究【附PDF】
廖菁博士,获浙江大学和中国香港科技大学双博士学位;毕业后曾工作于微软亚洲研究院,担任视觉计算组研究员,主要研究方向为计算机图形学、计算机视觉、图像视频处理等;现任中国香港城市大学计算机科学系助理教授。
马上科普尚尚
2020/05/11
1.6K0
基于深度学习的艺术风格化研究【附PDF】
AI+漫画生产 小冰、百度们的新商机?
近年,由于网络的普及,动漫作品传播的速度不断加快,二次元文化的受众数量不断上升,影响范围也越来越广泛。
用户2908108
2021/04/26
9100
AI+漫画生产 小冰、百度们的新商机?
AI视频新霸主诞生!Dream Machine官宣免费用,电影级大片全网玩疯
就在今天,Luma AI首发了自己的视频生成模型Dream Machine,可以通过文字或图片生成高质量的逼真视频。
新智元
2024/06/17
3290
AI视频新霸主诞生!Dream Machine官宣免费用,电影级大片全网玩疯
加速时光,让你永远70岁的「变老神器」FaceAPP突然爆红,却恐遭美国封杀
这款应用使用 AI 算法,可以瞬间把人们上传的人脸照片「年轻」或者「老化」。它就是这几天网上充斥各界明星 17 岁/80 岁照片的万恶之源。
机器之心
2019/07/19
1.3K0
加速时光,让你永远70岁的「变老神器」FaceAPP突然爆红,却恐遭美国封杀
看完 50000 张专辑封面后,AI 设计师疯狂输出
内容一览:西班牙艺术家利用 StyleGAN2 打造了一个 AI 设计师,借助 50000 张图像自学成才,没想到培养一个印象派设计师这么简单。
HyperAI超神经
2021/04/14
9090
打开人工智能的“潘多拉魔盒”
数以百万计的人每天都在以某种形式使用着人工智能(AI),而其中大部分都是在不知不觉中进行的,本文将简单列举AI在文本、音频、图像、视频、互动等方面的应用。 一、AI文本内容 作诗、编剧、写稿等 AI已经可以自动生成古典诗和现代诗,部分AI已经通过图灵测试,但整体水平还未超人。完全由AI自动编出的剧本逻辑混乱,还称不上剧本,所以目前AI主要在人的配合下完成剧本创作,集中在科幻、恐怖2个题材上。人机协作分为:人创作主线,机器填充内容;机器生成初稿,人进行修改;人机接龙;机器提供编剧建议等几种方式。
企鹅号小编
2018/01/30
1.1K0
打开人工智能的“潘多拉魔盒”
FaceApp:基于深度网络为人像照片加笑容,实现年龄、性别变换
【新智元导读】 FaceApp 不仅是一个有趣的应用,它证明了人工智能如何使得处理照片变得前所未有的简单。比如,p上笑容、年龄和性别转换均可以轻松完成。过年拍了很多美照?让深度学习来帮你把它们变得更
新智元
2018/03/27
3.9K0
FaceApp:基于深度网络为人像照片加笑容,实现年龄、性别变换
爆火「视频版ControlNet」开源了!靠提示词精准换画风,全华人团队出品
之所以会被称为是“视频版ControlNet”,主要原因在于CoDeF能够对原视频做到精准控制。
量子位
2023/09/08
3590
爆火「视频版ControlNet」开源了!靠提示词精准换画风,全华人团队出品
一句话拍大片,导演末日来了!Gen-2震撼发布,科幻日系二次元统统拿捏
---- 新智元报道   编辑:Aeneas 好困 【新智元导读】Runway的Gen-1还没内测完,Gen-2就以迅雷不及掩耳之势发布了。这次的效果更加炸裂,AI大导离淘汰人类,又近了一步。 昨天,Midjourney生成的完美情侣刷爆网络,大家纷纷在留言区里畅想,下一步,就是演员被淘汰,人人都能升级大导,一键生成大电影了。 巧得很,今天,会做视频的AI模型不就来了嘛。 刚刚,仿佛一声惊雷炸响,Runway发布了文字生成视频模型Gen-2。 宣传词也是非常炸裂——「say it,see it」,只要
新智元
2023/03/29
4400
一句话拍大片,导演末日来了!Gen-2震撼发布,科幻日系二次元统统拿捏
推荐阅读
论如何用AI做视频滤镜:SIGGRAPH Asia 2016
9870
艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频
1.1K0
2021智博会即将开幕,腾讯优图携「AI画廊」与你相“渝”
7320
【犀牛鸟·视野】SIGGRAPH ASIA 2018:腾讯“AI画师YUI”的背后技术
1.3K0
PS 2021融入AI新技术!用起来简单,几个键搞定老照片修复、变妆、绘画风格转换
2.9K0
想不想让你拍的照片秒变宫崎骏风格漫画,一起来看看CartoonGAN
2.4K0
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议(附论文下载)
1K0
腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议
5.6K0
有个微信小程序想人工智能跟你一起修复老照片
2.8K0
干货 | 抖音漫画效果解密
2.2K0
《蜘蛛侠:平行宇宙》的视觉解析与滤镜实现
1.5K0
基于深度学习的艺术风格化研究【附PDF】
1.6K0
AI+漫画生产 小冰、百度们的新商机?
9100
AI视频新霸主诞生!Dream Machine官宣免费用,电影级大片全网玩疯
3290
加速时光,让你永远70岁的「变老神器」FaceAPP突然爆红,却恐遭美国封杀
1.3K0
看完 50000 张专辑封面后,AI 设计师疯狂输出
9090
打开人工智能的“潘多拉魔盒”
1.1K0
FaceApp:基于深度网络为人像照片加笑容,实现年龄、性别变换
3.9K0
爆火「视频版ControlNet」开源了!靠提示词精准换画风,全华人团队出品
3590
一句话拍大片,导演末日来了!Gen-2震撼发布,科幻日系二次元统统拿捏
4400
相关推荐
论如何用AI做视频滤镜:SIGGRAPH Asia 2016
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档