Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【SAP HANA系列】HANA 2.0 SPS00 SDA(Smart Data Access)连接Hadoop

【SAP HANA系列】HANA 2.0 SPS00 SDA(Smart Data Access)连接Hadoop

原创
作者头像
matinal
修改于 2020-11-12 06:19:25
修改于 2020-11-12 06:19:25
1.2K0
举报
文章被收录于专栏:SAP TechnicalSAP Technical

正文部分

这一篇介绍一下SDA,用于大数据Hadoop等平台的

还可以用另一种方式,请参考我的另一篇文章

点击进入:SAP Vora(SAP HANA和Hadoop)简析

介绍一下SAP HANA 2.0 SPS 00版本中新的智能数据访问Smart Data Access(SDA)

在现有的SAP HANA最高版本的2.0中,主要通过简化工作流以及一般性能优化和增强来降低TCO

还有一些功能包括虚拟表元数据的同步,虚拟表与结果缓存的集成

Hadoop的Kerberos约束委派,Cockpit 2.0中的SDA监控,以及SAP HANA到Hadoop本地连接

假设在SAP HANA中有一个指向远程对象的虚拟表,并且更改远程表的源数据。 

在以前的SAP HANA版本中,如果存在依赖对象,则刷新虚拟表可能会相当麻烦。 

使用新的虚拟表元数据同步功能,现在可以快速轻松地刷新虚拟表元数据

而不会干扰任何依赖对象,大大简化了工作流程。 

要刷新虚拟表,只需使用ALTER VIRTUAL TABLE [xxxxx] REFRESH DEFINITION命令。

使用SAP HANA 2.0 SPS 00版本,我们将虚拟表与HANA中的结果缓存集成在一起。 

静态缓存从SAP HANA 1.0 SPS 11开始可用,此版本中的新增功能是对虚拟表的支持。 

如果选择在虚拟表上启用缓存功能,则可以通过避免相同和频繁查询的冗余计算来期待提高性能。 

可以直接通过ini文件或使用SQL启用此功能。 还要记住,配置时需要定义一个缓存级别限制。

在Hadoop区域,可以设置一个新的SAP HANA Vora ODBC适配器,允许HANA用户通过SDA直接连接到SAP HANA Vora引擎。

看到介绍了吧,此处又涉及到了SAP HANA Vora,所以,请参照本人的另一篇博客【SAP Vora(SAP HANA和Hadoop)简析

提供了使用Spark界面进行SAP HANA和Vora / Hadoop之间集成的替代方法。

它是直接连接到SAP HANA Vora引擎,可以避免Hadoop端的任何中间组件。

请记住,将需要SAP HANA Vora 1.3版本才能够利用此功能。

还扩展了对用于SAP HANA的Kerberos约束委托支持Hadoop连接,允许用户从SAP HANA登录到Hadoop,但仅显式验证一次。

从SAP HANA 1.0 SPS 12用户可以利用HANA-HANA SDA方案中的Kerberos约束委派。

新的Kerberos for Hadoop功能目前可用于通过Spark Controller 2.0与Hadoop的SDA连接。

要启用此功能,Kerberos / KDC,SDA,HANA用户,Spark Controller和Hadoop中需要进行几项配置更改。

最后展示一个图片,给大家分享一下

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
SAP HANA是否取代BW?
这是有趣的地方。非常清楚的是S / 4HANA具有出色的分析功能,其中许多功能在S / 4HANA Fiori UX屏幕中启用。客户情况说明书,财务供应链管理和许多其他分析功能已嵌入S / 4HANA用户体验中。
matinal
2020/11/30
1.4K0
【SAP HANA系列】SAP HANA和区块链
随着新技术如涨潮般的发展,从技术和商业的角度来看,这些技术通常会经历不同的成熟阶段。技术应用总是从试点项目转向新项目的方式,从理论到大胆的设想,再到颠覆性的创新。新技术在获得大范围关注之前,通常会有很大影响力的所谓宣传(想想现在的电影票房,情景有些类似。),并通过实际的解决方案实现其全部价值。区块链技术也是如此,虽然区块链已经走向成熟并正在超越实验阶段,但仍面临着市场不确定性的因素。
matinal
2020/11/11
6600
【SAP HANA系列】SAP HANA和区块链
SAP S/4 HANA这货是ERP皇帝的新装?
 HANA这货   当您看到本文的时候,应该是知道,或者听说过SAP HANA的,“内存计算、实时计算、独领风骚、业界最领先的内存计算技术,革命性的内存数据库产品,内存计算平台,天下武功,唯快不破;”等各种宣传之词,如果是,那么这些词统统全部指向一个软件,那就是SAP HANA。   SAP HANA是SAP公司的新产品,2010年面世,即在多核CPU+超大内存的廉价X86架构的PC服务器(其实也不是真的廉价,好配置的HANA服务器比小型机还贵)硬件上运行的内存数据库系统,而非简单的将数据Load到常驻内存
人称T客
2018/03/21
3.6K0
SAP S/4 HANA这货是ERP皇帝的新装?
SAP HANA 平台的优势
自从SAP推出HANA后,几乎把所有的模块都在往HANA上靠拢或者说集成。这样做必定要有其独特的优势。SAP HANA提供单一内存数据平台,支持各种数据的交易和分析,这是支持现代实时数字业务的应用的关键要求。在今天的数字经济中,企业无法改变过去已经发生的,真正的内存数据平台应该支持针对公司所有数据的交易和分析的实时处理。这是SAP HANA平台与其他传统数据库供应商的主要区别。
matinal
2019/02/20
1.6K0
SAP HANA 平台的优势
0718-6.3.0-CDH6.3的新功能
你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11,在集群中安装OpenJDK 11时,默认使用G1GC为CDH大多数服务作为垃圾回收机制,这可能需要进行调优以避免内存过量使用。
Fayson
2019/10/25
2.3K1
震惊!Doris和Hive竟然能这样玩?数据分析的松弛感拉满
深夜,小明正对着屏幕发愁。作为一名数据工程师,他面临着一个棘手的问题:公司的数据分散在Doris和Hive两个系统中,每次跨系统分析数据都要手动导出导入,繁琐且低效。
一臻数据
2024/12/24
4930
震惊!Doris和Hive竟然能这样玩?数据分析的松弛感拉满
【Power BI X SSAS]——再看Power BI数据连接的三种方式
第一篇是关于Power BI连接数据方式的对比。这是个老生常谈的话题。微软官方考试Exam70-778教材的第一章,就是重点介绍这个方面。这种基础性的知识点繁琐而且枯燥,就像一本字典,只有用到的时候才会去查阅。
btharp
2021/08/31
8.4K0
CDP中的Hive3系列之保护Hive3
作为管理员,您需要了解运行 Hive 查询的 Hive 默认授权是不安全的,以及您需要做什么来保护您的数据。您需要了解您的安全选项:设置 Ranger 或基于存储的授权 (SBA),它基于模拟和 HDFS 访问控制列表 (ACL),或这些方法的组合。
大数据杂货铺
2021/08/20
2.5K0
0487-CDH6.1的新功能
北京时间2018年12月19日,Cloudera正式发布Cloudera Enterprise 6.1.0,上次发布CDH6.0是8月30日,差不多过去了3个多月的时间,参考Fayson之前的文章《Cloudera Enterprise 6正式发布》。从CDH6.0到CDH6.1是一次minor version的更新,但更新内容较多,在开始接下来的细化功能讨论前,我们先看看几项重点更新的内容:
Fayson
2018/12/29
2.6K0
CDP PVC基础版的新功能
如果您是CDH或HDP用户,则除了从CDH和HDP版本转移到CDP的功能之外,还可以查看CDP私有云基础版中可用的新功能。
大数据杂货铺
2021/01/08
9700
CDP PVC基础版的新功能
FAQ系列之Kudu
分析用例几乎只使用查询表中列的子集,并且通常在广泛的行上聚合值。面向列的数据极大地加速了这种访问模式。操作用例更有可能访问一行中的大部分或所有列,并且可能更适合由面向行的存储提供服务。Kudu 选择了面向列的存储格式,因为它主要针对分析用例。
大数据杂货铺
2021/07/27
2.3K0
CDH——Cloudera’s Distribution Including Apache Hadoop
补充: 为什么 在 Hadoop 2.x 中 HDFS 中有 ZKFC 进程,而 yarn 却没有? 在 Hadoop 1.x 升级到 Hadoop 2.x 的过程中,考虑到向下兼容的问题, NameNode 进程没有嵌入 ZKFC 中的代码,而另外开辟一个进程 ZKFC 。 再者由于 Hadoop 1.x 中没有 yarn 组件,Hadoop 2.x 中才出现的 yarn 组件, 所以 yarn 不用考虑向下兼容的问题,即 ResourceManager 进程就直接嵌入 ZKFC 中的代码,只运行一个进程。
时间静止不是简史
2020/07/27
1.6K0
CDH——Cloudera’s Distribution Including Apache Hadoop
hadoop生态圈相关技术_hadoop的生态
  最早Doug Cutting(后面被称为hadoop之父)领导创立了Apache的项目Lucene,然后Lucene又衍生出子项目Nutch,Nutch又衍生了子项目Hadoop。Lucene是一个功能全面的文本搜索和查询库,Nutch目标就是要试图以Lucene为核心建立一个完整的搜索引擎,并且能达到提到Google商业搜索引擎的目标。网络搜索引擎和基本文档搜索区别就在规模上,Lucene目标是索引数百万文档,而Nutch应该能处理数十亿的网页。因此Nutch就面临了一个极大的挑战,即在Nutch中建立一个层,来负责分布式处理、冗余、故障恢复及负载均衡等等一系列问题。
全栈程序员站长
2022/11/17
8720
hadoop生态圈相关技术_hadoop的生态
大数据架构师基础:hadoop家族,Cloudera系列产品介绍
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选
机器学习AI算法工程
2018/03/09
2.1K0
大数据架构师基础:hadoop家族,Cloudera系列产品介绍
进击大数据系列(一):Hadoop 基本概念与生态介绍
大数据(big data),指的是在一定时间范围内不能以常规软件工具处理(存储和计算)的大而复杂的数据集。说白了大数据就是使用单台计算机没法在规定时间内处理完,或者压根就没法处理的数据集。
民工哥
2023/08/22
3K0
进击大数据系列(一):Hadoop 基本概念与生态介绍
取代而非补充,Spark Summit 2014精彩回顾
Apache Spark开源生态系统在2014上半年大幅增长,已迅速成为大数据领域中最活跃的开源项目,HDFS位列第二,其代码变动次数(commits)和行数仅仅有Spark的一半: 有超过50个机构250个工程师贡献过代码 和去年六月相比,代码行数几乎扩大三倍。 随着1.0版本于5月30日推出,Spark提供了一个稳定的API,开发人员可以依靠它来保证代码的兼容性。所有主流的Hadoop发行商,包括Hortonworks、IBM、Cloudera、MapR和Pivotal都提供了Spark的包装和技术支持
CSDN技术头条
2018/02/06
2.5K0
0685-6.2.0-什么是Cloudera虚拟私有集群和SDX-续
本文是续上一篇文章《0667-6.2.0-什么是Cloudera虚拟私有集群和SDX》
Fayson
2019/08/12
8950
0685-6.2.0-什么是Cloudera虚拟私有集群和SDX-续
Hortonworks正式发布HDP3.0
7月13日,Hortonworks在其官网宣布发布HDP3.0,包括Ambari2.7和SmartSense1.5。包括下载仓库与配套文档都正式GA。
Fayson
2018/08/03
3.7K0
Hortonworks正式发布HDP3.0
为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?
作者:王威扬 文思海辉技术有限公司数据挖掘解决方案经理 知乎 https://www.zhihu.com/question/22145076/answer/20695402 众所周知,R 在解决统计学问题方面无与伦比。但是 R 在数据量达到 2G 以上速度就很慢了,于是就催生出了与 Hadoop 相结合跑分布式算法这种解决方案,但是,python+Hadoop 这样的解决方案有没有团队在使用?R 这样起源于统计学的计算机包与 Hadoop 相结合会不会出问题? 因为他们在不懂R和Hadoop的特征应用场
机器学习AI算法工程
2018/03/13
9470
相关推荐
SAP HANA是否取代BW?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档