hive和impala中的Collect list函数

文章/答案/技术大牛

发布

1回答

hive、impala

我正在使用 concat_ws(' ', collect_list(field1)) as field1, 但是查询不是在impala中运行的。impala不支持这个功能吗？如果不是，那么在impala中有什么类似手术的替代方案呢？

浏览 213提问于2019-02-12得票数 1

1回答

蜂巢和黑斑羚哈希？

hadoop、hive、impala

我正在寻找一种一致的方法，在Hive查询语言和Impala查询语言中，散列函数产生相同的值，不管是在Hive还是Impala中完成。为了澄清，我想要一些类似some_hive_hash_thing(A) = some_other_impala_hash_thing(A)的东西。对于Hive，我知道有hash()使用MD5 (或任何命令)。对于Impala，我知道有

浏览 6提问于2018-09-07得票数 4

回答已采纳

1回答

自动增量UDF在配置单元中有效，但在Impala中返回null

java、impala、udf

我创建了一个创建自动增量值的java函数，我还创建了一个基于此函数的hive UDF，它在hive中工作得很好。我基于此函数创建了一个Impala UDF，它返回'null‘而不是自动递增整数。下面是java的UDF代码：import org.apache.hadoop.hive.ql

浏览 1提问于2015-04-07得票数 1

1回答

删除字段外的引号使appostaphe保持原样

shell、hiveql

我有一个需要加载到Hive Table中的示例文件我需要这样的输出: data，kumar's，big'data，Hive，impala-shell 我只需要外部引号被删除。

浏览 3提问于2017-09-29得票数 1

5回答

与hive相比，impala如何提供更快的查询响应

hadoop、hive、impala

我最近开始研究使用Hive和Impala查询HDFS上的大量CSV数据。正如我所期望的那样，与Hive相比，我使用Impala获得了更好的响应时间，对于我到目前为止使用的查询。我想知道是否有一些类型的查询/用例仍然需要Hive，而Impala不太适合。与Hive相比，Impala如何为HDFS上的相同数据提供更快<e

浏览 2提问于2013-05-26得票数 57

回答已采纳

2回答

Impala是一个列状群集数据库吗？

hdfs、impala、bigdata、database

我是大数据和相关工具/技术的新手。我在查黑斑羚的资料。说Impala是一个集群柱状数据库是真的吗？而Impala需要大量内存来计算/转换数据？

浏览 4提问于2017-04-28得票数 1

回答已采纳

1回答

我可以在hive和impala中使用基于java的UDF，但在where子句中调用udf时抛出ClassNotFound错误。当在where子句中引用时，自定义函数不能使用，但当它仅在impala 2.9.0-cdh5.12.1中的select后面引用时，它才能正常工作在hive中，select udfjson(memo,state) from tableA where udfjson(memo,state) =

浏览 36提问于2019-06-28得票数 0

1回答

使用加载路径加载数据时出错: AccessControlException:由粘滞位拒绝的权限: user=impala

hadoop、impala

-文件在上的位置:hdfs://xxx/user/hive//-中的加载语法:在路径中加载数据‘hdfs://xxx/user/ hive //<e

浏览 0提问于2017-03-17得票数 1

4回答

黑斑羚时间戳不匹配蜂巢-一个时区问题？

timezone、hive、impala

'CREATE TABLE `log`( [...])' 问题是:当在Impala</

浏览 5提问于2015-11-05得票数 4

回答已采纳

1回答

在airflow运算符中多次使用jdbc_hook时未找到获取java.lang.RuntimeException:driver类

jdbc、hook、airflow

用例是运行配置单元中的sql列表并更新impala元数据。如下所示，hive和impala的两个方法使用jdbc_hook。按照我调用这些方法的顺序，只有第一个方法运行，第二个方法抛出错误- java.lang.RuntimeException: Class <driver name of hive/impala> not请找到airflow自定义运算符的execute方法:注

浏览 0提问于2020-07-30得票数 0

1回答

为LDAP用户调用Impala* shell时挂起*

hadoop、openldap、impala、apache-sentry

我已经使用命令行在TLS6.5上安装了一个带有impala和sentry (CDH5.2)的集群，还设置了openLDAP (不带TLS域)。两者都独立运行，没有任何问题。要为openLDAP配置Hadoop集群，我已经为所有hadoop服务创建了所需的LDAP组，并在core-site.xml和impala配置文件中创建了所需的条目，这些配置文件列出了文档中提到的LDAPimpala-shell完全没有响应，<em

浏览 5提问于2015-07-08得票数 0

1回答

从视图角度分析Impala的例外

sql、hive、impala

我有一个数据库，它的视图是根据其他视图创建的(数据工程师创建的视图不是我)。在Impala中，我得到了一个错误，尝试过使元数据失效，并且没有运气刷新。

浏览 2提问于2016-09-29得票数 0

1回答

impala.error.HiveServer2Error:重试3次失败

python-3.x、hive、impyla、ibis

我使用impyla和ibis来连接hive服务器，但我得到了错误。我尝试了以下代码：impcur = connect(host="kudu3", port=10000, database="yingda_test", password=None, user='admin', kerberos_service_name='None').cursor()Trac

浏览 6提问于2021-10-28得票数 0

1回答

如何从hive或impala读取Hbase当前和以前版本的数据？

hadoop、hbase、impala

我想从Hive或Impala.In读取Hbase当前和以前版本的数据。我最初的研究发现，只有当前版本可以从hive访问。那么，目前有没有办法从hive或Impala中检索较旧的版本？

浏览 1提问于2016-05-12得票数 1

1回答

Impala创建外部表，由Hive存储

twitter、hbase、flume、impala、flume-ng

从昨天开始，我一直在努力弄清楚为什么我的表创建不起作用。因为我不能将我的Impala链接到我的Hbase，所以我不能在我的twitter流上进行查询:/ 创建外部表HB_IMPALA_TWEETS ( id int、id_str字符串、文本字符串、created_at时间戳、geo_latitude double、geo_lon

浏览 1提问于2014-06-24得票数 1

回答已采纳

1回答

具有LDAP的Cloudera Sentry -无法将用户添加为Sentry管理员

apache、postgresql、hadoop、apache-sentry

背景：我已经集成了OpenLDAP，以便可以通过LDAP用户凭据和密码凭据进行我的意思是输入Sentry数据库和

浏览 4提问于2016-02-10得票数 2

1回答

在Impala中使用Hive* UDF给出了在Impala 1.2.4中的错误结果*

hadoop、hive、cloudera-cdh、impala、udf

我在Java中有两个Hive，它们在Hive中运行得非常好。这两种功能互为补充。中是可行的，但是当我尝试在Impala (版本1.2.4)中使用它时，它给出了myUDF(BigInt)的预期答案(所打印的答案是正确的)，但是当传递给myUDFReverso(String)时，答案不会返回原来的答案我注意到length(myUDF("myInput"))在Impala 1.2.4

浏览 0提问于2015-05-08得票数 0

回答已采纳

1回答

Cloudera Impala是一个内存消耗框架吗？

hadoop、hive、apache-pig、bigdata、impala

我在我的项目中使用bigdata来压缩执行ETL所需的操作时间。所以你是建议使用impala，因为它更快，还是使用hive。我的全部意图是压缩我现在正在使用Ora

浏览 4提问于2015-01-13得票数 0

1回答

色调服务错误:无法连接到quickstart.cloudera:21050

cloudera、impala、cloudera-cdh、hue、cloudera-quickstart-vm

在启动色调服务后，当我打开这个url 时，启动hue服务无法连接到quickstart.cloudera:21050 (代码THRIFTTRANSPORT)：TTransportException

浏览 3提问于2019-11-21得票数 0

2回答

使用Spark SQL查询配置单元分区子目录中的数据

apache-spark、hive、apache-spark-sql、parquet

如何强制spark sql从子目录中以递归方式获取以parquet格式存储的数据？在Hive中，我可以通过设置一些Hive配置来实现这一点。set hive.input.dir.recursive=true;set hive.supports.subdirectories=true;我

浏览 28提问于2017-02-15得票数 3

回答已采纳

点击加载更多