假设我的表是这样的：Jon,English,80Matt,English,90Jon,History,60有没有办法使用collect_list，这样我就可以得到我的查询：Amy: Geography:70; French:90编辑：
这里的复杂之处在于，<em
浏览 5提问于2018-02-07得票数 3
回答已采纳
3回答
我需要联合两个数据帧，并通过键组合列。这两个datafrmae具有相同的模式，例如：|-- id: String (nullable = true)| |-我尝试了下面的代码：rdd.map(x似乎不能用来映射结构：
or
浏览 0提问于2017-05-29得票数 2
回答已采纳
我有一个数据帧，其中一列包含一个mllib.linalg.Vector。我希望将数据帧中的另一列(例如ID列) groupBy，并将特征向量"collect_list“到列表中。我得到了下面的错误。这是一个泛型操作，为什么它关心列中数据的类型？它适用于标量数字或字符串等，但似乎不适用于mllib Vector。有没有解决这个问题的办法？，也许是collect_list()之外的另一个函数？No handle
浏览 13提问于2017-01-12得票数 2
回答已采纳
1回答
我在编写HIVE UDF时遇到了麻烦，在这里我将3个参数作为3列传递给UDF。我需要用列值构建3个列表。在此基础上，我将在3个列表上执行逻辑，并为每条记录返回一个字符串。我的代码必须看起来像这样。
浏览 0提问于2014-12-27得票数 0
2回答
我想要计算一个新的列c1，即collect_set的类型，然后连接collect_set的结果，最后从结果中删除转义。在Hive中，查询是：
select distinct numcat,numpl,numcr, natcat, cdvign, translate(concat_ws('!',collect_list(cast(typpl as string)) over(partition by numcat,numpl,numcr, natcat, cdvign)
浏览 2提问于2020-10-28得票数 2
回答已采纳
每当我在配置单元上运行函数"collect_list“时，它总是抛出一个错误：Total jobs = 1Failedto get session数据：1 A2 C我在hive<
浏览 5提问于2017-04-21得票数 0
1回答
我刚开始运行Hive查询。在堆栈溢出上有一个答案表明，基于我正在使用的Hadoop版本，这样做是有限制的。
如何根据Group查询将所有行连接到一个单独的逗号分隔字段？
浏览 3提问于2015-03-06得票数 1
回答已采纳
我使用的是Python 2.6.6和Spark 1.6.0。我的df是这样的： id | name | number |1 | joe | 148590 |
2 | bob('name'))的程序时，我都会得到以下错误pyspark.sql.utils.AnalysisException: u'undefined function collect_list;'为什么会这样我还尝试
浏览 62提问于2020-07-02得票数 1
回答已采纳
以下问题是针对PySpark版本1.5.0的，因为PySpark中不断添加新特性。| x| y||foo| 1||bar| 10||qux|999|我想要这样的东西在潘达斯，我可以通过以下方式来实现这个星座：pd.groupby('x')['y'].appl
浏览 4提问于2016-03-20得票数 1
回答已采纳
1回答
我想要创建一个表，其中每一行都是唯一的ID，places列由一个人访问的所有地点和城市组成，按访问日期排序，使用Pyspark或Hive。另外，对于每一列，我需要继续单独执行这个步骤。我还尝试使用windows函数，如本文()所述，但它控制了一个错误:java.lang.UnsupportedOperationException:窗口操作中不支持'collect_list(')。我想：
1-按旅行日期的先后顺序，命令连接的列
浏览 0提问于2019-06-26得票数 0
回答已采纳
我找到了一个名为"concat_ws“的函数，但看起来我必须显式列出要连接的所有值。我想知道我是否可以在蜂巢里用concat_ws做这样的事情。下面是一个例子。所以我有一个名为"my_table“的表，它有两个字段，分别命名为country和city。我现在正在使用来自CDH5的Hive 0.11
浏览 4提问于2015-05-03得票数 7
回答已采纳
1回答
我的HDFS中有大约4 of的JSON，我已经使用JSON Serde创建了一个Hive表。最终数据预计在25 be左右。所以perCol10中的18.42是col10中的423相对于整个col10的百分位数。以前，我使用NumPy数组在内存中使用(小得多)的数据集执行相同<e
浏览 1提问于2014-08-28得票数 1
我有两张表：`1` array<string>);
`1` array<int>);insert
浏览 0提问于2015-10-01得票数 6
描述的解决方案(由zero323描述)非常接近于我想要的，只需两个曲折：
org.apache.spark.sql.functions.collect_list(Column col)如该问题的解决方案中所描述的，但得到了以下错误
线程"main“org.apache.spark.sql.Analys
浏览 2提问于2016-02-10得票数 5
回答已采纳
我有一个多列的数据框架。我试图通过窗口函数使用id上的collect_list来聚合几个列。我在尝试这样的事情：df = df.groupBy(如果您不关心您得到的值，则添加到group by或care (或first_value)中
如果我对单个列</em
浏览 0提问于2020-06-02得票数 0
回答已采纳
2回答
蜂箱连接查询优化
、、、、
Table Acol1, col2,Adate,qty
-------表的大小如下：请考虑以下查询： A.col1, B.Bdate bdate,FROM A GROUP BY A.col2,上面的蜂巢查询在一个由4个从节点(8GB内存，100 GB磁盘)
浏览 2提问于2020-04-12得票数 3
1回答
我正在使用Spark创建一个倒置索引(或者更多的是一个“发布列表”，所以发布的顺序很重要)，看起来有点像这样
| key | postings我想知道最好的选择是在星火中创建这样的数据，并最终将其存储到Parquet。你建议使用嵌套结构吗？或者更确切地说，使用数组来存储帖子(如果我想要存储的不仅仅是一个id，而是一个id和一个距离，即整数和浮点数的元组)，我该怎么办？或者你会建议不要使用这样的投递列表，而选择一个扁平的结构(例如，在同一键多次
浏览 2提问于2016-06-07得票数 0
回答已采纳
15),(2,'c', 12),我希望结果表看起来像这样-1, c->a->bjourney列按每个id的时间升序排列select id , concat_ws(">", collect_list(channel)) as journeygroup by id
但它并不能维持秩序
浏览 2提问于2018-06-23得票数 0
2回答
我有一张类似于此的员工表：A [{"name":"John", "age":10, "job":"Manager"},{"name":"Eli", "age"":"CEO"},{"name":"Mike", "age":334 "job":"CTO"
浏览 3提问于2020-06-24得票数 1
回答已采纳
1回答
我有一张桌子我期望得到这样的输出(在一个记录中对结果进行分组，group_concat应该根据值DESC对结果进行排序)。SELECT id,FROM
tabl
浏览 1提问于2018-02-28得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
