腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
星星之火SQL(v2.0) Scala中的UDAF返回空字符串
、
以下是守则:import org.
apache
.spark.sql.expressions.UserDefinedAggregateFunctionimport org.
apache
.spark.sql.Row import org.
apache
.spark.sql.types.DataTypes: M
浏览 1
提问于2016-11-14
得票数 2
回答已采纳
2
回答
WinRM(WsMan)和NTLM认证
、
、
、
、
以下是响应头:21:57:33.557 [main] DEBUG org.
apache
.http.wire - http-outgoing-0 << "Server: Microsoft-HTTPAPI/2.0[\r][\n]" 21:57:33.557 [main] DEBUG org.<e
浏览 4
提问于2017-08-10
得票数 0
1
回答
用于Spark的累积产品UDF
、
、
我在其他文章中也看到过这样做是为了数据格式:假设我有一张非常基本的桌子+----++----+| 2 |+----+sparkSession.createOrReplaceTempView("table")这很简单,因为和是一
浏览 0
提问于2020-04-09
得票数 1
回答已采纳
2
回答
ProtocolException:无效标题::on HTTPRequest
、
Client: android响应Date: Tue, 12 Nov 2013 08:35:01 GMT 编辑:粘贴请求的堆栈跟踪: 11-08 13:09:30.691: W/System.err(20729): org.
apache
.http.client.ClientProtocolException11-08 13:09:30.701: W/System.er
浏览 7
提问于2013-11-08
得票数 3
回答已采纳
1
回答
Spark窗口函数"rowsBetween“应该只考虑完整的行集
、
= org.
apache
.spark.sql.types.DoubleType def initialize(
buffer
:[Double]() def update(
buffer
: org.
apache
.spark.sql.expressions.MutableAggregationBuffer,input:org.
apache
.spark.sql.Row): Unit = { var bufferVal=<
浏览 3
提问于2019-05-19
得票数 0
1
回答
Spark SQL:无法在窗口函数中使用聚合
、
、
tablename order by date; val sqlContext = new org.
apache
.spark.sql.SQLContext
浏览 2
提问于2017-02-24
得票数 1
1
回答
使用泛型作为输入类型?
、
、
、
、
我想编写Spark,其中列的类型可以是定义了Scala数字的任何类型的列。我在网上搜索过,但只找到了一些具体类型的例子,比如DoubleType、LongType。这不可能吗?但是,那么如何将UDAF与其他数值一起使用呢?
浏览 1
提问于2017-04-06
得票数 2
回答已采纳
1
回答
用于spring boot的合流Kafka Avro反序列化kafka侦听器
、
、
、
有没有人实现了confluent-kafka消息反序列化程序,通过spring "@KafkaListener"-s来消费kafka消息?
浏览 3
提问于2017-09-08
得票数 1
1
回答
在
Apache
中,从用户定义的聚合函数返回多个数组
、
、
、
、
我正在尝试使用
Apache
在Java中创建一个用户定义的聚合函数,该函数在完成时返回多个数组。我已经在网上搜索过了,找不到任何关于如何做到这一点的例子或建议。) {
buffer
.update(1, new ArrayList<Double>()public void merge(MutableAggregationBuffer
buffer
1, Row
buffer
2
浏览 4
提问于2015-11-26
得票数 9
回答已采纳
3
回答
如何定义一个自定义聚合函数来对一列向量求和?
、
、
、
、
我有一个包含两列的DataFrame,类型为Int的ID和类型为Vector (org.
apache
.spark.mllib.linalg.Vector)的Vec。
浏览 2
提问于2015-11-25
得票数 25
回答已采纳
4
回答
如何检查spark sql映射类型中是否存在key
、
因此,我有一个表,其中有一列映射类型(键和值都是字符串)。 我想像这样编写spark sql来检查给定的键是否存在于map中。 select count(*) from my_table where map_contains_key(map_column, "testKey") 我找不到任何现有的spark sql函数可以做到这一点。 有什么想法吗? 谢谢
浏览 79
提问于2018-09-08
得票数 4
回答已采纳
1
回答
Apache
MINA从IoSession读取数据
、
、
我是
Apache
MINA的新手,请指导我如何阅读IoSession。我已经在里面存储了一个POJO。
浏览 1
提问于2010-03-09
得票数 4
回答已采纳
2
回答
在GraphFrame上聚合AggregateMessages时,如何保留所有元素?
、
、
假设我有以下图表:+---+---------------++---+---------------+|BBB| null||DDD| null||EEE| null||GGG| null| scala
浏览 5
提问于2018-04-07
得票数 1
1
回答
如何在PySpark中对组的每一行数据进行迭代。?
、
、
我希望根据组上一行中列的值来设置列的值。然后,更新后的值将在下一行中使用。id | start_date|sort_date | A | B |1 | 1/1/2017 | 31-01-2015 | 1 | 0 | 1 | 1/1/2017 | 31-03-2015 | 1 | 0 | 1 | 1/1/2017 | 31-05-2015 | 1 | 0 |
浏览 1
提问于2017-01-30
得票数 4
回答已采纳
1
回答
使用Spark SQL获取或默认嵌套列
对于
Apache
Spark (v2),我有以下模式: root | |-- bar: string (nullable我写了一个UDF (但我确信这个东西已经存在了……): import org.
apache
.spark.sql.functions.udf import org.
apache
.spark.sql.catalyst.expressions.GenericRowWithSchemaimport org.
apache
.spark.sq
浏览 12
提问于2019-06-28
得票数 1
回答已采纳
2
回答
如何在MutableAggregationBuffer中添加/修改映射对象?
、
、
这是一个与星火库中的用户定义聚合函数有关的问题.我使用提供的示例回答来问我的问题:import org.
apache
.spark.sql.types._import org.
apache
.spark.sql.merge(
buffer
1: MutableAggregationBuffer,
buffer
2: Row) =
浏览 4
提问于2017-06-01
得票数 2
回答已采纳
1
回答
通过定义UDAF产生的Spark-sql错误
、
、
Spark version 1.6.0 on AWS EMR with Zeppelin Notebookimport org.
apache
.spark.sql.types._import org.
apache
.spark.sql.expressions.MutableAggregationBufferimport org.
apache
.spark.sql.expressions.UserDefinedAggregate
浏览 3
提问于2016-03-07
得票数 0
1
回答
Spark : scala.MatchError 0.0 (属于java.lang.Double类)
、
、
、
Scalaimport org.
apache
.spark.sql.expressions.input.isNullAt(0)) { println(
buffer
.get(1))
buffer
.updateoverride def merge(
buffer
1: MutableAggregationBuf
浏览 0
提问于2016-11-21
得票数 3
回答已采纳
2
回答
Java (ZipEntry) -如果文件名包含捷克字符(čžř等),则在读取下一个条目时失败
、
、
、
List<File> files = new LinkedList<File>(); int count; while ((entry = inputStream.getNextEntry()) !
浏览 2
提问于2013-07-02
得票数 0
回答已采纳
2
回答
如何在Spark中使用countDistinct?
、
、
但是,我得到了以下例外: 导入org.
apache
.spark.sql.catalyst.expressions编辑:示例(删除了一些本地引
浏览 7
提问于2015-11-03
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【翻译】Protocol Buffer Basics:C
在NodeJS使用Protocol Buffer
Google Protocol Buffer 学习笔记
Safe-Buffer源代码解析
有了 Protocol buffer 还是用 JSON
热门
标签
更多标签
云服务器
ICP备案
对象存储
腾讯会议
云直播
活动推荐
运营活动
广告
关闭
领券