我一直在尝试定义一个在Spark的DataFrame中工作的函数，它接受scala集作为输入，并输出一个整数。我得到以下错误：下面是
浏览 1提问于2016-09-01得票数 1
回答已采纳
1回答
我想使用在我的libaray中定义的自定义UDF。为此，我使用了以下代码：import org.apache.spark.sql.functions.year
sqlContext.sql(s"ADD JAR /usr/hdp/current/spa
浏览 2提问于2017-04-13得票数 1
回答已采纳
在学习Spark SQL时，我一直使用以下方法将集合注册到Spark SQL目录中并对其进行查询。val persons: Seq[MongoPerson] = Seq(MongoPerson("John", "Doe"))
.save()
.format("com.mongodb.spark.sql.Defaul
浏览 25提问于2021-07-02得票数 2
回答已采纳
3回答
我已经使用spark-thriftserver connection将表从PostgreSQL数据库导入到spark-sql中，现在我可以从直线上看到这些表。有没有办法把这些表格转换成spark数据帧？
浏览 1提问于2016-09-25得票数 2
1回答
我正在构建一个应用程序，它使用MongoDB作为跨DB集合的database.One，有大量的数据，即8GB数据。我对存储在集合中的数据执行聚合操作，并相应地生成统计信息。但是处理海量数据需要很长的duration.Hence时间，我选择了来处理存储在MongDB集合中的数据，我配置了，并在python中执行了一个演示脚本，以便通过spark从mongo集合中获取数据。()
conf.set('sp
浏览 5提问于2016-07-27得票数 2
我有一个测试脚本来读取作为参数提供的文本文件，如下所示：$ cat test.scalacat test.scala
val args = spark.sqlContext.getConf("spark.driver.args").split-i test.scala --conf
浏览 0提问于2019-02-06得票数 2
2回答
我的查询在shell中按预期工作。但是，当我在eclipse中写出它们并编译一个jar时，我将面临一个错误。16/03/23 05:52:43 ERROR ApplicationMaster: User class threw exception:org.apache.spark.sql.AnalysisExceptionNote that, using window functions currently requires a HiveContext;import org.apache.spark<
浏览 1提问于2016-03-23得票数 3
回答已采纳
2回答
我正在尝试转换一个大镶嵌文件到CSV.Since我的内存只有8 GB，我得到内存error.So有没有办法读取镶嵌成循环成多个数据帧？
浏览 1提问于2019-06-18得票数 1
1回答
如何注销星火UDF
、、、
我在Java中使用Spark1.6.0。 if(StringUtils.isNumeric((String)value)) {return 1; return 0;
}
浏览 3提问于2017-06-09得票数 1
我写过spark job： def main(args: Array[String]) { val sc = new SparkContext(conf)
val ctx = new org.apache.spark.sql.SQLContextpersons = ctx.read.json(&
浏览 5提问于2016-01-11得票数 17
回答已采纳
我有一个单独的Hive表，用于多个后续的spark.sql查询。我怎么才能避免这种情况？下面是一个复制问题的简化示例spark.sql("CREATE DATABASE IF NOT EXISTS default")spar
浏览 0提问于2019-04-23得票数 0
回答已采纳
1回答
窗口函数不适用于Pyspark。
、、、、
我有一个数据框架，我想将数据汇总到7天，并对其中的一些函数进行一些聚合。 .rangeBetween(-(days(7)), 0)
现在，我想执行一些聚合，即应用一些windows函数dataframeOfquery3.select(min(dataframeOfquery3["Sale_Date"].over(windowSp).alias("Sale_D
浏览 2提问于2016-03-15得票数 0
回答已采纳
2回答
我正在使用两个Jupyter笔记本在分析中做不同的事情。在我的Scala笔记本中，我将一些清理过的数据写到了parquet中：然后，我转到我的Python笔记本中读取数据
浏览 0提问于2017-03-24得票数 32
让我们假设我们有一个Spark DataFrameClass[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFramenullable = true)| |-- element: string (containsNull = true)
假设Scala列的每一行都是一个字符串数组，那么如何编写一个tk函数来返回
浏览 2提问于2016-01-05得票数 7
回答已采纳
在spark 1.4.1中，callUdf方法的参数是没有任何方法可以直接作用于列，如1.5.1中的方法那么如何在1.4.1中调用UDF呢？sqlContext.udf().register("stringToLong", new UDF1<String, Long>() {
浏览 1提问于2016-11-28得票数 0
回答已采纳
2回答
下面是我的spark/SCALA程序来读取我的源文件。(CSV文件) .format("com.databricks.spark.csv")
.load("C:\\TestFiles\
浏览 3提问于2017-04-15得票数 0
回答已采纳
3回答
默认情况下，在命令行接口中初始化星火时，SparkContext被初始化为sc，sqlContext初始化为SQLContext。但是我需要HiveContext，因为我使用的是一个函数collect_list，它不是SparkContext支持的，而是由HiveContext支持的。因为HiveContext是SparkContext的超类，所以它应该能工作，但它不是。
如何使用Spark 在Scala中初始化HiveContext
浏览 4提问于2016-07-04得票数 1
回答已采纳
1回答
使用库的MongoDB查询筛选器
、、、、
我正在尝试使用Stratio‘Spark 查询一个集合。我跟随线程开始工作，目前正在运行以下代码：data = reader.options(host='<ip>:27017', database='<db>', collection='<col>').load()
这将把整个集合</e
浏览 5提问于2016-06-10得票数 3
回答已采纳
问题是，我需要导入隐式函数，但在使用之前/之后的方法时，只能使用变量(var字段)，而导入则需要一个值(val字段)。import org.apache.spark.SparkContext var sc: SparkContext = _
implicit var sqlContext: <
浏览 3提问于2017-01-11得票数 7
2回答
我希望将嵌套json的列表存储在spark dataframe中，并希望处理该列。还需要对某些值进行更新或删除等操作。任何不同的方法也是可以接受的。
浏览 1提问于2020-04-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
