我正在使用Apache的SQL来处理结构化Bigdata。我偶然发现了sparkSQL的数据类型(特别是DecimalType )的使用，它比sparkSQL中的任何其他数据类型都支持最多的数据存储，但是即使根据文档：，也可以找到38种精度：：
它内部使用BigDecimal语言的Scala语言，这使精度接近。我需要实现与scala的BigDe
浏览 3提问于2016-11-14得票数 3
起作用的是： dfReader.csv(filePath + "stations.csv")17/08/07 11:41:13 INFO BlockManagerInfo: AddedKB, free: 1987.5 MB)
17/08/07 11:41:13 IN
浏览 4提问于2017-08-07得票数 2
回答已采纳
我有一个带有Scala代码的Maven项目，我想根据不同的Scala版本(2.10.6和2.11.8)生成两个jars。如果有人建议解决方案，我如何在单个maven安装执行中实现这一点，或者如果在Maven中有其他方法可以使用Maven插件来实现这一点。
浏览 1提问于2017-10-11得票数 2
回答已采纳
我在蜂巢里有张桌子以两种方式查询同一表：
但是usr可能会引发python或scalascala> spark.sql("SELECT * FROM kafka_tabl
浏览 0提问于2019-01-09得票数 1
1回答
scc.createOrReplaceTempView(“k”)
spark.sql(“select * from k”).show() 如果您在这里观察到@1，我们正在读取完整的表，然后@3，我们正在根据所需的查询来获取结果。在这里，读取完整的表，然后查询需要花费大量的时间。我们不能在建立连接的同时执行查询吗？如果您对此有任何先验知识，请务必帮助我。
浏览 5提问于2019-02-21得票数 1
作为ETL流程的一部分，我们每天都会将数据从Oracle迁移到Cassandra。我想在两个数据库之间执行数据验证，一旦Spark作业完成，以确保两个数据库同步。我们使用的是DSE 5.1。您能否提供您的宝贵意见，以确保数据已正确迁移
浏览 8提问于2017-06-14得票数 0
我正在运行以下scala代码：val df=hiveContext.sql("now it failslog.println(fs.apply("name"))
我知道firstStruct是structType的，有人告诉我，spark/hive结构与scala不同，但是，为了<em
浏览 1提问于2016-06-16得票数 0
1回答
我需要使用超过22列宽的表来处理SparkSQL。在如何升级和可能的跨版本工作方面有帮助吗？我在eclipse中使用Scala，但是由于SchemaRDD的问题，我可以迁移到Intellij。
任何帮助都是非常感谢的。
浏览 0提问于2015-02-09得票数 1
我的原型(用R写的软件包和)在计算复杂性方面遇到了难题--甚至在我强大的工作站上也是如此。因此，我希望使用Scala将代码移植到。我查找了所有的、、 (SparkSQL)和 (也是SparkSQL)，并找到了除tidyr::spread()函数之外的所有函数的等价物。| 1将被转化为------------0 | 1如果
浏览 3提问于2016-09-12得票数 1
回答已采纳
有了SparkSQL卡桑德拉连接器，JDBC工具(即DBVisualizer、Tableau、Alteryx.etc)可以将2个Cassandra表与SparkSQL连接起来吗？我看到的所有文档都提到了joinWithCassandraTable (我认为它只适用于scala/java代码或星星之体，而不是标准的SQL客户机) 。
浏览 0提问于2018-06-25得票数 1
回答已采纳
在使用sparkSql U选项函数时，我发现我的一些输入列意外地从null变为0。import scala.collection.mutable
你能不能找个家人和scala一起解释一下为什么和背后发生了什么？
浏览 1提问于2018-06-12得票数 1
回答已采纳
1回答
我想为spark数据帧的单个列中的每个字符串删除字符串的最后两个值。我想在spark数据帧中实现这一点，而不是将其移动到pandas，然后再移回来。| name|# | 350|Michael|# | 123| Justin|其中年龄列的数据类型是字符串age| name|# | 3|Michael|# | 1| Justin|
浏览 1提问于2019-06-04得票数 1
SparkSQL有。但是，我在Scala中找不到它与Dataset API一起使用。expr("uuid()")谢谢。
额外的问题:我们在python中有它吗？哪里?
浏览 8提问于2022-09-21得票数 2
我的Databricks笔记本使用的是Python。notebook中的一些代码是用Scala编写的(使用%scala)，其中之一是用于创建数据帧。如果我再次使用Python/PySpark (默认模式)，我如何使用/访问这个在scala模式下创建的dataframe？谢谢
浏览 14提问于2019-11-17得票数 1
回答已采纳
我一直在尝试学习如何在scala中使用map函数。但是，我一直收到错误No implicit arguments of type Encoder[Row]。我如何才能修复这个错误，而不必创建一个类来定义json是如何建模的呢？val spark = SparkSession.builder .master("local[*]")
.getOrCreate()val df = spark.read.json("
浏览 371提问于2021-08-28得票数 0
回答已采纳
考虑到文件中的配置单元查询很少，我的建议是使用hivecontext或sparkcontext运行文件sparkContext.SQL('query')
但是我必须运行一个有查询的文件。
浏览 8提问于2016-11-19得票数 0
1回答
我需要帮助使用火花函数ASCII(sparkSQl字符串函数)通过使用scala import org.apache.spark.sql.SparkSessionselect ascii('Santosh') 我需要santosh的asc
浏览 63提问于2019-06-25得票数 0
回答已采纳
我正在使用bash脚本构建一个Spark应用程序，并且我在build.sbt文件中只有一个spark-sql和核心依赖项。那么我应该如何改变我的依赖关系来解决这个问题呢？val sparkSql = "org.apache.spark" %% "spark-sql" % "2.3.3" )),
nam
浏览 13提问于2019-06-08得票数 1
回答已采纳
nullable = false)val df2= df1.select($"id", (scala.math.sqrt($"x")+scala.math.cqrt($"y")+$"z"*constantKmismatch;
foun
浏览 13提问于2020-10-23得票数 0
回答已采纳
String, ws: Map[Int, String])如上所示，这两个字段有一个不同的字段println(x))sparkSQL.createDataset(Seq(S2("heloo", Map(0 -> "(SQLImplicits.scala:33)
这是我<e
浏览 2提问于2018-01-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
