如果不迁移到更高的spark版本，改进它的替代方法也是缓慢的。由于该问题已在spark的后续版本中修复，因此一种方法是复制修复后的源代码。在寻找源代码的时候，。我如何在新的spark源代码中找到工作分解的源代码-这样，我就可以用它来代替当前版本的分解？
浏览 9提问于2018-08-27得票数 0
回答已采纳
我试图寻找爆炸功能或它的等价物在普通的scala，而不是火花。使用Spark中的below函数，我能够将一个具有多个元素的行平平成多个行，如下所示。scala> import org.apache.spark.sql.functions.explode
scala> val t
浏览 2提问于2020-02-24得票数 1
回答已采纳
在dsx中，有一种方法可以在Scala2.11和Spark 2.0笔记本中使用"display“(我知道可以在python笔记本中使用pixiedust)。例如： WHEREstate = 'CA' GROUP BY city ORDER BY SUM(pop)
浏览 3提问于2017-01-28得票数 3
在这里，我试图将时间戳动态地添加到数据帧中，
在上面输入的<e
浏览 1提问于2017-01-17得票数 0
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。中没有数据库(模式)的概念，但是我读到了包含模式信息等的亚稳态。我们可以在SparkSQL中编写像上面这样的SQL查询吗？我只是在检查为什么显示create没有使用spark，是因为它是一个临
浏览 6提问于2018-09-04得票数 1
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示列标题。熊猫数据<
浏览 3提问于2018-06-13得票数 2
我正在尝试将Spark数据帧写入Hbase，但当我在同一数据帧上执行任何操作或写入/保存方法时，它会给出以下异常： { at(Option.scala:120) at org.apache.<e
浏览 11提问于2019-02-21得票数 1
4回答
如何读取Spark中的嵌套集合
、、、、
我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！
ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~200m。嵌套集合
浏览 191提问于2015-05-03得票数 19
回答已采纳
我有两个不同类型的值，如下所示ageSum: org.apache.spark.sql.DataFrame = [sum(age): bigint]scala> totalEntries第一个值来自数据帧上</
浏览 7提问于2017-01-26得票数 0
回答已采纳
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。在.cache行分配了200个任务。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它在这里失败了。(DataFrame.scala:1903) at org.apache.spark.sql.DataFrame.col
浏览 3提问于2016-10-17得票数 1
回答已采纳
我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们，它们返回给我未来类型的DataFrame，我如何在最后合并它们，并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时，它显示以下错误
value union is not a member
浏览 2提问于2020-01-22得票数 0
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC"), (3, "GHIJ")
).toDF("id&qu
浏览 6提问于2020-06-04得票数 0
回答已采纳
我创建了一个spark数据帧，作为加入其他一些数据帧的结果。我甚至无法成功地在dataframe上调用show()。下面是调用show()时的异常堆栈
Except
浏览 1提问于2017-10-31得票数 0
1回答
我正在开发一个基于Scala的极限学习机器，在Apache中。我的模型必须是一个火花估计和使用火花框架，以适应机器学习管道。有没有人知道布雷兹是否可以和火花一起使用？我所有的数据都在火花数据帧中，可以想象我可以使用Breeze导入它，使用Breeze DenseVectors作为数据结构，然后将估计部分转换为DataFrame。Breeze的优点是它对Moore-Penrose伪逆有一个函数pinv，它是一个非平方矩
浏览 3提问于2017-08-26得票数 3
回答已采纳
对于示例数据帧scholor，对于上面的，都是下面的，给出相同的输出。那么agg()有什么用呢？scala> scholor.groupBy("age").sum("base").show /*with out agg */
scala> scholor.groupBy("age").
浏览 1提问于2017-04-08得票数 4
回答已采纳
我有一个名为rankedDF的数据文件：|TimePeriod我在等这个DataFrame：|Womens Socks, Men...|Womens Socks, Men...<init>(DataFrame.scala:131)
浏览 0提问于2018-04-24得票数 0
回答已采纳
我想爆炸阵列(Int，Int)colA newCol2 [[17, 91], [51, 72]]colA newCol1 112 17我的模式如下所示： |-- newCol: array| | |-- value: integer (nullable = true)
| | |-- count: integer (nul
浏览 0提问于2019-08-01得票数 0
回答已采纳
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false)
| |-- element: string (containsNull =
浏览 30提问于2020-01-21得票数 3
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na
浏览 4提问于2016-02-28得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
