我有一个这样的数据帧。在这里，在使用_.ie拆分之后，所有列(c2和c3)都必须使用_拆分，然后获取最大值。 在实际场景中，我有50列，即c2,c3....c50，并需要从中取最大值。
浏览 20提问于2020-01-02得票数 1
回答已采纳
scala spark数据帧中有没有df[100, c("column")]的替代品？我想从spark data frame的一列中选择特定的行。例如，上述R等效代码中的100th行
浏览 613提问于2016-02-07得票数 45
回答已采纳
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示
浏览 3提问于2018-06-13得票数 2
我们是否可以使用Spark-SQL或scala检查spark数据帧中的每一列是否都包含特定的字符串(例如"Y")？
我已经尝试了以下方法，但我认为它不能正常工作。
浏览 0提问于2017-09-09得票数 2
回答已采纳
我正在尝试使用scala中的withColumn向spark数据帧中添加一列，我正在尝试用try-catch编写这段代码，这样我就可以捕获异常并记录这些错误记录，然后继续剩余的记录。在spark-scala中有没有一种方法来处理withColumn中发生<em
浏览 2提问于2020-03-04得票数 0
我正在尝试获取列中的最大值，并编写了以下代码。val max = df.withColumn("max", lit(df.agg(max($"id")).as[Int].first))error: recursivetype我真的不明白这个错误
浏览 24提问于2020-03-03得票数 0
回答已采纳
我试图在spark scala中关联两列数据帧，方法是将原始数据帧的列通过管道传输到VectorAssembler中，然后是关联实用程序。由于某些原因，Vector汇编程序似乎生成了空向量，如下所示。这是我到目前为止所掌握的。at scala.sys.package$.error(package.scala:27)
at
浏览 17提问于2020-07-29得票数 0
3回答
我有两个Spark数据帧，之后我会加入并选择它们。我想选择其中一个数据帧的特定列。但是在另一个中存在相同的列名。因此，我得到了一个二义列的异常。
浏览 0提问于2017-12-28得票数 5
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。我想要一个与dataframe-1中的</
浏览 1提问于2021-02-12得票数 0
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我正在寻找一种整洁的方法来找到每一列的最大值，并收集在地图中作为{col name:max value of col}。下面是我在一个玩具示例中所取得的进展。在我的完整数据中有数百列，所以手动转换每一列是不可行的。scala> import spark.implicits._
scala&
浏览 49提问于2020-06-12得票数 0
回答已采纳
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？输入数据帧 name count_1 count_2Python null 20000R
浏览 23提问于2021-09-05得票数 1
回答已采纳
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false)
| |-- element: string (conta
浏览 30提问于2020-01-21得票数 3
我有一个数据帧，我想从其中提取最大值、最小值并计算其中的记录数。数据帧是：df: org.apache.spark.sql.Dataset[Long] = [id: bigint]scala> df.select(min("id"),
浏览 3提问于2017-06-19得票数 1
回答已采纳
我有两个数据帧：当我在外部连接中连接这两个数据帧之后，我得到了下面的数据帧。-+
为了避免在最终输出中出现重复<
浏览 0提问于2021-04-14得票数 0
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC")ABC|| 3| GHIJ|要求:列数和名称可以是任何值。我想在循环中读取行，以逐个获
浏览 6提问于2020-06-04得票数 0
回答已采纳
由于某些原因，即使当我指定postgres时，我也会得到一个relation already exists postgres错误。为什么我的代码不能像预期的那样覆盖数据库中的数据？而且里面也有数据。怎么了？这会不会是内存问题？会不会是queryTimeout？(commands.scala:68)
at org.apache.spark.sql.execution.command.ExecutedComman
浏览 2提问于2019-12-13得票数 1
3回答
我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。我使用的是Spark 1.6和Scala 2.10。
浏览 4提问于2018-04-10得票数 5
回答已采纳
我有一个基于spark的转换引擎，它是元数据驱动的。我在Scala MapString DataFrame中对内存中存储的多个数据帧执行一组转换。我遇到一种情况，我使用84种转换生成数据帧，包括(withColumn、Join、union等)。在这些之后，输出数据帧被用作另一组转换的输入。如果我在前84次转换后写入中间转换结果，
浏览 11提问于2020-06-27得票数 0
3回答
我使用的是Spark 2.1.0和Kafka 0.9.0。有没有人知道这样的事情是否可行？我用的是spark shell：
spark-shell --packages org.apac
浏览 3提问于2018-04-06得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
