如何在Scala中从一个数组创建DataFrame？
在Scala中，可以使用Spark SQL库中的createDataFrame方法从一个数组创建DataFrame。下面是一个完整的示例代码：
import org.apache.spark.sql.{SparkSession, Row}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}
// 创建SparkSession
val spark = SparkSession.builder()
.appName("Create DataFrame from Array")
.master("local")
.getOrCreate()
// 定义数组
val data = Array(("Alice", 25), ("Bob", 30), ("Charlie", 35))
// 定义结构类型
val schema = StructType(Seq(
StructField("name", StringType, nullable = true),
StructField("age", IntegerType, nullable = true)
))
// 将数组转换为RDD[Row]
val rdd = spark.sparkContext.parallelize(data).map(row => Row(row._1, row._2))
// 创建DataFrame
val df = spark.createDataFrame(rdd, schema)
// 显示DataFrame内容
df.show()在上述代码中，首先创建了一个SparkSession对象，然后定义了一个包含姓名和年龄的数组。接下来，定义了一个结构类型，其中包含了两个字段的名称和类型。然后，将数组转换为RDD[Row]，并使用结构类型创建DataFrame。最后，使用show方法显示DataFrame的内容。
推荐的腾讯云相关产品：腾讯云的云计算产品中，可以使用TencentDB for TDSQL、TencentDB for PostgreSQL等数据库产品来存储和管理DataFrame数据。此外，可以使用Tencent Cloud Object Storage（COS）来存储和管理大规模的数据集。您可以访问腾讯云官方网站了解更多产品详情和使用指南。
腾讯云产品介绍链接地址：
相关·内容
1回答
我试图使用DataFrame/datasets为某个类类型编写一个parquet读/写类
类模式：
class A {
long count;
List<B> listOfValues;
}
class B {
String id;
long count;
}
代码：
String path = "some path";
List<A> entries = somerandomAentries();
JavaRDD<A> rdd = sc.parallelize(entries, 1);
DataFrame d
浏览 3提问于2016-10-14得票数 1
回答已采纳
从一个dataframe中，我想创建一个新的dataframe，其中任何列中至少有一个值为null或空，在Spark1.5/ scala中。
我正在尝试编写一个通用函数来创建这个新的dataframe。在这里，我传递数据文件和列列表，并创建记录。
谢谢
浏览 4提问于2017-07-25得票数 4
回答已采纳
1回答
我正在使用MongoDB连接器来读取具有嵌入式文档的集合。
JSON收藏: PersonaMetaData
{
"user_id" : NumberLong(2),
"persona_created" : true,
"persona_createdAt" : ISODate("2016-02-24T06:41:49.761Z"),
"persona" : [{"persona_type" : 1,
"created_using_alg
浏览 6提问于2016-03-14得票数 2
回答已采纳
这是在星火1.6.x。我在找个解决办法。
我有一个函数，它从一个DataFrame的底层RDD创建一个DataFrame：
def rddAndBack(sc: SparkContext, df: DataFrame) : DataFrame = {
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
sqlContext.createDataFrame(df.rdd, df.schema)
}
现在，我创建了几个数据帧并注册它们：
val df = sc.parallelize(Array(1, 2, 3)).to
浏览 3提问于2017-11-14得票数 1
回答已采纳
2回答
我有一个Spark (version 1.3.1)应用程序。在其中，我试图将一个Java bean RDD JavaRDD<Message>转换为Dataframe，它有许多不同数据类型的字段(整数、字符串、列表、地图、双数据)。
但是当我在执行我的代码的时候。
messages.foreachRDD(new Function2<JavaRDD<Message>,Time,Void>(){
@Override
public Void call(JavaRDD<Message> arg0, Time
浏览 6提问于2015-06-12得票数 0
回答已采纳
1回答
我有一个返回数据的UDF。就像下面的那个
scala> predict_churn(Vectors.dense(2.0,1.0,0.0,3.0,4.0,4.0,0.0,4.0,5.0,2.0))
res3: org.apache.spark.sql.DataFrame = [noprob: string, yesprob: string, pred: string]
scala> predict_churn(Vectors.dense(2.0,1.0,0.0,3.0,4.0,4.0,0.0,4.0,5.0,2.0)).show
+------------------+------
浏览 3提问于2016-12-20得票数 3
回答已采纳
1回答
Spark：2.3.0 Scala：2.11.12
我使用spark structure streaming从一个kafka主题中流式传输，并将结果输出到另一个kafka主题。
val mySchema = StructType(StructField("foo", StringType, true) :: Nil)
输入数据[{"foo":"bar"}]
当我使用select(from_json(col(A), mySchema))方法时，它会从数组内部解析对象，并将其放入我的模式中。
我正在尝试做的是，在过滤dataFrame转换的末尾，将m
浏览 1提问于2018-08-08得票数 1
回答已采纳
我一直在
java.lang.NoClassDefFoundError: org/apache/avro/mapred/AvroWrapper
当对一个show()对象调用DataFrame时。我正试图通过外壳(火花壳-主纱)来完成这个任务。我可以看到，shell在创建DataFrame对象时识别模式，但是如果我对数据执行任何操作，它总是在尝试实例化NoClassDefFoundError时抛出AvroWrapper。我尝试将avro-mapred-1.8.0.jar添加到集群的$HDFS_USER/lib目录中，甚至在启动shell时使用-jar选项将其包括在内。这两个选项都不起作用
浏览 1提问于2016-06-10得票数 1
回答已采纳
2回答
我正在尝试在Scala中创建一个DB管理工具，我希望能够从这个数据库绘制到数组中，数组的大小可以根据传递给它们的数据而变化。我知道如何在C、PHP、VB等语言中做到这一点，但似乎不能理解Scala的语法。
我相信这应该是一个简单的问题，所以任何帮助都将不胜感激
浏览 4提问于2011-11-08得票数 3
回答已采纳
我使用以下命令创建了一个空的Seq() scala> var x = Seq[DataFrame]()
x: Seq[org.apache.spark.sql.DataFrame] = List() 我有一个名为createSamplesForOneDay()的函数，它返回一个DataFrame，我想将它添加到这个Seq() x中。 val temp = createSamplesForOneDay(some_inputs) // this returns a Spark DF
x = x + temp // this throws an error 我得到下面的错误- scala&
浏览 57提问于2019-07-02得票数 0
回答已采纳
我需要在其中一列中保存包含org.apache.spark.mllib.linalg.Vector的dataframe。在cassandra中从dataframe创建表时，抛出错误。
java.lang.Exception: Cassandra Writer Failed. java.lang.IllegalArgumentException: Unsupported type: org.apache.spark.mllib.linalg.VectorUDT@f71b0bce
at com.datastax.spark.connector.types.ColumnType$.u
浏览 28提问于2016-08-09得票数 3
1回答
我已经寻找了一段时间，看是否有任何方法可以在Pyspark中使用Scala函数，但我还没有找到关于这个主题的任何文档或指南。
我的目标是使用之前人们定义的scala函数appendPrvlngFields隐式函数。然后我想在python环境中使用这个函数，而不是重新定义它，而是通过一些类型的方式，比如注册scala函数
假设我在Scala中创建了一个使用用户定义的库的简单对象，如下所示：
%scala
package com.Example
import org.library.DataFrameImplicits._
import org.apache.spark.sql.DataFram
浏览 0提问于2020-12-24得票数 0
3回答
给定具有不同大小的整数数组列的数据文件：
scala> sampleDf.show()
+------------+
| arrays|
+------------+
|[15, 16, 17]|
|[15, 16, 17]|
| [14]|
| [11]|
| [11]|
+------------+
scala> sampleDf.printSchema()
root
|-- arrays: array (nullable = true)
| |-- element: integer (containsNull =
浏览 0提问于2018-05-22得票数 3
回答已采纳
我在齐柏林的Python段落中创建了一个星星之火DataFrame。
sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)
df是一只熊猫
print(type(df))
<class 'pandas.core.frame.DataFrame'>
我想要做的是将spDf从一个Python段落移到另一个Scala段落。使用z.put似乎是一种合理的方法。
z.put("spDf", spDf)
我得到了一个错误：
AttributeError: 'DataFrame' obj
浏览 3提问于2016-05-16得票数 8
回答已采纳
我正试图在我的scala代码库中集成scala。特别是，我想训练一个随机森林分类器。在中，它被写成：
大多数微笑算法都以简单的double[]作为输入。因此，只要样本位于双数组中，就可以使用您喜欢的方法或库导入数据。
但是RandomForest似乎不是这样的，所有的似乎都以公式和Dataframe作为输入。在我的例子中，我有两个Array[ArrayDouble]，包含两个不同类的示例:例如，第一个类应该标记为0，第二个类应该标记为1。第一个数组具有形状(n_samples_0，n_features)，第二个数组具有形状(n_samples_1，n_features)。
据我所知，对
浏览 4提问于2020-10-16得票数 1
回答已采纳
1回答
我是新来的火花。我正在尝试开发一个应用程序，使用Spark1.6将json数据保存到一个Hive表中。这是我的代码：
val rdd = sc.parallelize(Seq(arr.toString)) //arr is the Json array
val dataframe = hiveContext.read.json(rdd)
dataframe.registerTempTable("RiskRecon_tmp")
hiveContext.sql("DROP TABLE IF EXISTS RiskRecon_TOES")
hiveConte
浏览 7提问于2017-07-12得票数 0
回答已采纳
HI编码器，我又回来了。我正在尝试使用scala代码中的hive上下文从一个dataframe创建一个HIve表，我可以在sqlContext中这样做，但是当涉及到HiveContext时，它会抛出这个错误
[error] /home/mapr/avroProject/src/main/scala/AvroConsumer.scala:75: object HiveContext in package hive cannot be accessed in package org.apa che.spa
浏览 2提问于2016-12-21得票数 0
2回答
我有一个StructType如下所示：
to_Schema = StructType([StructField('name', StringType(), True),
StructField('sales', IntegerType(), True)])
dataframe_1的两个字段都是StringType。所以我创建了上面的StructType，这样我就可以用它来键入dataframe_1中的字段。
我可以在Scala中这样做：
val df2 = dataframe_1.selectExpr(to_Schema.map(
co
浏览 6提问于2022-08-06得票数 1
1回答
在这个中，我询问了如何分割一个巨大的数据以创建一个语料库。多亏了这个答案，我才能从一个dataframe中创建一个列表。我的问题仍然是从我创建的列表中获取一个语料库，以便进行文本挖掘，并根据搜索项对数据进行聚类。
浏览 2提问于2015-12-03得票数 4
回答已采纳
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。AFAIK调用像count这样的操作并不能确保所有的Columns都是实际计算的，show可能只计算所有Rows的一个子集(参见下面的示例) 我的解决方案是使用df.write.saveAsTable将DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。 那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3.nabble.com/Will-
浏览 62提问于2017-03-10得票数 20
回答已采纳
1回答
我正在一个ETL中使用scala创建一个进程，它检查在ETL过程中发生的一些事件。我从一个空的dataframe开始，如果事件发生，这个dataframe会被信息填充(一个dataframe不能被填充，它只能与具有相同结构的其他dataframe连接)。问题是，在进程结束时，已经生成的dataframe被加载到一个表中，但是可能会发生这样的情况:由于没有发生任何事件，所以dataframe最终是空的，而且我不想加载一个没有意义的数据文件。因此，我想知道是否有一种优雅的方法，只有在不使用if条件的情况下，才能将数据文件加载到表中。谢谢！！
浏览 3提问于2022-06-21得票数 1
回答已采纳
除了下面使用Scala的示例之外，我没有找到任何用于将矩阵转换为spark dataframe的pyspark代码。有人知道如何使用python吗？ How to convert a mllib matrix to a spark dataframe?
浏览 61提问于2019-01-09得票数 1
回答已采纳
3回答
输入数据可能并不总是所有的列。在SQL或SCALA中，我希望创建一个select语句，即使dataframe没有列，它也不会出错，它只会输出存在的列。
例如，这个语句可以工作。
Select store, prod, distance from table
+-----+------+--------+
|store|prod |distance|
+-----+------+--------+
|51 |42 |2 |
|51 |42 |5 |
|89 |44 |9 |
如果dataframe如下所示，我希望相同的语句工作，只需忽略不
浏览 0提问于2019-03-18得票数 2
回答已采纳
2回答
如何在Scala中创建时间戳序列
、、、、
正如问题所述，我的目标是在Scala中(在星火应用程序上)创建一组时间戳序列，按时间隔从某个时间戳定义到另一个时间戳，然后将该序列转换为DataFrame。例如，使用以下两个时间戳
val start_ts = "2019-11-20 00:00:00"
val end_ts = "2019-11-25 23:00:00"
我想获得一个输出DataFrame为一列(Date)，其中包含从start_ts到end_ts的所有小时，即
Date
2019-11-20 00:00:00
2019-11-20 01:00:00
2019-11-20 02:00:00
.
浏览 3提问于2020-02-06得票数 2
回答已采纳
我通过这个文件树从一个项目创建了一个jar包：
build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala
其中，Tester是一个函数的类(名称是print())，main有一个要运行的对象，它打印"Hi!“(来自spark文档) sbt成功创建了一个jar文件，并且在spark-submit中工作良好
现在我想把它添加到spark-shell中，并使用Tester类作为一个类来创建对象和...我将jar文件添加到spark-default.conf中，但是：
scal
浏览 12提问于2016-10-26得票数 36
回答已采纳
我的Databricks笔记本使用的是Python。notebook中的一些代码是用Scala编写的(使用%scala)，其中之一是用于创建数据帧。
如果我再次使用Python/PySpark (默认模式)，我如何使用/访问这个在scala模式下创建的dataframe？
这有可能吗？
谢谢
浏览 14提问于2019-11-17得票数 1
回答已采纳
我使用DataFrame来处理spark中的数据。我在这个数据帧中有一个数组列。在我要做的所有转换的最后，我得到了一个包含一个数组列和一行的dataframe。为了应用groupby、map和reduce，我想把这个数组作为一个列表，但我做不到。 .drop("ScoresArray")
.filter($"min_score" < 0.2)
.select("WordsArray")
浏览 33提问于2021-04-11得票数 0
我没有Scala经验，但我需要从一个Scala源文件创建一个JAR，以包含在项目的类路径中。
我认为有一个相对简单的方法可以做到这一点，但我似乎想不出答案。
Scala文件在这里：
JAR不需要是可执行的，它只需要能够从另一个程序中引用。
浏览 2提问于2014-11-21得票数 1
回答已采纳
我是Spark和Scala的新手。我试图调用一个函数作为Spark UDF，但我遇到了这个错误，我似乎无法解决。
我知道在Scala中，Array和Seq是不同的。WrappedArray是Seq的一个子类型，并且在WrappedArray和数组之间存在隐式转换，但我不确定为什么在使用自定义函数的情况下不会发生这种转换。
任何能帮助我理解和解决这个问题的建议都是非常感谢的。
这是一段代码片段
def filterMapKeysWithSet(m: Map[Int, Int], a: Array[Int]): Map[Int, Int] = {
val seqToArray = a.toArra
浏览 0提问于2016-10-23得票数 23
回答已采纳
2回答
使用PySpark 1.6.3，我试图将RDD转换为Dataframe。这是在齐柏林飞艇笔记本上运行的测试代码。感兴趣的是rdd_ret。
>>> from pyspark.sql import Row
>>> rdd_ret.count()
9301
>>> rddofrows = rdd_ret.map(lambda x: Row(**x))
>>> things = rddofrows.take(10000)
>>> len(things)
9301
>>> [type(x) fo
浏览 0提问于2018-06-21得票数 2
scala文档显示，创建scala脚本的方式如下所示：
#!/bin/sh
exec scala "$0" "$@"
!#
/* Script here */
我知道它使用脚本文件的名称和传递给它的参数来执行scala，而且scala命令显然知道读取一个像这样开始的文件，并且忽略所有到反转的shebang !#的所有内容。
我的问题是:对于scala脚本，我是否应该使用这种(相当冗长)的格式，而不仅仅是：
#!/bin/env scala
/* Script here */
据我所知，从一个快速测试中可以看出，这做了完全相同的事情，但不那么冗长。
浏览 5提问于2015-05-01得票数 10
回答已采纳
我使用的是火花-核心，火花-sql，Spark 2.10(1.6.1)，scala-反射2.11.2。我试图过滤通过蜂巢上下文创建的数据.
df = hiveCtx.createDataFrame(someRDDRow,
someDF.schema());
我试图筛选的专栏中有一个包含多个单引号。我的过滤器查询将类似于
df = df.filter("not (someOtherColumn= 'someOtherValue' and comment= 'That's Dany's Reply'&#
浏览 0提问于2018-07-17得票数 2
我正在尝试为scala中的两个表创建一个dataframe，并在尝试运行时获取syntax error。对scala非常陌生。
import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.sql.functions._
object testfunction extends App {
val session = SparkSession.builder().master("local").getOrCreate()
import session.implicits._
va
浏览 6提问于2017-06-29得票数 0
1回答
在scala中，有一种方法可以在执行程序中创建本地数据，比如在中的熊猫。在map分区方法中，我希望将迭代器转换为本地dataframe (就像python中的大熊猫dataframe )，这样就可以使用dataframe特性而不是在迭代器上手工编写它们。
浏览 2提问于2018-02-09得票数 2
回答已采纳
我需要从一个dataframe中选择几个列(动态的)来创建一个id (可能使用sha256)。
我不知道如何选择几个列，将其转换为列Name和Value的映射以发送到函数。
下面是不起作用的代码
import org.apache.spark.sql._
val df = Seq(
("Java", "20000", "Compiled"),
("Python", "100000", "Interpreted"),
("Scala", "3000&
浏览 4提问于2022-01-22得票数 1
回答已采纳
我有一个spark scala dataframe，它有列"Name“，我已经将该列的值提取到scala arraystring中 org_name: Array[String] = Array(SARATOGA SENIOR HIGH SCHOOL) 我想用_替换空格，并将该值编码为utf-8 (只要用其他字符替换特殊字符，任何编码都可以)，因此如果有任何特殊字符，这些字符将被删除。稍后，我想在文件路径中使用它们。 var org_name = orgsFlatDF.rdd.collect
.map( _.getString(2)) 这就是我提取这些字符的方法^^。我还没有找到任何
浏览 21提问于2020-07-15得票数 0
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。
我使用空字符串而不是NULL来避免异常和新列获取字符串数据类型。
是否有更好的方法使用spark在hive表中插入空值？
2017-12-26 07:27:59 ERROR StandardImsLogger$:177 - org.apache.hadoop.hive.ql.metadata.HiveException: jav
浏览 3提问于2017-12-27得票数 0
回答已采纳
我正在尝试将json读入数据帧，然后再读入数据集。我正面临着下面的问题。谁能快点帮帮我。
已成功创建PrintDF数据帧，下面是架构。
scala> personDF.printSchema();
root
|-- personDF: struct (nullable = true)
| |-- city: string (nullable = true)
| |-- line1: string (nullable = true)
| |-- postalCode: string (nullable = true)
| |-- state: string (nul
浏览 0提问于2016-10-08得票数 0
已解决: prop.setProperty("driver"，"oracle.jdbc.driver.OracleDriver")必须将此行添加到连接属性中。
我正试着在当地找份火种工作。我用maven创建了一个带有依赖项的jar。
这是我的pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org
浏览 122提问于2016-07-08得票数 4
回答已采纳
我有一个包含日期时间列的csv文件："2011-05-02T04:52:09+00:00“。
我使用scala，文件被加载到spark DataFrame中，我可以使用jodas时间来解析日期：
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val df = new SQLContext(sc).load("com.databricks.spark.csv", Map("path" -> "data.csv", "header" -
浏览 0提问于2015-04-28得票数 3
回答已采纳
假设我有以下DataFrame：
scala> val dataset = Seq((0, "hello"), (0, "world"), (0, "hello"), (1, "foo"), (1, "bar")).toDF("id", "text")
dataset: org.apache.spark.sql.DataFrame = [id: int, text: string]
scala> dataset.show()
+---+-----+
| id| text
浏览 1提问于2017-04-12得票数 0
回答已采纳
我有一个json字符串：
{"user_rating": {"rating_text": "Excellent", "rating_color": "3F7E00", "votes": "778", "aggregate_rating": "4.5"}}
我希望用DataFrame列创建一个DataFrame，如下所示：
rating_text | rating_color | votes | aggregate_rating
当我将其编码为：
val
浏览 5提问于2020-01-19得票数 2
回答已采纳
我试图将json文件添加到JSON文件中，以便访问JSONSerDe数据，将JSON从spark作业加载到hive表中。我的代码如下所示：
SparkConf sparkConf = new SparkConf().setAppName("KafkaStreamToHbase");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
JavaStreamingContext jssc = new JavaStreamingContext(sc, Durations.seconds(10)
浏览 4提问于2016-06-14得票数 2
你好。你好吗？我是一名Python开发人员，正在尝试学习Spark Scala。我的任务是创建日期范围框，并计算每个框(直方图)中出现的频率。
我的输入数据帧如下所示
我的bin边是这样的(在Python中)：
bins = ["01-01-1990 - 12-31-1999","01-01-2000 - 12-31-2009"]
我要查找的输出dataframe是(每个bin的原始dataframe中有多少个值的计数)：
有没有人可以指导我怎么做是spark scala？我有点迷路了。谢谢。
浏览 2提问于2020-09-02得票数 0
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。我将配置单元仓库参数指向本地磁盘位置：
sql.sql(s"SET hive.metastore.warehouse.dir=file:///home/myusername/hive/warehouse")
默认情况下，应启用metastore的嵌入式模式，因此不需要外部数据库。
但是HiveContext似乎忽略了这个配置:因为我在调用saveAsTable()时仍然会遇到这个错误：
MetaException(message:file:/user/hive/wa
浏览 4提问于2015-05-29得票数 8
3回答
我已经在IDEA中安装了scala插件，设置了scala SDK并创建了一个scala module.But我只能找到“编译”和“运行Scala控制台”option.How我能像java一样运行scala类吗？
浏览 3提问于2016-08-08得票数 2
回答已采纳
1回答
我正在从一个Parquet数据源实现一些Spark结构的流转换。为了将数据读入流DataFrame，必须指定模式(不能自动推断)。模式确实很复杂，手动编写模式代码将是一项非常复杂的任务。
你能推荐走走吗？目前，我正在预先创建一个批处理DataFrame (使用相同的数据源)，Spark推断模式，然后将模式保存到Scala对象，并将其用作结构化流媒体阅读器的输入。
我不认为这是一个可靠或性能良好的解决方案。请建议如何自动生成模式代码，或者以某种方式将模式保存在文件中并重用它。
浏览 3提问于2020-11-12得票数 0
因此，我执行必要的进口等
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.types._
import spark.implicits._
然后定义一些latlong点
val london = (1.0, 1.0)
val suburbia = (2.0, 2.0)
val southampton = (3.0, 3.0)
val york = (4.0, 4.0)
然后，我创建了一个这样的星火Dataframe，并检查它是否工作：
val exampleDF = Seq((List(lond
浏览 3提问于2021-02-15得票数 3
回答已采纳
我正在尝试在C# Spark中实现向量自定义函数。 我已经通过Spark .Net创建了.Net Spark环境。在我的IntegerType专栏中，Vector Udf (Apache箭头和Microsoft.Data.Analysis都是)很好用。现在，尝试将Integer数组类型的列发送到Vector Udf，但找不到实现此目的的方法。 用法 using System;
using System.Linq;
using Microsoft.Data.Analysis;
using Microsoft.Spark.Sql;
using func = Microsoft.Spark.Sql
浏览 17提问于2021-03-25得票数 6
我试图以名称引用dataFrame中的一个列，在shell中，我可以使用$，这在编译代码时是未知的。
以下是一个例子：
val df:DataFrame= Seq(
("Alex", "04/01/1992"),
("Sarah","01/01/2000"),
("David","01/01/2005")
).toDf("name","Birthdate").to_date($"Birthday")
在本例中，我创建了一个data
浏览 8提问于2020-03-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
