转换RDD/DataFrame中的列
转换RDD/DataFrame中的列是指对数据集中的某一列进行操作或转换，可以改变列的数据类型、提取特定的信息、进行数值计算等。在云计算领域中，常用的工具和技术包括Apache Spark、Hadoop、Apache Hive等。
在Apache Spark中，可以使用Spark SQL来处理RDD/DataFrame中的列。Spark SQL提供了一套用于处理结构化数据的API，可以通过SQL语句或DataFrame的操作来进行列转换。
列转换的方法包括但不限于以下几种：
- 更改列的数据类型：可以使用cast函数将列的数据类型转换为其他类型，例如将字符串类型转换为整数类型。
- 提取特定的信息：可以使用split函数将字符串类型的列按照指定的分隔符进行拆分，然后提取其中的某一部分信息。
- 数值计算：可以使用数学函数对数值类型的列进行计算，例如求和、平均值、最大值、最小值等。
- 字符串处理：可以使用字符串函数对字符串类型的列进行处理，例如拼接、替换、截取等。
- 条件判断：可以使用when函数对列进行条件判断，根据不同的条件给出不同的值。
- 数据过滤：可以使用filter函数对列进行过滤，只保留符合条件的行。
- 列重命名：可以使用withColumnRenamed函数对列进行重命名，将列的名称修改为其他名称。
- 新增列：可以使用withColumn函数新增一列，根据已有的列进行计算得到新的列。
在腾讯云的产品中，与列转换相关的产品包括腾讯云的云数据仓库CDW、云数据库TDSQL、云数据湖CDL等。这些产品提供了丰富的功能和工具，可以方便地进行列转换和数据处理操作。
腾讯云云数据仓库CDW是一种基于Hadoop和Spark的大数据分析服务，可以实现高效的数据存储和分析。它提供了灵活的数据模型和强大的查询能力，可以对数据进行复杂的列转换和计算。
腾讯云云数据库TDSQL是一种高性能、高可用的云数据库服务，支持MySQL和PostgreSQL引擎。它提供了丰富的数据处理和转换功能，可以方便地对列进行转换和计算。
腾讯云云数据湖CDL是一种基于对象存储的数据湖服务，可以实现海量数据的存储和分析。它提供了强大的数据处理和转换能力，可以对列进行灵活的转换和计算。
更多关于腾讯云产品的详细介绍和使用方法，请参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
我正在尝试将数据转换为RDD。我的DataFrame有键入的列，如下所示：
df.printSchema
root
|-- _c0: integer (nullable = true)
|-- num_hits: integer (nullable = true)
|-- session_name: string (nullable = true)
|-- user_id: string (nullable = true)
当我使用df.rdd将其转换为rdd时，我得到了一个Array[org.apache.spark.sql.Row]类型的rdd，但是当我使用rdd(0)(0)、rd
浏览 2提问于2017-04-26得票数 2
回答已采纳
1回答
我正在尝试将值数组作为新列添加到DataFrame中。
例:假设有一个Array(4,5,10)和一个dataframe
+----------+-----+
| name | age |
+----------+-----+
| John | 32 |
| Elizabeth| 28 |
| Eric | 41 |
+----------+-----+
我的要求是将上面的数组作为新列添加到dataframe中。我的预期产出如下：
+----------+-----+------+
| name | age | rank |
+----------+---
浏览 6提问于2022-01-11得票数 1
回答已采纳
我试图将DataFrame转换为RDD，并根据DataFrame中的列数动态而优雅地将它们拆分为特定的列数。
也就是说，这是hive employee中表中的一个示例数据
Id Name Age State City
123 Bob 34 Texas Dallas
456 Stan 26 Florida Tampa
val temp_df = spark.sql("Select * from employee")
val temp2_rdd = temp_df.rdd.map(x => (x(0),x(1),x(2),x(3))
我希望根据表中的
浏览 1提问于2021-07-31得票数 2
我有一个包含许多列的spark.ml DataFrame，每列中的每一行都包含一个SparseVector。我想对每一列应用MultivariateStatisticalSummary.colStats，colStats签名是：
def colStats(X: RDD[Vector]): MultivariateStatisticalSummary
看起来很完美..。除了我似乎不能从该DataFrame中select一列并将其转换为RDD[Vector]。这是我的尝试：
val df: DataFrame = data.select(shardId)
val col = df.as[(org
浏览 0提问于2017-02-16得票数 0
如何在不转换为RDD的情况下更新Spark SQL DataFrame行/列值
为什么我们不能像RDD那样直接更新DataFrame并返回另一个。
浏览 1提问于2016-03-22得票数 0
1回答
我想把数据库中的org.apache.spark.sql.DataFrame 转换成 org.apache.spark.rdd.RDD[(String, String)] ，有人能帮上忙吗？
背景(更好的解决方案也是受欢迎的)：我有一个Kafka流，它(经过一些步骤)变成了一个2列数据框架。我想把它放到Redis缓存中，第一列作为键，第二列作为值。
更具体地说，输入的类型是：lastContacts: org.apache.spark.sql.DataFrame = [serialNumber: string, lastModified: bigint]。我试着按以下方式对Redis进行分析：
浏览 0提问于2019-03-25得票数 0
回答已采纳
我想仅使用rdd函数从csv文件中选择一列，而不使用spark中的dataframe。我已经为它写了代码。 其他一些列的值为空值。 rdd = spark.sparkContext.textFile(filename)
rdd_parc = rdd.map(lambda x: x.split(","))
rdd1 = rdd_parc.map(lambda x: x[6] != "") 但是这个解决方案似乎不会选择列6，而是选择映射的元素6。 示例数据： Lachine,H,0,,,,"SUMMERLEA, PARC",FR,2016,
浏览 28提问于2019-02-08得票数 0
回答已采纳
1回答
我想用两个RDD的列创建一个Dataframe，第一个是我从CSV获得的RDD，第二个是另一个RDD，它对每一行进行集群预测。
我的模式是：
customSchema = StructType([ \
StructField("Area", FloatType(), True), \
StructField("Perimeter", FloatType(), True), \
StructField("Compactness", FloatType(), True), \
StructField("Lenght", FloatTy
浏览 1提问于2017-05-21得票数 0
回答已采纳
我试图从原始的Dataframe "User_df“中获取每个列的列名和数据类型，到它们自己的列中，其中列的值分别是列名和数据类型。
我有88列和9500行。
当我尝试用一个列("ColumnDataTypes")创建一个Dataframe时，下面的代码是有效的，但当我试图为这两个列创建一个Dataframe时，代码就不起作用了：
col_types = User_df.dtypes
col_types2, col_types3 = [items[:] for items in zip(*col_types)]
rdd_col_names = sc.parallel
浏览 36提问于2022-08-16得票数 0
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：
I: type(TopicModelVectorSplit)
O: pyspark.sql.dataframe.DataFrame
当我使用以下命令分割字符串时：
TopicModelVectorSplit = TopicModelVector.select('TopicModelVector').map(lambda line: line.text.split())
它会转换成流水线的RDD，而这些是不可能使用的。
I: type(TopicModelVectorSplit)
O: p
浏览 0提问于2016-06-22得票数 0
1回答
在Spark1.6.0中，我有一个包含职务描述的列的数据框架，如：
Description
bartender
bartender
employee
taxi-driver
...
我使用以下方法从该列检索唯一值列表：
val jobs = people.select("Description").distinct().rdd.map(r => r(0).asInstanceOf[String]).repartition(4)
然后，对于每个职务描述，我尝试检索具有该职务的人员并做一些事情，但我得到了一个NullPointerException：
jobs.foreach
浏览 2提问于2016-02-21得票数 5
回答已采纳
我得到了以下dataframe (假设它已经是一个dataframe)：
val df = sc.parallelize(Seq((1, 2, 10), (3, 4, 11), (5, 6, 12)))
.toDF("a", "b", "c")
我希望将这些列(并非全部)组合到一个列中，并使其成为ArrayDouble的rdd。我所做的工作如下：
import org.apache.spark.ml.feature.VectorAssembler
val colSelected = List("a","
浏览 2提问于2016-09-22得票数 0
回答已采纳
1回答
我试图在没有任何模式的情况下将rdd转换为dataframe。我试过下面的代码。它运行得很好，但是dataframe列得到了洗牌的。
def f(x):
d = {}
for i in range(len(x)):
d[str(i)] = x[i]
return d
rdd = sc.textFile("test")
df = rdd.map(lambda x:x.split(",")).map(lambda x :Row(**f(x))).toDF()
df.show()
浏览 0提问于2018-03-16得票数 1
回答已采纳
我有一个SQLContext数据框架，它是由几个数字列组成的熊猫数据框架。我想使用pyspark.mllib.stats包进行多元统计分析。统计函数期望向量的RDD。我无法将此数据帧转换为向量的RDD。有办法转换数据帧吗？
代码：
rdd = sqlCtx.createDataFrame(df_new)
summary = Statistics.colStats(rdd)
我得到了df_new
df_new = df.applymap(lambda s: dic.get(s) if s in dic else s) #df is a pandas dataframe
我在总结行中得到一个
浏览 0提问于2015-07-01得票数 1
回答已采纳
我有textRDD: org.apache.spark.rdd.RDD[(String, String)]
我想把它转换成DataFrame。列对应于每页(行)的标题和内容。
浏览 0提问于2015-10-09得票数 1
1回答
我在获得有问题的文件名时使用。例如
recordDataFrame=originalDataFrame \
.withColumn('file_name',input_file_name())
将file_name列添加到dataFrame.The列中将添加到dataFrame中
recordDataFrame.take(1)
上面显示了具有值的列，但是当我将dataFrame转换为RDD或在RDD上循环时，file_name列没有任何值。
例如,
rdd_data=recordDataFrame.rdd
print(rdd_data.
浏览 3提问于2016-07-26得票数 1
回答已采纳
我正在从事Ipython和Spark的工作，我有一个RDD，我可以从中形成一个list。现在，通过这个list，我想形成一个dataframe，它有来自父list的多个列，但是这些列不是连续的。我写了这段代码，但它似乎工作不正常：
list1 = rdd.collect()
columns_num = [1,8,11,17,21,24]
df2 = [list[i] for i in columns_num]
上面的代码只从父list中选择了6行，只有第1列数据，并用这6列1数据构成了新的dataframe。
如何从另一个list中形成一个包含多个不相邻列的新dataframe
浏览 0提问于2015-11-29得票数 4
回答已采纳
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。
尤其是我不知道如何用“\”来连接每个列
这是scala版本
scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql.DataFrame = [name: string, num: int]
scala> stgDF.map(line => line.mkString("|")).take(2) //H
浏览 3提问于2017-10-30得票数 4
回答已采纳
4回答
我有一个包含10个字段的数据集。我需要在这些DataFrame上执行RDD操作。是否可以执行map、flatMap等RDD操作。
下面是我的示例代码：
df.select("COUNTY","VEHICLES").show();
这是我的dataframe，我需要将这个dataframe转换成RDD，并在这个新的RDD上操作一些RDD操作。
下面是我如何将dataframe转换为RDD的代码
RDD<Row> java = df.select("COUNTY","VEHICLES").rdd();
转换为RDD后，我
浏览 2提问于2016-12-14得票数 0
我有一个CSV文件，我想要读取到一个RDD或DataFrame中。这是目前为止的工作，但如果我收集数据，并将其转换成熊猫DataFrame来绘制表格是“畸形的”。
下面是我如何读取CSV文件：
NUMERIC_DATA_FILE = os.path.join(DATA_DIR, "train_numeric.csv")
numeric_rdd = sc.textFile(NUMERIC_DATA_FILE)
numeric_rdd = numeric_rdd.mapPartitions(lambda x: csv.reader(x, delimiter=",")
浏览 3提问于2016-10-12得票数 1
回答已采纳
我有以下代码:-
val kafkaStream = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics, StorageLevel.MEMORY_AND_DISK_SER)
val collection = kafkaStream.map(_._2).map(parser)
collection.foreachRDD(rdd =>
{
if (!rdd.partitions.isEmpty) {
浏览 0提问于2018-07-02得票数 0
回答已采纳
我希望将数据帧的字符串列转换为列表。我从Dataframe API中可以找到的是RDD，所以我尝试先将它转换回RDD，然后将toArray函数应用于RDD。在本例中，长度和SQL工作得很好。但是，我从RDD得到的结果在每个元素(比如这个[A00001] )周围都有方括号。我想知道是否有一种将列转换为列表的适当方法，还是删除方括号的方法。
如有任何建议，将不胜感激。谢谢!
浏览 18提问于2015-08-14得票数 109
回答已采纳
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。
myRdd = [[1, 'a', {'a':[1, 2]}],
[2, 'b', {'c': 1, 'd':3}],
[3, 'c', {}]]
columnNames = ['sl', 'name', 'params']
内部列表中的第三个元素没有特定的结构。在pandas数据帧中，我可以
浏览 1提问于2018-04-07得票数 1
我有一个带有值元组(String，SparseVector)的RDD，我希望使用RDD创建一个DataFrame。要获得一个(标签:字符串，特性:向量) DataFrame，这是大多数ml算法库所需的模式。我知道这是可以做到的，因为 DataFrame在给定DataFrame的功能列时会输出一个向量。
temp_df = sqlContext.createDataFrame(temp_rdd, StructType([
StructField("label", DoubleType(), False),
StructField("toke
浏览 4提问于2015-09-23得票数 13
回答已采纳
2回答
(Scala特有的问题。)
虽然Spark鼓励在可能的情况下使用DataFrame API，但如果DataFrame API不够，通常是选择回到RDD还是使用UDF。这两种选择之间是否存在内在的性能差异？
RDD和UDF相似，因为它们都不能从催化剂和钨的优化中获益。是否还有其他开销，如果存在，这两种方法之间是否有区别？
为了给出一个具体的例子，假设我有一个DataFrame，它包含一列具有自定义格式的文本数据(不适于regexp匹配)。我需要解析该列并添加一个新的向量列，该列包含结果标记。
浏览 2提问于2016-08-09得票数 9
在下面的方法中，我尝试对输入Iterable进行聚合操作，并输出不同的Iterable对。为此，我创建了一个RDD，定义了模式，然后从RDD创建了DataFrame。
//Create a Row RDD
val recordRDD = sc.makeRDD(tuples.toSeq).map(locTempRow)
//Create the Schema for the DataFrame
val schema = StructType(List(
StructField("lat", DoubleType, nullable = tru
浏览 1提问于2017-04-22得票数 1
回答已采纳
我是通过从RDD中的文本文件加载数据来创建PySpark的。现在，我想将这个RDD转换成一个dataframe，但是我不知道RDD中有多少列和列。我正在尝试使用createDataFrame()和语法，因为它是sqlDataFrame = sqlContext.createDataFrame(rdd, schema)。我试图了解如何创建schema，但大多数示例都显示了一个硬编码模式创建示例。现在，由于我不知道列是什么，所以如何将rdd转换为dataframe？到目前为止，我的代码如下：
from pyspark import SQLContext
sqlContext = SQLContex
浏览 9提问于2017-04-07得票数 2
1回答
我有两个大型数据格式，edge和vertex，我知道它们需要特殊类型的Vertex和Edge RDDs，但是我找到的每个教程都将Edge和Vertex RDDs指定为3到10个条目的数组。我需要他们直接转换从一个实质性的RDD。如何将dataframe/普通的RDD转换为正确的类型？
我遵循了这里的示例：，但是它列举了所有的关系，在我的用例中有很多关系。
edge df有3列(sourceID、destID、relationship)
vertex df有2列(ID、名称)
到目前为止，我已经尝试过：
val vertex: RDD[(VertexId, String)] =
浏览 1提问于2019-02-11得票数 2
我正在尝试使用map()执行列转换。然而，它不适用于以下一栏：-
from pyspark.sql import SparkSession
data = [('James','Smith','M',30),
('Anna','Rose','F',41),
('Robert','Williams','M',62)]
rdd = spark.sparkContext.parallelize(data)
columns = ["firstn
浏览 7提问于2022-07-14得票数 0
回答已采纳
1回答
熊猫到RDD
、、、、
我可以将Pandas DataFrame转换为RDD吗？
if isinstance(data2, pd.DataFrame):
print 'is Dataframe'
else:
print 'is NOT Dataframe'
是DataFrame
下面是尝试使用.rdd时的输出
dataRDD = data2.rdd
print dataRDD
AttributeError Traceback (most recent call last)
<ipython-input-56-7
浏览 7提问于2015-08-19得票数 12
您好，我需要将pyspark dataframe (或rdd)转换为字典，其中dataframe的列将是关键字，column_value_list将作为字典值。
name amt
a 10
b 20
a 30
b 40
c 50
我想要一本这样的字典：
new_dict = {'name':['a','b', 'a', 'b', 'c'], 'amt':[10,20,30,40,50]}
我该怎么做呢(避免在rdd上收集是更好的解决方案)。谢谢。
我也在
浏览 4提问于2017-04-28得票数 1
出于某种原因，我必须将RDD转换成dataframe，然后用dataframe做一些事情，但是我的接口是RDD，所以我必须将dataframe转换为RDD，当我使用df.rdd时，分区更改为1，所以我必须使用repartition和sortBy RDD，有更干净的解决方案吗?谢谢！这是我的尝试：
val rdd=sc.parallelize(List(1,3,2,4,5,6,7,8),4)
val partition=rdd.getNumPartitions
val sqlContext = new SQLContext(m_sparkCtx)
import s
浏览 1提问于2017-06-06得票数 0
回答已采纳
有人能引导我把PythonRDD转换成DataFrame吗。
根据我的理解，读取文件应该创建一个DF，但在我的例子中，它已经创建了一个PythonRDD。我发现很难将PythonRDD转换为DataFrame。找不到CreateDataFrame()或toDF()。
请找到我下面的代码来读取一个标签分开的文本文件：
rdd1 = sparkCxt.textFile(setting.REFRESH_HDFS_DIR + "/Refresh")
rdd2 = rdd1.map(lambda row: unicode(row).lower().strip()\
浏览 3提问于2016-07-12得票数 0
回答已采纳
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。
以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。
val rddToDF = rdd.map(value => Row(value))
但它却证明了这是
val rddStringToRowRDD = rdd.map(value => Row(value))
val dfschema = StructType(Array(StructField("val
浏览 0提问于2016-10-07得票数 6
回答已采纳
2回答
我有下面的RDD，很多都很像：
val csv = sc.parallelize(Array(
"col1, col2, col3",
"1, cat, dog",
"2, bird, bee"))
我想将RDD转换为dataframe，其中模式是基于RDD的第一行以动态/编程方式创建的。
我希望将逻辑应用于多个类似的RDDs，并且不能使用case类以编程方式指定模式，也不能从一开始就使用spark-csv将数据作为dataframe加载。
我已经创建了一个扁平化的dataframe，但是我想知道在创建dataframe时如何拆分相应
浏览 1提问于2019-11-19得票数 0
我们有一个用例，我们需要在avro数据集上进行一些列转换。到目前为止，我们一直在运行MR jobs，现在想要探索spark。我正在看一些教程，我不确定我们应该使用RDD还是Dataframe/Dataset。既然Dataframe是按列存储的，那么使用Dataframe是不是一个正确的选择，因为我所有的转换都是按列存储的？或者没有太大的区别，因为在内部一切都是基于RDDs的？
浏览 22提问于2020-05-11得票数 1
回答已采纳
1回答
如果我有一个具有大约500列和2亿行的RDD，并且RDD.columns.indexOf("target", 0)显示Int = 77，它告诉我我的目标因变量位于第77列。但是，对于如何选择想要的(部分)列作为特性，我没有足够的知识(假设我希望列从23到59,111到357,399到489)。我想知道我是否可以这样申请：
val data = rdd.map(col => new LabeledPoint(
col(77).toDouble, Vectors.dense(??.map(x => x.toDouble).toArray))
如有任何建议或指导，
浏览 2提问于2015-07-26得票数 5
回答已采纳
1回答
我正在使用Scala编写一个Apache应用程序。为了处理和存储数据，我使用DataFrames。我有一个很好的管道与特征提取和MultiLayerPerceptron分类器，使用ML。
我还想使用支持向量机(用于比较)。问题是(如果我弄错了，请纠正我)只有MLLib提供支持向量机。而且MLLib还没有准备好处理DataFrames，只有RDD。
因此，我想我可以使用DataFrames来维护我的应用程序的核心，并且使用支持向量机1)我只需要将DataFrame的列转换为一个RDD[LabeledPoint]，并且在分类之后，将SVMs预测作为一个新列添加到DataFrame中。
我处理的第一
浏览 2提问于2017-03-29得票数 3
在pyspark中给出一个RDD，我想创建一个新的RDD，它只包含它的前n项(副本)，如下所示： n=100 rdd2 = rdd1.limit(n) 除了RDD没有像DataFrame那样的方法limit()。 注意，我不想收集结果，结果必须仍然是RDD，因此我不能使用RDD.take()。 我使用的是pyspark 2.44。
浏览 19提问于2019-10-13得票数 0
回答已采纳
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。 示例： def read_file_and_process_with_pandas(filename):
data = pd.read(filename)
"""
some additional operations using pandas functionality
here the data is a pandas dataframe, and
浏览 31提问于2019-06-05得票数 0
回答已采纳
1回答
我有一个带有pandas.tslib.Timestamp类型时间戳列的熊猫数据。我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：
data = [r.tolist() for r in data.to_records(index=False)]
但是，时间戳类型在此过程中转换为一个longs列表：
> df = pd.DataFrame(pd.date_range(start=datetime.datetime.now(),periods=5,freq='s'))
> df
0 20
浏览 2提问于2017-07-25得票数 5
我有一个大约有80列的DataFrame，我需要将其中的12列放到一个集合中，无论是Array还是List都行。我做了一点谷歌，发现了这个：
dataFrame.select("YOUR_COLUMN_NAME").rdd.map(r => r(0)).collect()
问题是，这适用于一列。如果我做了df.select(col1,col2,col3...).rdd.map.collect()，那么它就给了我这样的东西：Array[[col1,col2,col3]]。
我想要的是Array[[col1],[col2],[col3]]。在星火里有什么办法吗？
提前谢谢。
浏览 4提问于2017-07-24得票数 0
回答已采纳
本例中星火sql中的列名来自case class Person。
case class Person(name: String, age: Int)
val people: RDD[Person] = ... // An RDD of case class objects, from the previous example.
// The RDD is implicitly converted to a SchemaRDD by createSchemaRDD, allowing it to be stored using Parquet.
people.saveAsParquetFil
浏览 4提问于2015-09-12得票数 10
回答已采纳
我以DataFrame array<string>的身份处理事务
transactions: org.apache.spark.sql.DataFrame = [collect_set(b): array<string>]
我想将其更改为RDD[Array[string]]，但是当我将其更改为RDD时，它被更改为org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
val sam: RDD[Array[String]] = transactions.rdd
<console>:42: error: type m
浏览 14提问于2017-01-11得票数 1
我使用DataFrame读取.parquet文件，但不是将它们转换为rdd来完成我想要对它们进行的正常处理。
所以我有我的档案：
val dataSplit = sqlContext.parquetFile("input.parquet")
val convRDD = dataSplit.rdd
val columnIndex = convRDD.flatMap(r => r.zipWithIndex)
即使当我从dataframe转换为RDD时，也会得到以下错误：
26:错误:值zipWithIndex不是org.apache.spark.sql.Row的成员
浏览 1提问于2015-07-21得票数 1
回答已采纳
我正在尝试将Spark RDD转换为DataFrame。我已经看到了将方案传递给sqlContext.CreateDataFrame(rdd,schema)函数的文档和示例。
但我有38列或字段，而且还会进一步增加。如果我手动给出指定每个字段信息的模式，这将是一项非常繁琐的工作。
是否有其他方法可以在不事先知道列的信息的情况下指定模式。
浏览 0提问于2016-09-26得票数 47
回答已采纳
1回答
我试图广播火花数据，尝试了几种方法，但无法广播它。我想循环所有列，以便从另一个数据帧(在SchemaWithHeader colName结果为1 )中进行某些处理。例如，-循环是列-名称、年龄和薪资所必需的。
方法1
(‘SchemaDFWithoutHeader’，1)，(‘年龄’，1)，(‘性别’，0)，(‘SchemaDFWithoutHeader’，1)，(“工资”，1) rdd =rdd.map SchemaWithHeader = rdd.map(lambda x: Row(ColName=x，Result=bool(X1)
降至误差以下
SchemaWith
浏览 2提问于2018-12-26得票数 0
1回答
我一直在尝试将RDDs转换为DataFrames格式，然后再转换回来。首先，我有一个类型为(Int，Int)的RDD，名为dataPair。然后，我使用以下命令创建了一个带有列标题的DataFrame对象：
val dataFrame = dataPair.toDF(header(0), header(1))
然后，我使用以下命令将其从DataFrame转换回RDD：
val testRDD = dataFrame.rdd
它返回org.apache.spark.sql.Row类型的RDD (不是(整数，整数))。然后我想用.toDF把它转换回RDD，但是我得到了一个错误：
error: va
浏览 1提问于2016-05-04得票数 11
回答已采纳
我在Spark中有一个包含许多列的dataframe和一个我定义的udf。我想要返回相同的数据帧，只是转换了一列。此外，我的udf接受一个字符串并返回一个时间戳。有什么简单的方法可以做到这一点吗？我试过了
val test = myDF.select("my_column").rdd.map(r => getTimestamp(r))
但是这将返回一个RDD，并且只返回转换后的列。
浏览 1提问于2016-05-05得票数 29
回答已采纳
如何实现时间戳数据从Spark Python到Pandas的往返转换？我从Spark中的Hive表中读取数据，希望在Pandas中进行一些计算，然后将结果写回Hive。只有最后一部分失败了，将Pandas时间戳转换回Spark DataFrame时间戳。
import datetime
import pandas as pd
dates = [
('today', '2017-03-03 11:30:00')
, ('tomorrow', '2017-03-04 08:00:00')
, ('next T
浏览 14提问于2017-03-04得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
