Union 2数据帧按条件

文章/答案/技术大牛

发布

1回答

python-3.x、pandas、dataframe

df中的First： Date X1 X2 X305.02.2019 2 2 506.02.2019 1 1 208.02.2019 2 2 2 0

浏览 9提问于2019-05-26得票数 1

回答已采纳

2回答

Spark scala将数据框列复制到新的数据框

scala、apache-spark

浏览 5提问于2017-10-03得票数 0

1回答

通过Pandas对重复项进行分组并组合字符串列

python、pandas、group-by

假设我有以下名为example的熊猫数据帧Orlando fl 2 LegacyColonial Colonial 像elem_name

浏览 8提问于2018-02-23得票数 1

2回答

Union-所有postgresql选择子句保持顺序

postgresql、large-data、olap

(<QUERY 1-2-1> UNION ALL <QUERY 1-2-2>) UNION ALL (<QUERY 1-2-3> UNION ALL <QUERY 1-2-4>) UNION-2-1> UNION ALL <QUERY 2-2-2>) UNION<

浏览 9提问于2022-04-25得票数 2

回答已采纳

2回答

R中的Rbind和merge

r、list、dataframe、merge、rbind

所以我有一个很大的数据帧列表，其中一些有匹配的列，而另一些没有。我希望重新绑定具有匹配列的变量，并合并其他没有匹配列的变量(基于变量Year、Country)。但是，我不想手动遍历所有数据帧来查看哪些有匹配的列，哪些没有匹配的列。为了说明，请考虑6个数据帧：

浏览 11提问于2016-07-15得票数 1

3回答

2个以上的熊猫数据帧中的联合

python、join、pandas、merge、concat

sql语句如下：unionunion union现在我在4个数据帧df1, df2, df3, df4中有了这些表，我想联合4个pandas数据帧，它们将匹配与sql query相同的结果。我搞不懂应该用什么操作来等同于sql union</em

浏览 1提问于2016-01-08得票数 18

1回答

spark structured streaming批量数据刷新问题(partition by子句)

apache-spark、apache-spark-sql、spark-structured-streaming

我在连接spark结构化流数据帧和批数据帧时遇到了一个问题，在我的场景中，我有一个S3流，它需要与历史数据进行左反连接，它返回历史中不存在的记录(计算出新的记录)，并将这些记录作为新的追加写入历史(按列分区磁盘数据分区而不是内存当我刷新已分区的历史数据框架时，我的历史数据框架不会更新。下面是两个代码片段，一个可以工作，另一个不能工作。工作代码和非工作代码之间唯一的区别是partition_by子句。) .withCol

浏览 14提问于2021-04-02得票数 0

回答已采纳

1回答

根据现有数据框中的条件创建新的spark数据框

pyspark

我想根据一个条件从现有的数据帧创建一个新的数据帧。df1=> id1 id2 31 0

浏览 12提问于2020-09-20得票数 0

回答已采纳

1回答

如何在Scala中合并三个DataFrame

scala、apache-spark、dataframe、merge

| Model|Name|ID || 1 |wdasd |xyzd|111|| 1 |bdp |2gfs|113|DataFrame2：|type| Model|Name|ID || 2 |wdasd |xyzd|221|| <

浏览 1提问于2018-03-15得票数 3

回答已采纳

2回答

将数据追加到空数据帧

apache-spark、apache-kafka、apache-spark-sql、spark-streaming

我正在创建一个空的数据帧，然后尝试将另一个数据帧附加到该数据帧中。实际上，我希望根据RDDs的数量动态地将许多数据帧附加到最初为空的数据帧中。val df3=df1.union(df2) 但我想继续附加到我创建的初始数据帧(空)，因为我想将所有RDDs存储在一个数据帧中。然而，下面的代码没有显示正确的计数。看起

浏览 1提问于2018-05-03得票数 3

3回答

在数据帧连接时保留分类数据类型

python、pandas、dataframe

我有两个数据帧，它们具有相同的列名和数据类型，如下所示：B category每个数据帧中的类别并不相同但是，我希望保持分类，并希望联合类别，因此我尝试了跨数据帧中的列的union_categoricals，这两列都是分类的。cdf和df是我的两个数据帧。].dtype.name == "cat

浏览 48提问于2017-08-12得票数 17

回答已采纳

1回答

使用Spark在聚合期间创建树路径

scala、apache-spark

我正在使用spark聚合我的数据。假设我有一张表：| id | value | country || 0 | 2 | us|| 2 | 1 | ca || 4 | 8 | ca|我想按国家/地区对数据

浏览 1提问于2018-02-27得票数 0

0回答

Pandas创建完美的面板数据，根据条件追加空行

python、pandas、panel-data

我正在寻找一种方法，如果满足两个条件，就可以将空行追加到数据帧中。条件是，如果在特定年份找不到索引ID，代码将添加一个具有索引ID和年份的空行，但其他列为空。最终目的是创建一个完美的面板数据集，其中每个观察值表示7次(基于年份)，尽管可能存在来自某些观察值的数据，例如1次或3次(这不是恒定的，而是随时间变化的)。除了索引'ID‘和year之外，这些缺失的数据行将为空。123 2013123 2015 123

浏览 0提问于2018-07-13得票数 1

回答已采纳

2回答

在SQL server中联合所有表的Order

sql、sql-server、sql-server-2008

我有两个表TABLE_A和TABLE_B，我在SQL server 2008中使用Union All获取Order By记录。SELECT * ( UNION ALL ORDER BY sortby 但上面的问题是，Order By只包含来自Table_A的数据，而Table_B没有使用Order By，我想按条件<

浏览 4提问于2014-11-07得票数 0

回答已采纳

1回答

正在将pyspark数据帧写入文本文件

apache-spark、pyspark

我有一个从sql server中的一个表创建的pyspark数据框架，我对它做了一些转换，现在我要将它转换为动态数据框架，以便能够将其保存为s3存储桶中的文本文件。当我将数据帧写入文本文件时，我将向该文件添加另一个头文件。这是我的动态数据框，将保存为文件： 2021_02_12| MT.1002

浏览 0提问于2021-04-23得票数 0

1回答

合并地图的所有值，其中每个值都是一个数据帧

scala、dataframe、scala-collections

scala.collection.immutable.Map[String,org.apache.spark.sql.DataFrame] = Map(Key_A -> [value_col1: string, value_col2:string ... 1 more field], Key_B -> [value_col1: string, value_col2: string ... 1 more field]) 我不关心这里的钥匙我想要一个数据帧，它结合了所有的值，看起来像这样。value_col1

浏览 12提问于2019-05-25得票数 1

回答已采纳

2回答

按两列对数据框排序(带条件)

r、sorting、dataframe、conditional-statements

我在R中有以下数据帧：3 Thomas 18 35 Rodger 16 2现在，ill将按</e

浏览 0提问于2015-10-01得票数 6

回答已采纳

1回答

如何在PySpark中合并两个数据帧，其中输出数据帧具有来自每个输入数据帧的交替行？

dataframe、apache-spark、pyspark

我有两个如下的输入数据帧： ABC DEF GHISMT YUH SGRARE YOU FINE('SWI', 'FYG', 'LKU')] df1 = spark.createDataFrame(data1, ["A", "B", "C"]

浏览 14提问于2021-07-23得票数 0

1回答

为什么我的代码得到了不同的结果？

, "Cards") Even_Value <- subset(Deck, Value %% 2== 0, "Cards") Even_Value<

浏览 1提问于2021-10-25得票数 0

回答已采纳

1回答

从数据帧列表生成单个DataFrame

list、pyspark、apache-spark-sql、jupyter-notebook、pyspark-dataframes

我有一个数据帧列表，在列表的每个位置上，我有一个数据帧，我需要将所有这些数据帧合并到一个数据帧中。Row df = spa

浏览 12提问于2021-01-28得票数 0

点击加载更多