我有两个数据帧。%1有超过20列，其他只有id列。我知道，如果数据帧模式完全相同，那么我们可以使用df1.subtract(df2)。 我需要存在于df1中但不存在于df2中的数据。两个帧都具有共同的id字段。我尝试了df1.select('id').subtract(df2.select('id')).collect()，但它只返回id列作为输出。我想要df
浏览 16提问于2020-07-02得票数 1
回答已采纳
1回答
我目前正在做一项数据迁移任务，试图使用pyspark比较来自两个不同数据库的两个数据帧，找出两个数据帧之间的差异，并将结果记录在csv文件中，作为数据验证的一部分。我正在尝试一个性能高效的解决方案，因为有两个原因。大型数据帧</em
浏览 11提问于2018-01-31得票数 1
回答已采纳
我想计算两个数据帧中的列之间的差异。数据帧具有不同的总列数，并且数据帧之间的列名具有相似的模式。我想计算命名相似的列之间的差异。w_H_11_BA w_H_16_BA w_13_12_BA
8 1 1
浏览 12提问于2019-08-21得票数 0
回答已采纳
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.set("
浏览 11提问于2021-11-19得票数 0
3回答
我正在尝试对两个数据帧中的每一行应用pyspark sql函数散列算法，以确定差异。哈希算法是区分大小写的.i.e。如果列包含'APPLE‘和'Apple’被认为是两个不同的值，所以我想将两个数据帧的大小写都改为上或下。
浏览 41提问于2018-02-01得票数 6
回答已采纳
我想将多个PySpark数据帧合并到一个PySpark数据帧中。它们都来自相同的模式，但是它们可能会有所不同，因为有时会缺少一些列(例如，模式通常包含200个具有已定义数据类型的列，其中dataFrame A有120列，dataFrame B有60列)。是否有可能在不写入和读取所有数据帧的情况下再次使用mergeSchema合并
浏览 2提问于2020-06-22得票数 0
我正在尝试通过SparkNLP对文本数据进行主题建模和情感分析。我已经对数据集执行了所有预处理步骤，但在LDA中遇到错误。Error 程序是： from pyspark.ml import Pipelinefrom pyspark.sql.types import Integ
浏览 187提问于2021-04-22得票数 1
回答已采纳
1回答
我有一个有重复ids的pyspark数据帧。某些记录中存在缺失值，重复ids之间的"Time“字段存在差异。如果有不同的“时间”值，我怎么才能选择最近的一个呢？理想的数据帧如下所示：
+-------------+------------------------+-------------------------+--------------------
浏览 1提问于2020-08-10得票数 0
1回答
假设我们有一个嵌套的PySpark dataframe df，其模式如下： |-- a1: string (nullable = true) | | |-- dt_indicator: boolean (nullable = true)
假设我们有一个过程，在两个扁平的数据帧df1和df2中用以下模式将嵌套
浏览 4提问于2021-12-12得票数 0
回答已采纳
Apache是一个数据访问框架，它为发现、探索和查询不同类型的数据源提供了一个公共接口。Apache Drill是一个无模式的SQL查询引擎，它通过消除在分析数据之前构建和维护模式的限制来提供实时洞察。任何了解这两个项目之间关键差异的人都会感到困惑，因为这两个项目都提供类似SQL的接口来查询数据存储
请想一想。
浏览 21提问于2017-02-12得票数 3
如果我们对group by，merge，for两个数据帧使用普通的python操作，而不是显式地使用map，reducebykey，groupbykey等，是否存在性能差异？前者(正常操作)是简单的顺序处理，而后者是并行处理吗？
这是否意味着要激活并行处理，我们必须显式使用RDDs？正常的数据帧使用不是并行处理(尽管是在pyspark中完成的)？
浏览 1提问于2021-10-26得票数 0
我正在处理两个pyspark数据帧，并对它们进行左反联接，以跟踪日常更改，然后发送电子邮件。Table_b, how='left_anti'预期输出是包含一些数据或不包含任何数据的pyspark数据帧。这个比较数据帧从
浏览 0提问于2019-06-22得票数 3
我试图返回两个数据帧之间的差异，但仅在某些列中。df1：df2：我写了下面的内容来过滤差异然后它又回来了但是我想返回仅在colA和colB上不同的行，而不是只过滤完全相同的行，这样
浏览 8提问于2020-02-26得票数 1
回答已采纳
首先，我有两个数据帧，我使用公共列删除列的后缀来组合具有相同列但不同后缀的数据帧。现在，我必须计算R中数据帧中具有相同列名的每两列之间的差异 function(y) if ( all(is.na(y
浏览 2提问于2019-05-02得票数 0
1回答
我有两个几乎相同的Pyspark数据帧:相同的行数和row_id，相同的模式，但每行的某些列上的值不同。 我想确定每一行的列是什么。示例： 数据帧A id fname lname email2 Roger Moore rm@rocketmail.com3
浏览 22提问于2020-03-23得票数 1
回答已采纳
我有一个MySQL数据库和一个包含200个表的Mongo数据库，我正在尝试将它连接到Glue并合并一些表，最终得到合并数据的20个表，以及一些过滤器和脚本，在数据到达需要的地方之前过滤掉其中的一些数据。我应该使用不同的工具，还是应该在其他地方执行该步骤(例如，使用DMS并为爬虫生成另一个目的地？)
浏览 6提问于2018-08-17得票数 1
回答已采纳
有没有办法将数据帧模式序列化为json，并在以后反序列化它？
用例很简单:我有一个json配置文件，其中包含我需要读取的数据帧的模式。我希望能够从现有模式(在dataframe中)创建默认配置，并且能够通过从json字符串中读取相关模式来生成稍后使用的相关模式。
浏览 1提问于2016-12-04得票数 30
回答已采纳
1回答
我需要检查名称相同但模式不同的两个表中的数据之间的差异。我有两个模式: Database1和Database2，在第一个模式中有TABLE_TEST和in，还有第二个模式TABLE_TEST。表中的数据在彼此之间有一些不同。我要找出那些不同之处。我尝试的是上
浏览 1提问于2019-07-10得票数 0
1回答
我有两个spark数据帧df1和df2。我尝试将它们写到两个不同的文件路径。有人能告诉我，写操作是同步进行还是异步进行？这是因为它们是两个不同的数据帧写入两个不同的路径，写入是同时发生，还是必须等到它完成df1写出后才开始写df2？示例代码：import sys
from awsglue.transform
浏览 15提问于2020-02-17得票数 0
我正在处理每天使用文件下载的股票数据。该文件每天包含相同数量的列，但行数每天都会发生变化，这取决于进出列表的股票。我希望比较两个日期的文件，并找到之间的总数量列的差异。我想看看这两个文件之间的区别，哪些股票进入了列表，哪些股票退出了列表。
我尝试使用pandas数据帧并将其存储在hd5文件中。然后尝试数据<em
浏览 3提问于2019-04-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
