我正在寻找一种有效的方法，将一些映射函数应用于数据帧中的每一对元素。例如： records = spark.createDataFrame( ['id', 'val'+---+---++---+---+|
浏览 6提问于2020-11-20得票数 0
如何将特定的列值与相同数据帧中相同列值的其余部分进行比较？ 1 1 1 0 2 0
所以我们必须首先取A列，然后一个接一个地挑选，然后比较A值的其余部分。比如，我取1和其他值比较，比
浏览 0提问于2018-09-28得票数 2
我有两个数据帧(行不相等，但列相同)，如下所示。DataFrame B： dummy | probability 1 | .05 1 | .2 我想要做的是为成对元素实现一个向量化的条件检查我的实际数据集有几十万个元素。因此，如果我检查元素方面，使用double for循环将需要至少100
浏览 12提问于2019-06-28得票数 2
回答已采纳
我正在学习R中的一些文档，并开始用R进行编程。
我有四个数据帧，数据帧名为Data1、Data2、Data3、Data4。每个数据帧有八列(V1、V2、V3、V4、V5、V6、V7、V8)和10,000 rows.The行数，所有数据帧的列数相同。我希望将所有四个数据帧<em
浏览 3提问于2013-10-22得票数 0
回答已采纳
1回答
我已经创建了一些方法来将数据帧转换为所需的格式，并根据错误规则过滤多个错误检查和更新数据帧。 我是一个在intelliJ上用scala编写单元测试的新手。我必须编写单元测试来将实际数据帧与预期结果进行比较。 下面是我为数据帧的pivot功能编写的单元测试用例。类似地，我必须将获得的</
浏览 4提问于2021-09-13得票数 1
我正在尝试将子数据帧"df_child“的每个元素与父数据帧"df_parent”的每个元素进行比较。我试图提取一个子元素，并通过将它们作为参数传递到"similar“函数中来与所有父元素进行比较，其中我使用l
浏览 22提问于2020-04-22得票数 0
我在Jupyter notebook内部工作，我的理解是，在最后一行中，通过调用df_speed_full['cam_id'] == rand_cam_id，我将索引标记为True和False，然后将它们传递给外部df_speed_full，以便只选择那些具有True的索引。list(rand_row['cam_id'])这就是我得到的<
浏览 1提问于2021-10-26得票数 0
1回答
我正在尝试将sample_n()函数应用于R中的子列表。不知怎么的，经过几次尝试，我还是不能正确地使用它。 我的数据结构是一个包含27个列表的列表(我称它们为27个元素)。每个元素是数据帧的列表。> test2[[1]][[1]] 数据帧的一个示例 ? 对于这个数据框，outdegree_with
浏览 9提问于2020-07-05得票数 0
回答已采纳
1回答
我无法从pyspark数据帧列表创建RDD，如下所示：df = sqlContext.createDataFrame(l)df2= sqlContext.createDataFrame(m)sc.parallelize(df_list)
我得到的错误是：Py4JError: An error它适用于像[1,2,3]这样的简单列表，但是当列表的
浏览 4提问于2017-04-10得票数 1
我有一个名为df的熊猫数据帧：___________________________email1| [2,1]email1@email.com | [0,0]我想从df中检索具有0列表的所有行
浏览 3提问于2014-09-30得票数 3
回答已采纳
2回答
我有一个数据帧df =| id||113331567dc042f...|我希望将数据帧重新分区为多个分区，并将每个分区元素作为list传递给返回spark dataset的数据库api调用。
就像这样。("custo
浏览 2提问于2021-07-06得票数 1
1回答
我有一个很大的数据帧列表。它们中的每一个都包含相同数量和组的元素。它们只是以不同的方式进行排序，如下所示。df1 ID |得分 X| 1.59 Y| 1.38 Z| 1.2 df2 ID |得分 Y| 1.32 X| 1.23 Z| 1.08 我想做的是分析每个元素的位置是如何从数据帧到数据帧
浏览 12提问于2020-10-21得票数 0
回答已采纳
我有两个相同尺寸A，B的数据帧。每个数据帧的第一列是一个日期。我想要创建第三个数据框架，其中有0，其中A<B，1s，其中A>B，其中比较是按元素进行的，不包括日期列。这就是我到目前为止所做的工作，没有循环。as.relistable(as.matrix(C[-1])))
浏览 2提问于2013-09-03得票数 0
回答已采纳
1回答
我们有一些这种格式的数据： <event timestamp="20200529032100"> <row attr="gfds" id="6">data</row>
<row attr="sadf" id="8"&
浏览 1提问于2020-05-29得票数 0
1回答
加速跨列计算
、、
我有几个中等大的数据帧，需要跨数据中的不同列进行计算；例如，我希望将一个数据帧中的列i与另一个数据帧中的i-1进行比较。我目前使用的是for循环。计算涉及到每对值的元素比较，因此速度有点慢:例如，我取每列数据，将其转换为矩
浏览 0提问于2019-11-26得票数 2
我正在学习R，并且正在寻找一种方法来在多个数据帧之间进行相同的数据转换，例如，重新编码每个数据帧中出现的变量，而不必每次都为每个数据帧键入代码。我创建了一个数据帧列表，然后使用lapply()在一个函数中对它们进行转换，但是结果被存储在一个新的列表中。我希望现在能够将这些列表
浏览 0提问于2016-12-09得票数 0
1回答
我想知道是否有一种方法可以比较numpy数组中的每个元素(无论索引位置如何)。我经常发现自己使用pandas数据帧中的数组，并且我喜欢使用底层的numpy数组来比较每个元素。-1))# outputs: 500
(上面显然只是一个玩具示例)，但我想要做的是相当于在所有<em
浏览 11提问于2021-03-08得票数 1
回答已采纳
1回答
在Pyspark中管理多个数据帧
、、、、
我是PySpark的新手。在我的实现中，我使用了多个数据帧。在这些数据帧中，有一些中间数据帧稍后将不会在代码中使用。我该如何处理它们呢？我面临着GC、OverHead和内存问题。: java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.spark_project.guava.cache.LocalCache$Segment.get(LocalCache.jav
浏览 6提问于2020-12-18得票数 0
我正在构建一个NLP项目，用于比较两个不同数据帧之间的句子相似性。以下是数据帧的示例： df = pd.DataFrame({'Element Detail':['Too many competitors in market', 'Highly skilled employeesdf中的第一个单元格与df1中的所有单元格进行
浏览 21提问于2021-08-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
