我有一个数据集 simpleData = [("person1","city1"), \ ("person1","city1"), \city2|| person2| city3|
+------------+------------+ 现在我想创建n个新列，其中n是名为'city_visit
浏览 24提问于2020-12-01得票数 0
回答已采纳
1回答
我刚开始使用数据库，请帮助我找出存储8位数字的最佳设计，这些数字将用于两个目的：这两个用途之间的使用率预计接近50/50。最初的条目数量约为6000项，每年
浏览 0提问于2019-04-29得票数 1
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
1回答
我的Oracle数据库中有两个表：
一个用于包含术语和documentCount的文档频率(DF)，另一个用于术语频率的表(称为TF )具有documentID、terms、Frequency。我想计算一下TF *以色列国防军，其中TF=某一项出现在文章中的次数(表TF<
浏览 3提问于2014-04-05得票数 0
回答已采纳
假设我有一个pyspark数据帧：+-----+---++-----+---+|beta | 2||alpha| 2|我想计算一下在x列中出现了多少次alpha、beta和gamma。我如何在pyspark中做到这一点？
浏览 0提问于2018-03-20得票数 4
如何统计数据帧中某一列中每一行中某些字符串/单词的出现次数？not hungryI believe him
I can not believe that he does not believe me 然后我想要得到在每一行中出现的单词"not“的总数。我想要得到的是： c
浏览 14提问于2020-07-02得票数 0
回答已采纳
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.set("spark.sql
浏览 11提问于2021-11-19得票数 0
我在SparkR中有一个小代码，我想把它转换成pyspark。我对这个windowPartitionBy并不熟悉，并且重新分区。你能帮我了解一下这段代码是做什么的吗？
浏览 34提问于2020-12-18得票数 0
回答已采纳
1回答
我有一个spark数据帧，包含一天中的小时数、locationID和频率。频率是指locationID在一天中的某一小时内出现的次数。|| 1 | 1 | 22 |我想要每小时2个最频繁的locationID
浏览 4提问于2019-07-09得票数 0
回答已采纳
1回答
我有一个数据集"a“，它的列"id”大约有23,000行，这在这个数据帧中是唯一的。我想要计算这些唯一值在另外两个数据集"b“和"c”中的出现频率。"b”中的第45列。这段代码适用于b中的计数，但当我尝试使用相同的</
浏览 1提问于2016-04-29得票数 0
大家好，我有一个数据框，它的列是这样的。missedMate"，"lostBigLead"，ratinglength_of_checkmate(the missedMate of moves to lostBigLead，)：this is my y
在此数据框内，每一行都是具有所有这些列属性的单个观察值。我的任务是计算变量p，然后对x回归p，对y回归p，最后对(x和y) P= (值为y并丢失的<
浏览 21提问于2018-12-20得票数 -2
回答已采纳
2回答
我正在做一些熊猫的工作，我试图从数据集中找到某些值。我正在寻找某一列的模式和模式频率。我尝试使用df.col1.value_co
浏览 8提问于2016-02-14得票数 0
回答已采纳
我目前有一个包含大量行的海量数据集，我想创建一个较小的数据帧，它只从较大的一列中拉出两列，以及在这个实例中每个名称在该章节中出现的次数。下面的代码就是我使用的代码
df1 = (Dec16.groupby(["BNF Chapter", "Name"]).size().reset_index(name="Occu
浏览 0提问于2017-11-30得票数 0
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总<e
浏览 24提问于2021-09-08得票数 0
我正在提取Snowflake表并将其加载到PySpark DataFrame中，并且我想重命名它的列。现在，正在将加载的数据帧存储到一个变量中，然后访问列列表： spark.read.format("snowflake")
.optionscalculated_signal_df.toDF(*[c.lower() for c in
浏览 1提问于2021-04-21得票数 0
2回答
一段时间以来，我一直在为以下问题而挣扎：
我想计算两个数据帧之间的字数差异(特征出现的频率)。数据帧包含两列:特征(单词)和频率。我想用df A en df B实现以下结果:来自df A的所有特征/单词和A的频率减去B的频率。但是，当A中的特征没有
浏览 12提问于2018-09-05得票数 0
回答已采纳
我正在尝试找出sql语句产生的每个字段的最小值和最大值，并将其写入csv文件。我试着在下面的时尚中得到结果。你能帮帮我吗。我已经用python编写了代码，但现在正在尝试将其转换为pyspark，以便直接在hadoop集群中运行。from pyspark import SparkContext
浏览 2提问于2018-11-20得票数 1
15183773646'
你认为他们是一样的吗基本上，它们在PL/SQL .中并不相同。
我想知道为什么后者的成本比以前的sql低。任何帮助都将不胜感激！
浏览 2提问于2014-08-11得票数 0
回答已采纳
这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个d
浏览 13提问于2019-12-16得票数 0
回答已采纳
0回答
我想知道是否有人能帮我解决一个小问题..我目前有一个包含大量行的海量数据集，我想创建一个较小的数据帧，它只从较大的一列中拉出两列，以及在这个实例中每个名称在该章节中出现的次数。下面的代码就是我使用的代码
df1 = (Dec16.groupby(["BNF Chapter", "Name"]).size().reset_i
浏览 0提问于2017-12-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
