59| | Fail|我只想从当前行遍历到前一个成功行，即状态为成功的行，这样我就可以计算成功的重试次数。
浏览 9提问于2021-06-05得票数 0
回答已采纳
我经常使用sum() over()来计算累积值，但是今天，我尝试了count ()over()，结果超出了我的预期，有人能解释为什么结果在同一天重复记录吗？我知道通常的方法是按日期计算(不同的)组，然后按日期对sum()进行计数(按日期排序)，只是好奇“count (Id)over(按日期排序)”的结果。
浏览 2提问于2020-11-12得票数 1
回答已采纳
1回答
检查火花数据中的行值是否为空。
、、、、
我正在使用pyspark中的自定义函数来检查星火数据true中每一行的条件，如果条件为true，则添加列。守则如下：from pyspark.sql.functions import *sdf.show()AttributeError：'
浏览 3提问于2016-08-19得票数 7
1回答
我的简化输入数据模式：我想得到的是，对于每个事务ID，在同一个客户中查找前面的5个事务ID。.|5thPrevTID|这里我的问题是，星火是一个很好的解决方案的候选人，还是我应该考虑其他的问题？
浏览 2提问于2019-07-22得票数 0
回答已采纳
1546300804000| null|| 10|1546300807000| null|| id|joined.withColumn('num2', when(col(&#x
浏览 43提问于2020-11-01得票数 2
回答已采纳
我有一个包含客户、日期和交易类型列表的pyspark dataframe。11 | X1 || B | 7 | X1 || B | 7 | X1 | X1 |
+----------+-----+------+-------------+ 因此，对于X类型，它只获取当前行中的类型，但对于Y类型，它将获取该
浏览 35提问于2019-06-11得票数 0
回答已采纳
在下面的数据集中，我希望将won_offer列的值更改为1或0。问题是，我需要客户代码组合的后续行来决定该列的值。如果在当前行日期后30天内的下一行包含order，且价格低于当前行的价格，则该行的won_offer列的0可以变为1。0,4) ('customer', 'code', 'order_date&#x
浏览 1提问于2018-08-28得票数 3
1回答
在Postgres 9.1中，我使用的窗口函数如下：FROM (WINDOW w AS (PARTITION BY category_id ORDER BY score)
我不知道的是，如何也选择窗口范围中的元素总数。如果我只使用count(*) over w，它会告诉我到目前为止在窗口中看到了多少个元素，而不是窗口<
浏览 2提问于2014-08-20得票数 2
回答已采纳
1回答
其目标是创建一个名为“搅动”的列，并使用它来通知当Id在“使用”列中连续超过30天保持为" false“时，它是否正确或错误。我已经尝试过使用窗口功能，但没有成功。
浏览 3提问于2022-11-25得票数 0
回答已采纳
假设您有一个具有两列( id和val )的pyspark。# Input:
[(1, '0'), | id| val|| 1|
浏览 5提问于2020-08-17得票数 2
回答已采纳
在测试我对SQL -从组的第一行和最后一行获取数据.的答案时，我注意到了一些奇怪的事情。first_value和last_value窗口函数的行为似乎不同。正如预期的那样，first_value(col1) over (order by col2)从行中查找col1的值，其中包含col2的最小值。但是last_
浏览 0提问于2014-09-16得票数 7
回答已采纳
来自PySpark docs
定义框架边界，从开始(包含)到结束(包括)。参数：
定义框架边界，从开始(包含)到
浏览 5提问于2016-10-14得票数 43
2回答
我有一个包含start_time和end_time列的DataFrame。我想设置窗口，每个观察值的窗口在结束时是它前面的两行，限制在该观察值的start_time之前具有end_time的数据。没有结束时间<开始时间的限制，我能够使用from pyspark.sql impor
浏览 3提问于2017-07-14得票数 0
我的问题是关于从文件中读取行的while循环。现在的情况是，当while循环while(<FILEHANDLE>)在当前行($_)上执行操作时，我希望存储下一行的值。那么解决这个问题的方法是什么呢？有没有特定的函数或模块来做这件事？
浏览 4提问于2016-01-05得票数 1
1回答
我正在尝试用以前的非空值(如果存在)填充我的Spark dataframe中缺少的值。我在Python/Pandas中做过这种事情，但是我的数据对于Pandas (在一个小集群上)来说太大了，我是Spark noob。这是Spark可以做到的吗？它可以对多个列执行此操作吗？如果是这样的话，是怎么做的？如果没有，在谁的Hadoop工具套件中有任何替代方法的建议吗？
谢谢!
浏览 0提问于2016-07-01得票数 8
假设我有一个包含两列的Pyspark dataframe :ID、salary。数据帧有1亿条记录。我想用排名顺序列替换salary列。列的排名-顺序统计有多少人的工资低于。
浏览 2提问于2018-06-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
