`.over`：如何简化两个pyspark操作？
在pyspark中，可以使用.over函数来简化两个pyspark操作。.over函数是用于在数据集上执行窗口函数的一种方式。窗口函数是一种特殊类型的函数，它可以在数据集的子集上进行计算，并返回结果作为新的列添加到原始数据集中。
使用.over函数可以避免多次执行相同的操作，提高代码的可读性和执行效率。下面是一个示例，演示如何使用.over函数简化两个pyspark操作：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.window import Window
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据集
data = [("Alice", 25, 100),
("Bob", 30, 200),
("Charlie", 35, 150),
("David", 40, 300)]
df = spark.createDataFrame(data, ["Name", "Age", "Salary"])
# 创建窗口规范
windowSpec = Window.partitionBy("Age").orderBy(col("Salary").desc())
# 使用`.over`函数简化两个pyspark操作
df = df.withColumn("Rank", col("Salary").rank().over(windowSpec))
df = df.withColumn("DenseRank", col("Salary").dense_rank().over(windowSpec))
# 显示结果
df.show()在上述示例中，我们首先创建了一个SparkSession，并使用示例数据创建了一个DataFrame。然后，我们定义了一个窗口规范windowSpec，它按照年龄分区，并按照工资降序排序。接下来，我们使用.over函数来执行两个操作：计算每个年龄组的工资排名和密集排名。最后，我们显示了结果DataFrame。
这里是对.over函数的解释：
.rank()函数用于计算每个行的排名，如果有相同的值，则会跳过下一个排名。.dense_rank()函数用于计算每个行的密集排名，如果有相同的值，则会跳过下一个排名，但不会跳过任何排名。
.over函数的优势在于它可以在不同的操作之间共享窗口规范，避免了重复定义窗口规范的麻烦。它适用于各种场景，例如计算排名、累计求和、移动平均等。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算产品：https://cloud.tencent.com/product
- 腾讯云数据库产品：https://cloud.tencent.com/product/dcdb
- 腾讯云人工智能产品：https://cloud.tencent.com/product/ai
- 腾讯云物联网产品：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发产品：https://cloud.tencent.com/product/mobile
- 腾讯云存储产品：https://cloud.tencent.com/product/cos
- 腾讯云区块链产品：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙产品：https://cloud.tencent.com/product/um
请注意，以上链接仅供参考，具体的产品选择应根据实际需求和情况进行评估。
相关·内容
1回答
我正在问一个非常类似于的问题，这个答案解释了pyspark安装中确实有spark。当我通过Anaconda做这件事时会发生什么？还有，有没有其他方法可以在PyCharm中运行呢？因为，我的jupyter笔记本运行得很好。
我对Spark和Pyspark从安装开始就感到非常困惑。
我知道PySpark是一个使用python编写可伸缩spark脚本的包装器。我所做的就是通过anaconda安装它。
conda install pyspark。我可以把它导入到脚本中。
但是，当我尝试通过PyCharm运行脚本时，出现了这些警告，代码保持原样，而不是停止。
Missing Python executa
浏览 3提问于2021-04-23得票数 2
1回答
以下是伪数据：
user ts
--------
1 1
1 3
1 10
1 13
1 21
1 24
如果相邻的时差是每个用户的>= 6，它将被分成两个会话。因此，上述数据应按以下方式分列：
user ts diff
-------------------
1 1 None
1 3 2
-------------------
1 10 7
1 13 3
-------------------
1 21 8
1 24
浏览 3提问于2016-12-01得票数 1
回答已采纳
假设我有下面的DataFrames。如何在这两个列之间执行连接，以获得最终输出，使结果列(value_2)考虑到要根据排名列的值追加的记录数。 import pyspark.sql.functions as f
from pyspark.sql.window import Window
l =[( 9 , 1, 'A' ),
( 9 , 2, 'B' ),
( 9 , 3, 'C' ),
( 9 , 4, 'D' ),
浏览 15提问于2018-12-18得票数 1
1回答
在Pyspark中，我需要按ID分组并创建四个新列(min，max，std，ave)。 from pyspark.sql import functions as F
from pyspark.sql.window import Window
w = (Window.orderBy(F.col("Date").cast('long')).rowsBetween(-4, 0))
df = df.groupby("ID") \
.withColumn('hr1_ave', F.avg("rpm").over(w))
浏览 23提问于2020-09-22得票数 1
回答已采纳
2回答
简写版：
如何预览火花放电外壳中的列？
我有一个pyspark.sql.column.Column类型的对象pyspark.sql.column.Column，当我执行a.show()时，我得到了TypeError: 'Column' object is not callable。
想知道是否有类似于熊猫功能的火花放电，这样我就可以在将列转换为pyspark之后使用show()。
长版本：
我有以下数据集为df
+----------+-------------------+--------+
| number| p_efc_dtm|cus_type|
浏览 0提问于2018-03-09得票数 0
回答已采纳
我正在解决这个例子：
在这里，他们使用Oracle或postgres命令nth_value来获得答案，但这不是在由pyspark使用的Hive中实现的，我想知道如何在pyspark中获得相同的结果。
postgres sql代码
所有大于4的重量被指定为第4最小的重量前三最轻的重量被赋值99.9
select name, weight,
coalesce(nth_value(weight, 4) over (order by weight), 99.9) as imagined_weight
from cats
order by weight
问:如何使用火花放电获得后续结果？
name
浏览 5提问于2020-07-21得票数 1
回答已采纳
3回答
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
2回答
我正在尝试在PySpark数据label中唯一地标记具有相同值的连续行。在Pandas，一个人可以很简单地做到以下几点：
s = pd.Series([1,1,1,2,2,1,1,3])
s.ne(s.shift()).cumsum()
0 1
1 1
2 1
3 2
4 2
5 3
6 3
7 4
dtype: int64
如何在PySpark中做到这一点？设置-
from pyspark.sql.types import IntegerType
from pyspark.sql.types import StructType
spark =
浏览 0提问于2020-10-19得票数 3
回答已采纳
2回答
假设我有两个PySpark数据格式，
df1
+-----+
|count|
+-----+
| 100|
| 200|
| 300|
df2
+-----+
|count|
+-----+
| 300|
| 400|
| 500|
在不使用Pandas的情况下，我应该如何计算df2 - df1，如下所示？
+-----+
|count|
+-----+
| 200|
| 200|
| 200|
浏览 1提问于2022-07-14得票数 0
2回答
这是我的DataFrame in PySpark：
utc_timestamp data feed
2015-10-13 11:00:00+00:00 1 A
2015-10-13 12:00:00+00:00 5 A
2015-10-13 13:00:00+00:00 6 A
2015-10-13 14:00:00+00:00 10 B
2015-10-13 15:00:00+00:00 11 B
data的值是累积的。
我希望得到这个结果(按feed分组的连续行之间的差异)：
ut
浏览 11提问于2020-12-01得票数 10
回答已采纳
我正在解决这个例子：
在这里，他们使用Oracle或postgres命令nth_value来获得答案，但这不是在由pyspark使用的Hive中实现的，我想知道如何在pyspark中获得相同的结果。
postgres sql代码
select distinct(breed),
nth_value(weight, 2) over ( partition by breed order by weight
RANGE BETWEEN UNBOUNDED PRECEDING
浏览 0提问于2020-07-21得票数 0
回答已采纳
我有一个“text”列，其中存储令牌数组。如何过滤所有这些数组，使令牌至少有三个字母长？
from pyspark.sql.functions import regexp_replace, col
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
columns = ['id', 'text']
vals = [
(1, ['I', 'am', 'good']),
(2,
浏览 0提问于2018-11-26得票数 2
回答已采纳
我有一个data frame在pyspark，如下所示。
+-----+---+---+----+
|tests|val|asd|cnty|
+-----+---+---+----+
|test1| Y| 1|null|
|test2| N| 2| UK|
| null| Y| 1| UK|
|test1| N| 2|null|
|test1| N| 3|null|
|test3| N| 4| AUS|
|test4| Y| 5|null|
+-----+---+---+----+
当任何给定的tests或cnty都有val Y时，我想更新值，那么该特定test
浏览 0提问于2018-05-18得票数 0
回答已采纳
问题
我有一个星火DataFrame，它有一个列，它包含的不是每一行的值，而是某些行的值(在某种程度上是有规律的，例如，根据id只包含5到10行)。
现在，我想将一个窗口函数应用到包含涉及前两个行和后面两个行的值的行，这些行也包含值(因此基本上假装所有包含空值的行都不存在=不计入窗口的rowsBetween-range )。实际上，我的有效窗口大小可能是任意的，这取决于包含空值的行数。然而，我总是需要精确的前后两个值。此外，由于包含重要信息的其他列，最终结果应该包含所有行。
示例
例如，我希望计算前两个值、当前值和下两个值(非空值)的和值，这些值是非空的：
from pyspark.sql.w
浏览 0提问于2018-11-20得票数 4
我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。
在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。
使用下面的数据集：
+-----+-----+
| ID |Value|
+-----+-----+
| 1 | -4 |
+-----+-----+
| 2 | 5 |
+-----+-----+
| 2 | -23 |
+-----+-----+
| 1 | 5 |
+-----+-----+
| 2 | 19 |
+-----+-----+
|
浏览 1提问于2019-02-02得票数 0
1回答
在Pyspark中，我试图对数据帧中的所有行执行计数。 在Hive上，我可以使用以下命令执行它： count(1) OVER () as biggest_id 然而，在pyspark上，我不确定如何执行它。这是我尝试过的： df_new = (
df.withColumn('biggest_id', F.count(F.lit(1)).over())
) 通常，over参数需要一个窗口语句，但我在如何做到这一点上并不成功。
浏览 18提问于2020-08-19得票数 0
回答已采纳
1回答
我正在使用pyspark 1.5从Hive表中获取数据，并尝试使用窗口函数。
根据的说法，存在一个名为firstValue的分析函数，它将为给定窗口提供第一个非空值。我知道它存在于蜂巢中，但我在pyspark中找不到它。
鉴于pyspark不支持UserDefinedAggregateFunctions (UDAF)，有没有办法实现这一点？
浏览 4提问于2016-02-02得票数 6
回答已采纳
1回答
我有一组带有一组字符串特征ids的时间戳位置数据，这些ids被附加到每个位置。我想使用spark中的一个窗口将当前N行和下一个N行ala的所有这些特征id字符串的数组连接起来：
import sys
from pyspark.sql.window import Window
import pyspark.sql.functions as func
windowSpec = Window \
.partitionBy(df['userid']) \
.orderBy(df['timestamp']) \
.rowsBetween(-50,
浏览 2提问于2017-04-13得票数 1
回答已采纳
2回答
火花枢轴一柱，而另一柱保持完整
、、、、
给定以下数据，我如何将最大分数和戏剧的总和相加？
from pyspark import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql import functions as F
from pyspark.sql import Window
df = sqlContext.createDataFrame([
("u1", "g1", 10, 0, 1),
("u1", "g3", 2, 2, 1),
("u1&#
浏览 3提问于2016-07-06得票数 2
回答已采纳
我试图在每个分区的火花数据和和元素的划分使用吡咯烷酮。但我无法在被调用的函数"sumByHour“中执行此操作。基本上，我无法访问"sumByHour“中的dataframe列。
基本上，我是按“小时”列进行分区，并试图根据“小时”分区对元素进行求和。预期产量分别为: 6,15,24，0,1,2小时。在没有运气的情况下尝试过。
from pyspark.sql.functions import *
from pyspark.sql.types import *
import pandas as pd
def sumByHour(ip):
print(ip)
pa
浏览 4提问于2022-01-25得票数 0
回答已采纳
假设我有下面的df
df = spark.createDataFrame([
("a", "apple"),
("a", "pear"),
("b", "pear"),
("c", "carrot"),
("c", "apple"),
], ["id", "fruit"])
+---+-------+
| id| fruit|
+---+-------+
| a| apple|
浏览 4提问于2021-09-07得票数 2
回答已采纳
2回答
我在pyspark中有一个数据框架，如下所示
df = spark.createDataFrame(
[(1,'Y'),
(2,'Y'),
(3,'N'),
(4,'N'),
(5,'N'),
(6,'Y'),
(7,'N')
],
('id', 'status')
)
df.show()
+---+------+
| id|status|
+---+------+
| 1| Y|
| 2| Y|
| 3| N|
|
浏览 1提问于2021-05-26得票数 0
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
from pyspark.sql import Row
numbers=[1,2,30,4]
rdd1 = sc.parallelize(li)
row_rdd = rdd1.map(lambda x: Row(x))
test_df = sqlContext.createDataFrame(row_rdd,['numbers'])
------------------------------------
浏览 0提问于2020-10-05得票数 1
#尝试在PySpark中使用窗口函数
from pyspark.sql import Row, functions as F from pyspark.sql.functions import col, row_number from pyspark.sql.window import Window from pyspark.sql import SparkSession
Join_transaciones3_df = Join_transaciones3_df.withColumn("row_num", F.row_number().OVER(Window.partition
浏览 10提问于2022-11-14得票数 0
pyspark是否支持窗口函数(例如first, last, lag, lead)？
例如，如何按一列分组并按另一列排序，然后按SparkSQL或数据框选择每个组的第一行(这就像窗口函数一样)？
我发现pyspark.sql.functions类包含聚合函数first和last，但它们不能用于groupBy类。
浏览 2提问于2015-03-24得票数 3
2回答
我的数据框看起来像-
id product amount
1 a 100
2 b 300
3 c 400
4 d 100
我的最终数据框应该是-
id product amount total
1 a 100 900
2 b
浏览 25提问于2019-11-24得票数 0
1回答
在我们遗留DWH过程中，我们根据传统RDBMS中的rowid查找重复记录并跟踪重复记录。
对于ex。
select pkey_columns, max(rowdid) from table group by pkey_columns
将仅返回对应最大记录的重复记录。即使当我们识别重复记录时，这也有助于识别/跟踪记录。
在pySpark中有没有类似的东西？如何在dwh到pyspark dwh转换项目中处理此问题？
浏览 11提问于2019-11-10得票数 0
回答已采纳
我想创建一个名为"id“的列，它将包含用于生成最终对的行号。"id“列
我在python中用下面的方式做了这件事。有没有人能建议一下如何用pyspark来做这件事。
con_2['id'] = range(1, 1+len(con_2))
len(con_2.customer_play_id.unique())
我的Pyspark代码如下，但它不工作
from pyspark.sql.types import IntegerType
slen = udf(lambda s: len(s), IntegerType())
con_2 = con_2.withCo
浏览 0提问于2019-05-21得票数 0
我对皮斯卡姆很陌生，我遇到了一些小插曲。假设我有两个字段：
firstName，lastName，lastName，
我的问题是，如何为每个姓氏的不同值随机选择2行？如下所示：
firstName，lastName，lastName，
我当时的想法是生成一个不同姓氏的列表，并在for循环中运行，但这显然不会被建议使用Pyspark的框架。我认为在这种情况下，使用并行计算将是建议的方法吗？
浏览 0提问于2020-09-22得票数 0
回答已采纳
1回答
我有一个pyspark dataframe，它包含类似下面的数据： id class price place
1 A 10 US
2 B 5 US
3 B 5 MEXICO
4 A -20 CANADA
5 C -15 US
6 C -5 US
7 D 20 MEXICO
8 A 10 CANADA
9 A -30 CANADA 我想找出价格列相对于列'class‘的总
浏览 18提问于2021-01-13得票数 0
回答已采纳
1回答
我有以下SQL语句：
freecourse_info_step_8 as (
-- How many questions answered correct in that
select *,
count(question_number) FILTER (WHERE answered = true) over(partition by hacker_rank_id, freecourse_version, question_block, freecourse_users_id) as answered_correct_in_block
from freecourse_info_step
浏览 0提问于2020-08-12得票数 0
2回答
我正在运行以下代码段，
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import ntile
spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate()
simpleData = (("James", "Sales", 3000), \
("Michael
浏览 4提问于2021-04-02得票数 1
回答已采纳
知道怎么用PySpark写这个吗？
我有两个PySpark DataFrames，我正试图结合起来。然而，有一个值，我想要更新基于两个重复的列值。
PyDf1：
+-----------+-----------+-----------+------------+
|test_date |student_id |take_home |grade |
+-----------+-----------+-----------+------------+
| 2022-09-26| 655| N| A|
| 2022-09-26|
浏览 13提问于2022-09-26得票数 3
回答已采纳
1回答
我有如下数据：
---------------
id | name |
---------------
1 | joe |
1 | john |
2 | jane |
3 | jo |
---------------
目标是，如果'id‘列是重复的，则从1开始向其添加升序号。
在潘达斯，我可以这样做：
count_id = df.groupby(['id']).cumcount()
count_num = count_id.replace(0, '').astype(str)
df['id&#
浏览 0提问于2019-04-10得票数 0
回答已采纳
如何使用data frame API编写以下查询？ SELECT * FROM
(SELECT c1, c2, value, dense_rank() OVER (PARTITION BY c1 ORDER BY value ASC) as rank
FROM tmp_view) x
WHERE x.rank <= 3 相关文档可在以下位置找到 https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.Window.html?highlight=window#pyspark.sql.Wi
浏览 11提问于2021-07-25得票数 0
3回答
如果我们有一个由一列类别和一列值组成的Pandas数据框架，我们可以通过执行以下操作来删除每个类别中的平均值：
df["DemeanedValues"] = df.groupby("Category")["Values"].transform(lambda g: g - numpy.mean(g))
据我所知，不直接提供这个按组/转换操作(我在Spark1.5.0上使用PySpark )。那么，实现这种计算的最佳方法是什么呢？
我尝试使用了一个group/join，具体如下：
df2 = df.groupBy("Category"
浏览 8提问于2015-12-25得票数 19
回答已采纳
给定一个pyspark dataframe given_df，我需要使用它从它生成一个新的dataframe new_df。
我正在尝试使用foreach()方法逐行处理pyspark数据帧。为简单起见，假设数据帧given_df和new_df都由一列组成。
我必须处理该数据帧的每一行，并且基于该单元格中存在的值，我创建了一些新行，并通过使用这些行对其执行union操作将其添加到new_df中。在处理单行given_df时将生成的行数是可变的。
new_df=spark.createDataFrame([], schema=['SampleField']) // Create
浏览 4提问于2021-03-18得票数 2
1回答
具有先前行值的新列
、、、
我正在使用pyspark，我有这样的框架 这是我的相框 +---+-----+
| id|value|
+---+-----+
| 1| 65|
| 2| 66|
| 3| 65|
| 4| 68|
| 5| 71|
+---+-----+ 我想用pyspark生成这样的框架 +---+-----+-------------+
| id|value| prev_value |
+---+-----+-------------+
| 1 | 65 | null |
| 2 | 66 | 65 |
| 3 | 65 | 66,
浏览 14提问于2019-05-10得票数 0
回答已采纳
可以使用dbutils在notebooks中访问Databricks密钥，但是，由于dbutils在notebooks之外不可用，因此如何在pyspark/python作业中访问密钥，特别是当它们使用mlflow运行时。 我已经试过How to load databricks package dbutils in pyspark了 它不适用于远程作业或mlflow项目运行。
浏览 12提问于2020-06-09得票数 0
1回答
我有个问题。我有一个我正在清理的火星雨，在熊猫中，我通常会使用：
df['cases_since_prev_day'] = df.groupby(['county','state'])['cases'].diff().fillna(0).astype(int)
我是否可以在PySpark中使用与聚合相同的语句？
编辑：所以，原始数据集来自Github https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv上的表。
一个快速的浏览看
浏览 2提问于2020-10-22得票数 0
回答已采纳
1回答
我有一个问题，火花数据来自一个RandomForestRegressor，我需要加入另一个数据(原始数据)。
from pyspark import SparkContext, SparkConf
sc = SparkContext(conf=SparkConf())
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
以下是一些样本数据：
columns = ['pays', 'zol', 'group_cont_typ', 'id_periode_gesti
浏览 0提问于2018-12-05得票数 0
回答已采纳
1回答
我的spark数据看起来像-
area product score
a aa .39
a bb .03
a cc 1.1
a dd .5
b ee .02
b aa 1.2
b
浏览 21提问于2019-11-27得票数 1
回答已采纳
2回答
我有一个表，并希望得到另外两个列(column1和column2)，其期望值如下：
partition part_index value1 (column1) (column2)
1 1 1 1 null
1 2 1.5 1 null
1 3 3 1 null
1 4 5 1 null
1 5 6 1
浏览 8提问于2022-01-08得票数 0
我已经成功地使用窗口在星火中创建了一个row_number() partitionBy，但是我希望通过降序而不是默认的升序来排序。这是我的工作代码：
from pyspark import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row, functions as F
from pyspark.sql.window import Window
data_cooccur.select("driver", "also_item", "unit_count"
浏览 3提问于2016-02-06得票数 56
回答已采纳
1回答
为其他列创建列表，以保持顺序
、、、、
我有一个PySpark dataframe，它如下所示：
Id timestamp col1 col2
abc 789 0 1
def 456 1 0
abc 123 1 0
def 321
浏览 4提问于2022-06-28得票数 3
回答已采纳
1回答
假设我有一个以秒为单位的id列和时间列(t)的pyspark数据帧。对于每个id，我希望对行进行分组，以便每个组都包含在该组开始时间之后5秒内的所有条目。例如，如果表是：
+---+--+
|id |t |
+---+--+
|1 |0 |
|1 |1 |
|1 |3 |
|1 |8 |
|1 |14|
|1 |18|
|2 |0 |
|2 |20|
|2 |21|
|2 |50|
+---+--+
那么结果应该是：
+---+--+---------+-------------+-------+
|id |t |subgroup |window_start |offset
浏览 20提问于2019-07-19得票数 0
我有一张像这样的数据。为了对标准熊猫进行必要的操作，我将做以下工作：
import pandas as pd
case = pd.Series(['A', 'A', 'A', 'A',
'B', 'B', 'B', 'B',
'C', 'C', 'C', 'C'])
y = pd.Series([0, 1, 0, 0,
浏览 2提问于2020-11-20得票数 0
回答已采纳
1回答
我有pyspark数据集，我想按照datetime列将其划分为列车和测试数据集，其中，训练数据集的日期时间应该小于日期时间列的中位数，而测试数据集应该有其余的数据集。
我尝试按datetime列对dataset进行排序，并选择上半部分。但是这只解决了火车部件的问题，我不知道如何从PySpark中的初始数据集中“减除”训练数据集。
train = data.orderBy('datetime').limit(data.count() // 2)
# test = ?
如果PySpark与Pandas ()函数有某种相似之处，那就太好了，但它没有。
浏览 0提问于2019-08-21得票数 0
回答已采纳
我正在进行一个项目，将Python概念证明(POC)移植到PySpark。POC极大地利用了Postgres，特别是PostGIS地理空间库。大部分工作由Python在调用数据以进行最终处理之前向Postgres发出命令组成。
传递给Postgres的一些查询包含CREATE TABLE、INSERT、CREATE TEMP TABLE和CTE WITH语句。我正试图确定是否可以通过JDBC从Spark将这些查询传递给Postgres。
有人能确认这个功能在Spark中是否可以用于其他数据库吗？为了明确起见，我希望将纯英语的SQL查询传递给Postgres，而不是使用可用的SparkSQL A
浏览 5提问于2020-02-06得票数 1
回答已采纳
我有pandas和pyspark数据帧，每天每行都有二元组的列表。我想打破列表，并将每个二元组合移动到一行，计数按降序排列。 如下所示是我拥有的数据帧。我已经按event_dt进行了排序。在“merged”列中，显示了二元语法的列表。例如，“漂亮的相遇”和“相遇后付费”是两个二元语法。双连词的列表每天都在继续... ? 现在，我想要将每个biagram移动到同一日期的新行。例如，“nice meet”将在一行中，而“meet postpaid”将在另一行中，而event_dt列则显示相同的日期。我还希望双字母组的计数在降序，也希望得到前10或前20个计数双字母组为每个日期。这里我希望
浏览 40提问于2020-10-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
