如何在pyspark中使用dense_rank()函数？

文章/答案/技术大牛

发布

1回答

python、pyspark、apache-spark-sql、pyspark-sql、pyspark-dataframes

我正在运行pyspark脚本，其中我正在运行sql查询和创建数据帧。在sql query中有dense_rank()函数。由于此查询需要花费太多时间才能完全执行。有没有什么方法可以快速执行查询，或者我们可以在pyspark级别处理这个问题？在pyspark中有没有什么函数或方法可以替代sql中的dense_rank()？SQL： SELECT DENSE_RANK() OVER(ORDER BY SOURCE_COLUMN_VALU

浏览 55提问于2020-04-10得票数 1

回答已采纳

1回答

在pyspark或python中，我们可以用任意给定的数字启动dense_rank()吗？

python、dataframe、pyspark、apache-spark-sql、pyspark-dataframes

我试图根据一列的值生成dense_rank()，但我希望从给定的输入数字开始生成dense_rank()。这在pyspark或python中是可能的吗？示例：if(masterjobname == 'IM_XREF_BRIDGE_ADDR'): df = sqlContext.sqlw = (Window().orderBy("SOURCE_COLUMN_VALUE&qu

浏览 14提问于2020-06-02得票数 0

1回答

如何获得火花源中的顺序in

python、python-3.x、apache-spark、pyspark

我有一个具有重复和非顺序I的pyspark。

浏览 2提问于2020-06-08得票数 2

回答已采纳

1回答

为火花数据库中的每一组创建索引

apache-spark、apache-spark-sql

我想根据group_id对数据进行分组，按value对每个组进行排序，然后添加第三列index，该列表示value在组值排序中的位置。复制数据然而，这将涉及大量额外的计算和开销

浏览 2提问于2017-03-03得票数 10

回答已采纳

2回答

配置单元上下文无法识别pyspark -AnalysisException中的临时表：“未找到表”

sql、apache-spark、hive、pyspark

我使用的是在本地模式下运行的pyspark (1.6.1)。我有一个来自csv文件的数据帧，我需要添加dense_rank()列。我知道sqlContext不支持窗口函数，但是HiveContext支持。df.registerTempTable("visits") "dense_rank

浏览 3提问于2016-04-07得票数 2

1回答

在使用PySpark时，如何在Spark中实现Python数据结构？

python、python-2.7、apache-spark、pyspark

我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Python数据对

浏览 34提问于2017-03-01得票数 1

回答已采纳

1回答

如何对列增量顺序的重复值进行排序(英文)

python、dataframe、pyspark、data-analysis、data-wrangling

===========2 |11024 |1102 现在要按增量顺序排列触发器的每个重复值，如

浏览 2提问于2020-08-20得票数 1

回答已采纳

4回答

如何在django ORM中使用postgresql窗口函数？

sql、django、postgresql、orm

我希望在一些需要在Django中执行的查询中使用postgresql窗口函数，如rank()和dense_rank。我让它在原始SQL中工作，但我不知道如何在ORM中做到这一点。在某种程度上，我可能也需要添加分区： (我们在Python3上使用Django 1.9，并且已经依赖于django.contrib.postgres特性)

浏览 8提问于2016-03-03得票数 20

回答已采纳

3回答

DataFrame -如何将一列从分类值转换为int？

python、pyspark、spark-dataframe

我有一个，我想将该列中的一个从string转换为int。

浏览 4提问于2017-08-04得票数 2

回答已采纳

1回答

Pyspark counter字段，groupby，增量为1

group-by、count、pyspark、counter、pyspark-sql

我尝试使用窗口函数，但它对colA中的所有记录应用相同的计数，但没有递增。

浏览 8提问于2019-05-28得票数 1

回答已采纳

5回答

SQL:有没有可能转换数字(1,2,3,4...)到字母(A、B、C、D...)

sql、sql-server、tsql

是否有可能获得字母(如A，B)而不是数字(1,2)，例如作为Dense_Rank函数调用的结果(在MS中)？

浏览 0提问于2013-06-08得票数 19

回答已采纳

1回答

每个分区中增量值基于pyspark中一列的变化

python、pyspark、apache-spark-sql

我想为PySpark DataFrame中的每个分区创建一个新列(number)，它会在列年份发生变化时递增。

浏览 8提问于2020-09-23得票数 0

1回答

根据另一列的先前值在Hive中创建新列

hive、window-functions

1NULL 1NULL 0NULL 0我正在使用hive，并且确实可以访问pyspark，但是如果可能的话，我正在尝试通过SQL来解决问题。我研究过窗口函数(秩、Dense_rank、Row_number、滞后、铅)。有什么建议吗？

浏览 1提问于2018-09-26得票数 0

回答已采纳

2回答

spark中密集秩和行数的差异

apache-spark

我试着理解密集秩和行number.Each新窗口分区都是从1开始的，难道行的秩不总是从1开始吗？任何帮助都将不胜感激

浏览 0提问于2017-07-07得票数 34

回答已采纳

1回答

在Obiee中使用DENSE_RANK

obiee、dense-rank

有人能向我解释我是如何在obiee上应用DENSE_RANK的吗？Obiee只有秩函数，我试过使用评估函数，但不起作用。谢谢!

浏览 2提问于2020-07-29得票数 0

3回答

不带排名函数的排名

sql、ranking

我编写了以下查询，以便选择每个客户的排名，并在输出中显示它与其他信息。use northwindEmployees.EmployeeID as ID, DENSE_RANK() overEmployees.EmployeeID = Orders.EmployeeIDEmployees.EmployeeID, 但我想知道如何在不使用</

浏览 2提问于2010-09-08得票数 1

2回答

Pyspark:为每个不同的值向行添加增量计数器

apache-spark、pyspark、apache-spark-sql

我需要向dataframe添加一个“行号”，但是对于列中的每个新值，这个“行号”必须重新启动。让我给你们举个例子：spark = SparkSession.builder.appName('test').getOrCreate| <- First row for 'Pete'## +----------+----+-----+------+ 我一直在尝试使用</

浏览 0提问于2019-01-29得票数 0

回答已采纳

1回答

SQL结果中的分层编号

sql、sql-server

2 WatermelonIV Maui A NULL 1 NULL作为参考，我的查询中的FROM和WHE

浏览 2提问于2016-07-08得票数 1

回答已采纳

2回答

无法导入模块'lambda_function'：没有名为'pyspark‘的模块

python-3.x、pyspark、aws-lambda

我正在尝试使用AWS Lambda函数运行我的PySpark作业代码。下面是错误:无法导入模块'lambda_function'：没有名为'pyspark‘的模块from

浏览 0提问于2018-12-11得票数 0

1回答

用火花放电流到HBase

hadoop、hbase、pyspark、spark-streaming

在线上有相当数量的关于使用Scala进行星火流的批量加载的信息( 是特别有用的)，以及一些用于PySpark的信息，但是使用PySpark似乎缺乏这样的信息。所以我的问题是： s

浏览 2提问于2016-01-29得票数 3

点击加载更多