Pyspark:获取两列之间不同组合的数量
Pyspark是一种基于Python的开源分布式计算框架，用于处理大规模数据集。它结合了Python的易用性和Spark的高性能，可以在分布式环境中进行数据处理和分析。
对于获取两列之间不同组合的数量，可以使用Pyspark中的DataFrame API来实现。以下是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, countDistinct
# 创建SparkSession
spark = SparkSession.builder.appName("Column Combinations").getOrCreate()
# 读取数据，假设数据集名为data
data = spark.read.csv("data.csv", header=True, inferSchema=True)
# 获取两列之间不同组合的数量
column1 = "column1" # 第一列的名称
column2 = "column2" # 第二列的名称
distinct_combinations = data.select(column1, column2).distinct().count()
# 打印结果
print("不同组合的数量：", distinct_combinations)在上述代码中，我们首先创建了一个SparkSession对象，然后使用read.csv方法读取数据集。接下来，我们使用select方法选择需要的两列，并使用distinct方法去除重复的组合，最后使用count方法获取不同组合的数量。
Pyspark的优势在于其分布式计算能力和易用性，可以处理大规模数据集并提供高性能的计算。它适用于需要处理大数据量的场景，例如数据分析、机器学习和数据挖掘等。
腾讯云提供了一系列与大数据处理相关的产品和服务，例如腾讯云数据仓库（TencentDB）、腾讯云数据湖（Tencent Cloud Data Lake）和腾讯云弹性MapReduce（Tencent Cloud EMR）。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品的详细信息和使用指南。
相关·内容
相关问题：
因此，我有一个pyspark dataframe，我想删除所有行中所有值都相同的列，同时保持其他列的完整性。
然而，上述问题的答案仅适用于熊猫。有没有针对pyspark数据帧的解决方案？
谢谢
浏览 1提问于2018-12-17得票数 4
1回答
我有一个具有这种结构的Pyspark：
+----+----+----+----+---+
|user| A/B| C| A/B| C |
+----+----+-------------+
| 1 | 0| 1| 1| 2|
| 2 | 0| 2| 4| 0|
+----+----+----+----+---+
我最初有两个数据格式，但我使用用户作为键加入了它们，因此也可以有空值。我找不到用等号对列进行求和的方法，以便得到这样的数据：
+----+----+----+
|user| A/B| C|
+----+----+----+
| 1 |
浏览 2提问于2016-10-20得票数 1
回答已采纳
我有一个有两个列的DataFrame，id1, id2，我想要得到的是计数，这两个列的不同值的数量。本质上这是count(set(id1+id2))。
我怎样才能用PySpark做到这一点呢？
谢谢!
请注意，，这不是一个重复的，因为我希望PySpark计算count()。当然，获得两个列表id1_distinct和id2_distinct并将它们放到set()中是可能的，但在我看来，在处理大数据时，这并不是一个合适的解决方案，而且也不符合PySpark精神。
浏览 11提问于2021-05-16得票数 0
回答已采纳
5回答
我在PySpark中运行了一些操作，最近在我的配置(在Amazon EMR上)中增加了节点数量。但是，即使我将节点数量增加了两倍(从4个增加到12个)，性能似乎没有变化。因此，我想看看新节点对Spark是否可见。
我正在调用以下函数：
sc.defaultParallelism
>>>> 2
但我认为这是在告诉我分配给每个节点的任务总数，而不是Spark可以看到的节点总数。
如何查看PySpark在集群中使用的节点数？
浏览 142提问于2015-02-27得票数 23
回答已采纳
我正在研究Random Forest algorithm in PySpark MLlib，并且对传递给模型的树参数的数量有疑问。Random Forest modeling在PySpark MLlib中的标准格式是：
model = RandomForest.trainRegressor(trainingData, categoricalFeaturesInfo={},
numTrees=3, featureSubsetStrategy="auto",
浏览 0提问于2016-01-21得票数 2
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
我有一个usecase，其中我想生成新的列值，请考虑如下所示的pyspark数据框架：
User | Product | Event | ...
----------------------------------------
ram apple viewed
ram apple carted
bill samsung viewed
bill samsung carted
bill samsung bought
我希望使用PySpark处理上面的数据
浏览 8提问于2020-10-23得票数 1
回答已采纳
我有一个名为ARRIVAL DELAY的列，根据它的值，我必须编写一个python函数来自动执行数据标记。例如。小于5为早(0)，5到20为准时(1)，大于20为晚(2)。但该函数必须提前、按时和延迟地确定每个类别的范围(例如，使用bin大小)我的代码目前是硬编码的。 from pyspark.sql.functions import when,col,lit
flightsDf = flightsDf.withColumn("multiClassArrDelay", when((flightsDf.ARRIVAL_DELAY < 5), lit(0)).when((
浏览 34提问于2021-09-12得票数 1
我运行以下代码脚本 from pyspark.sql import Window
from pyspark.sql import functions as func
from pyspark.sql import SQLContext
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)
tup = [(1, "a"), (1, "a"), (2, "a"), (1, "b"), (2, "
浏览 19提问于2021-04-01得票数 1
回答已采纳
我有一个包含两列的pyspark dataframe，ID和Elements。"Elements“列中有list元素。它看起来像这样，
ID | Elements
_______________________________________
X |[Element5, Element1, Element5]
Y |[Element Unknown, Element Unknown, Element_Z]
我想用‘element’列中最频繁的元素组成一个列。输出应如下所示：
ID | Elements
浏览 6提问于2021-10-07得票数 1
我为协作过滤推荐系统编写了一个spark程序(Python3.6和Spark2.3.2)，该程序适用于2种情况：
Case 1:基于项的CF推荐系统Case 2:基于Min-Hash LSH的基于用户的CF推荐系统
我已经写了，训练和预测程序，有这两个案例。我的代码适用于基于用户的推荐，但是当我试图训练基于项的CF模型时，我会得到以下错误：
2020-10-18 20:12:33 ERROR Executor:91 - Exception in task 0.0 in stage 23.0 (TID 196)
org.apache.spark.api.python.PythonExceptio
浏览 6提问于2020-10-19得票数 1
我用PySpark创建了一个管道，它基本上遍历一个查询列表，每个查询都使用JDBC连接器在MySQL数据库上运行，将结果存储在一个火花DataFrame中，过滤其只有一个值的列，然后将其保存为一个Parquet文件。
由于我正在使用for循环查询列表，所以每个查询和列过滤过程都是按顺序进行的，所以我没有使用所有可用的CPU。
只要有CPU，我想要完成的是启动一个新进程(查询+过滤器+ Parquet持久化)。
注意到：我每次都要处理不同的输入(查询)，这与被问到的不同，在相同的输入中完成了不同的处理。另外，我不想指定同时运行多少个进程，相反，我希望使用第一个进程中可用的所有CPU，如果仍然有可
浏览 1提问于2018-05-25得票数 0
回答已采纳
我有一个在一列中有多个值的数据集，并且我想计算每个值在数据集的所有行中出现的次数。 initial dataset (example)
+----------------+
+ answers +
+----------------+
+ val1#val2#val3 +
+ val2 +
+ val3#val5 +
+----------------+
Values are separated by #.
goal:
+---------+-------+
+ values + count +
+---------+-------+
+
浏览 15提问于2019-10-06得票数 0
回答已采纳
1回答
我是Movielens的数据做一些分析。所以在u.item中，数据是以这种形式出现的。
movie id | movie title | release date | video release date |
IMDb URL | unknown | Action | Adventure | Animation |
Children's | Comedy | Crime | Documentary | Drama | Fantasy |
Film-Noir | Horror | Musical | Mystery | Romance | Sci-Fi |
Thriller |
浏览 0提问于2019-08-04得票数 0
回答已采纳
8回答
我们正在读取来自MongoDB Collection的数据。Collection列有两个不同的值(例如：(bson.Int64,int) (int,float) )。
我正在尝试使用pyspark获取一个数据类型。
我的问题是有些列有不同的数据类型。
假设quantity和weight是列
quantity weight
--------- --------
12300 656
123566000000 789.6767
1238 56.22
345 23
34
浏览 42提问于2017-07-11得票数 62
回答已采纳
1回答
电火花LSH与余弦相似
、、、
我有很多用户，每个用户都有一个相关联的向量。我想计算每个用户之间的余弦相似度。根据大小，这是禁止的。看起来，LSH是一个很好的近似步骤，我理解它将创建一个桶，在这里，用户被映射到同一个桶中，在这个桶中，它们很可能是相似的。在Pyspark中，下面的示例如下：
from pyspark.ml.feature import BucketedRandomProjectionLSH
from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col
dataA = [(0, Vectors.dense([1.0, 1
浏览 4提问于2022-06-10得票数 4
回答已采纳
1回答
我必须用两个任务在Airflow中运行两个模块。每个任务都有一个执行一些spark操作的PySpark模块。第二个模块使用在前一个会话中创建的数据帧并继续其操作。同样的SparkSession初始化，如何实现同样的效果？我尝试使用getActiveSession()，但由于任务1作业已完成，因此无法工作，因此当任务2运行时，会创建一个新的spark会话。 - [root@ ..dags]# cat tmp_spark_1.py
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("
浏览 32提问于2021-11-23得票数 0
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：
import pyspark.sql.functions as F
df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：
TypeError: 'DataFrame' object does not support item assignment
相反，这样做的实现方法是
df = df.withColumn('newcol', F.
浏览 1提问于2016-07-28得票数 1
回答已采纳
我是PySpark的新手。我想知道我可以用PySpark开发哪些项目。这样我就可以建立我的PySpark投资组合，并向未来的雇主展示我可以从事PySpark项目。感谢你一如既往的帮助。
浏览 3提问于2022-11-18得票数 1
1回答
我正在使用 in pyspark在AWS集群上训练一个包含大约400 k行和~9k列的数据帧上的二进制分类模型。我将此与当前的解决方案进行比较，该解决方案是在一个可以容纳内存中整个数据帧的大型XGBoost上运行的。
我希望我能在星火中更快地训练(并获得新的观测)，因为它将是分布/平行的。然而，当观察我的集群(通过ganglia)时，我看到只有3-4个节点有活动的CPU，而其余的节点只是坐在那里。实际上，从它的外观来看，它可能只使用一个节点来进行实际的培训。
我似乎在文档中找不到任何关于节点限制或分区的内容，也找不到任何与为什么会发生这种情况有关的内容。也许我只是误解了算法的实现，但我假设它的
浏览 1提问于2018-03-08得票数 4
回答已采纳
我试图使用一个简单的数据集来运行Logistic回归，以理解pyspark的语法。我有数据，看上去有11列，其中前10列是特性，最后一列(第11列)是标签。我想传递这10列作为特征和第11列作为标签。但是我只知道作为一个列传递，使用featuresCol="col_header_name"作为一个特性传递，我使用熊猫读取了csv文件中的数据，但我已经将其转换为RDD。以下是代码：
from pyspark.ml.classification import LogisticRegression
from pyspark.sql import SQLContext
from pys
浏览 0提问于2019-02-19得票数 3
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？ 我已经尝试了很多东西，但所有的代码都需要当前的格式，但如何转换为正确的时间戳，如果我不知道什么格式的csv文件。 我也尝试过下面的代码，但这是在创建一个空值的新列 df1 = df.withColumn('datetime', col('joining_date&#
浏览 16提问于2020-12-30得票数 2
我需要读取数据(来自一个包含5列的RedShift表，表的总大小约为500 job 1tb)，通过PySpark将数据从PySpark读入Spark，以完成每天的批处理任务。
是否有任何最佳做法：
我如何用S3存储数据的首选文件格式？(格式是否重要？)
最佳文件大小？
任何资源/链接，可以指出我的正确方向，也将发挥作用。
谢谢!
浏览 1提问于2019-07-10得票数 1
回答已采纳
1回答
我刚刚找到了一种将我的String数据run中的所有PySpark类型变量转换为分类变量的方法，这样我就可以在dataframe上运行决策树了。由于资源的限制，我不能使用熊猫，只能使用PySpark库。我已经确定了VectorIndexer是一种可能的解决方案，但是，我不明白如何转换所有String类型列，而认为这些列都是可能的。
谁能帮我弄清楚怎么做的语法吗？我想要的是这样的东西：
featureIndexer = VectorIndexer(inputCol=<list of input columns>, outputCol=<list of output column
浏览 1提问于2017-10-10得票数 0
回答已采纳
我在PySpark中有两个PySpark：
RDD1:
[(u'2013-01-31 00:00:00', u'a', u'Pab', u'abc', u'd'),(u'2013-01-31 00:00:00', u'a', u'ab', u'abc', u'g'),.....]
RDD2:
[(u'41',u'42.0'),(u'24',u'98.0'),....]
两个
浏览 7提问于2015-12-07得票数 5
我有两个文本文件。我需要复制一个文本文件的5-6-7列，并将这些列粘贴到另一个文本文件中。例如，文本文件的第一列如下；
text_1：
E GPS41 568026000 0.000000000000000E+00 1.097676240456553E+04 -1.668403004627044E+04 1.770513486005421E+04 2.140299562139315E+00 -5.351523203487980E-01 -1.876979500368582E+00 1.714052588162549E-05 1.390618031795355E-05 8.60516596487
浏览 0提问于2018-07-02得票数 1
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
这是我的表格: Lat_Long ? 我只想保留已标记的信息。 ? 因此，该表应该如下所示 ? 如何使用pyspark sql实现这一点，并使用python和字符串格式的列数据类型。
浏览 17提问于2021-01-03得票数 2
回答已采纳
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
示例：
数据帧1有10列。
数据帧2有1列
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
嗨，我是第一次发现火。使用spot fire (6.5版本)，我必须连接到来自两个不同数据源的两个表。我需要创建一个计算列，其中包含两个表中的列。但在同一时间，我只能使用一个数据源列导出公式。
我需要比较来自两个不同数据源的两列。
浏览 0提问于2015-04-14得票数 0
回答已采纳
我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。
import pyspark
import pyspark.sql.types as T
import pyspark.sql.functions as F
data = [0, 3, 0, 4]
d = {}
d['DenseVector'] = pyspark.ml.linalg.DenseVector(data)
d['old_DenseVector'] =
浏览 1提问于2016-07-31得票数 7
回答已采纳
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark来处理这种情况？感谢您的回复。 df[Name].show()
Java
Oracle
.NET
df1[Name].show()
Oracle
Scala
.NET
python
浏览 37提问于2020-09-03得票数 0
回答已采纳
2回答
优化大量列的不同值
、、、
我需要计算大量列(>20,000)的不同值。我现在使用pyspark.sql.functions.approxCountDistinct()来获得每个列的不同计数的近似值。这是超快(HyperLogLog)。在此之后，如果不同的计数低于某个阈值(如10)，则需要值。我有一个循环来完成这个任务。
distinct_values_list[cname] = df.select(cname).distinct().collect()
它非常慢，因为大多数时候，我有许多列要处理，可以是一半的列(10K)。难道没有办法让火花一次做很多列吗？似乎它只会并行化每个列，但不能同时执行多个列。
感谢任何我
浏览 2提问于2018-05-21得票数 0
回答已采纳
2回答
在PySpark中，可以使用列对象和字符串来选择列。这两种方法返回相同的结果。有什么不同吗？什么时候应该使用列对象而不是字符串？例如，我可以使用column对象：
import pyspark.sql.functions as F
df.select(F.lower(F.col('col_name')))
# or
df.select(F.lower(df['col_name']))
# or
df.select(F.lower(df.col_name))
或者我可以使用字符串来代替，并得到相同的结果：
df.select(F.lower('col_n
浏览 0提问于2020-11-09得票数 0
我正在对来自Teradata数据库的数据执行增量加载，并将其存储为一个拼花文件。因为Teradata中的表包含数十亿行，所以我希望我的PySpark脚本能够比较哈希值。
Teradata：
当前存储的Parquet文件：
我的PySpark脚本使用JDBC连接来调用teradata：
tdDF = return spark.read \
.format("jdbc") \
.option("driver", "com.teradata.jdbc.TeraDriver") \
.option("url", "jd
浏览 0提问于2019-01-16得票数 5
5回答
Union操作的列数相同
、、、
我正在经历联合和联合所有的逻辑和尝试的例子。让我困惑的是，为什么要在两个表中拥有相同数量的列才能执行union或union all操作？
如果我的问题很愚蠢，请原谅，但我在任何地方都找不到确切的答案。从概念上讲，只要存在一个公共列，合并两个表应该很容易，对吧？(就像连接操作一样)。但事实并非如此，我想知道为什么？
浏览 9提问于2013-01-31得票数 12
回答已采纳
1回答
火花放电条件爆炸
、、
我有如下数据
+----------+-----------------------------------+---------------------------------------------------------------------+
|athl_id |Interest |branch |
+----------+-----------------------------------+-------
浏览 0提问于2020-09-24得票数 1
回答已采纳
2回答
我正在尝试编写一个查询，该查询根据另一列的x和y行值返回所选列的行。
但是下面的查询将返回两个选定列的所有行，即使我已经指定了一个范围。有人能告诉我我做错了什么吗？
select username, password
from loginuser
group by username, password
having count(id) between '1' and '2'
浏览 0提问于2011-02-13得票数 0
回答已采纳
在连接两个数据帧时，我在pyspark中遇到了问题。第一个dataframe是一个单列的dataframe "zipcd"，第二个是四个列的dataframe。 每当我试图连接两个dataframe时，问题就会出现，因为Pyspark在我的新dataframe中返回我，关于zipcd的一列，它的所有值都是相同的(第一行在所有行中都是重复的，它不是这样的)。 例如： Zip.select("Zip").show()
+------------+
| Zip|
+------------+
| 6.0651002E8|
| 6.0623002E8|
浏览 30提问于2021-07-01得票数 1
我有一个EC2实例，我试图将PySpark配置为从S3读取。我为EC2实例设置了一个完整的access IAM角色，并在spark中使用了以下软件包：
com.amazonaws:aws bundle:1.11.563，org.apache.hadoop:hadoop:3.3.1
但是，我遇到了一些新的错误，我不知道这意味着什么：
org.apache.hadoop.fs.s3a.AWSClientIOException：： getFileStatus on S3A://bucket_name.content/mycsv.csv: com.amazonaws.SdkClientExcept
浏览 1提问于2022-02-22得票数 0
我想在pyspark代码中重置spark.sql.shuffle.partitions配置，因为我需要连接两个大表。但以下代码在最新的spark版本中不起作用，错误显示"no method "setConf“in xxx”
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import pyspark
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('loc
浏览 6提问于2017-10-01得票数 4
回答已采纳
我目前在本地的windows10系统上使用pyspark。pyspark代码运行得相当快，但将pyspark数据帧保存为csv格式需要花费大量时间。
我正在将pyspark数据帧转换为pandas，然后将其保存到csv文件中。我还尝试使用write方法来保存csv文件。
Full_data.toPandas().to_csv("Level 1 - {} Hourly Avg Data.csv".format(yr), index=False)
Full_data.repartition(1).write.format('com.databricks.spark.
浏览 126提问于2019-08-01得票数 5
1回答
创建一个分类市场产品的算法，所以我无法返回预测的标签，我尝试了几个命令，但它们都有一个错误(下面)。如何返回标签和百分比预测(我使用交叉验证)？
示例：
我想通知你的产品"7脉轮手镯7脉轮手镯，蓝色或黑色“，并知道哪个是标签和准确性(标签返回”手镯“为本产品)
训练数据
data = spark.createDataFrame([
("Bracelet"," 7 Shakra Bracelet 7 chakra bracelet, in blue or black."),
("Bracelet"," Anchor Bracelet
浏览 0提问于2018-12-03得票数 0
回答已采纳
1回答
我有一个列id，它的类型是int，但后来更改为bigint。它具有这两种类型的值。 from pyspark.sql.functions import *
from pyspark.sql.types import *
df = spark.read.parquet('hdfs path')
df = df.select("id", "code")
df=df.withColumn("id1", df["id"].cast(LongType()))
res1=df.select("id1",
浏览 107提问于2021-01-11得票数 0
1回答
我从两个不同的源中挖出两个数据集到Hive中。我使用以下命令在hive中创建了两个表的联合
create table db.table as select table 1 union select table 2
我在HiveContext的pyspark中使用了这个表来执行一些分析功能，比如对列进行字符串索引。
hc=HiveContext(sc)
data = hc.sql("select * from db.table")
from pyspark.sql import SQLContext, Row, HiveContext
from pyspark.ml.featur
浏览 0提问于2016-08-11得票数 0
2回答
我有表，一个，它存储用户id和他的起源和目的地的id。在表b中，有位置id和位置的特定名称。我想要做的是加入这些表，但是表b中的name列必须使用两次，因为我试图获得两个地址。我正试着读MySQL，但是一直做错了。任何帮助都将不胜感激。
table a
------------------------
| uid | to | from |
------------------------
| 1 | 1 | 2 |
------------------------
table b
---------------
| lid | name
浏览 2提问于2012-01-26得票数 1
回答已采纳
我已经使用以下代码创建了数据框： import pyspark
from pyspark.sql import functions as F
sc = pyspark.SparkContext()
spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A', 'C', 1)]
columns = ['Column1', 'Col
浏览 12提问于2020-06-15得票数 0
1回答
我使用Python将CSV转换为LIBSVM数据格式。LIBSVM的格式如下。第一列是目标。
0 0:1 1:2 2:1 4:11 6:4 7:7 8:1 9:99 10:70 11:1
0 0:1 1:2 2:1 4:8 5:1 6:3 7:7 8:1 9:99 10:62 11:1
我在星火中MLLib决策树中的代码是
from pyspark.mllib.tree import DecisionTree, DecisionTreeModel
from pyspark.mllib.util import MLUtils
from pyspark im
浏览 2提问于2016-05-01得票数 0
回答已采纳
1回答
我有2D数组，。我想要多个列1的元素，列2，列3，所有可能的组合，并将其放入新的一维数组，假设每列包含4个元素，那么包含组合乘法的最后一个数组，所有列的数组大小为4*4*4=64 (所有组合)。
ans[0]=array[0,0]*array[0,1]*array[0,2]
ans[1]=array[0,0]*array[0,1]*array[1,2]
ans[2]=array[0,0]*array[0,1]*array[2,2]
.
.
.
ans[64]=.....
如果你能帮我解决这个问题，我将不胜感激。
浏览 1提问于2015-09-03得票数 0
我正在尝试迭代一个大型Pyspark Dataframe列中的所有不同值。当我尝试使用.distinct().collect()执行此操作时，即使只有两个不同的值，它也会发出“任务太大”警告。警告消息：
20/01/13 20:39:01 WARN TaskSetManager: Stage 0 contains a task of very large size (201 KB). The maximum recommended task size is 100 KB.
下面是一些示例代码：
from pyspark.sql import SparkSession
spark = Spar
浏览 1提问于2020-01-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
