如何在pyspark dataframe中找到相似的行？
在pyspark中，可以使用机器学习库MLlib中的特征提取和相似度计算方法来找到相似的行。以下是一种常见的方法：
- 导入必要的库和模块：
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.feature import MinHashLSH
from pyspark.ml.linalg import Vectors- 创建一个VectorAssembler对象，将需要比较的列组合成一个特征向量：
assembler = VectorAssembler(inputCols=["col1", "col2", ...], outputCol="features")
df = assembler.transform(df)- 创建一个MinHashLSH对象，并设置参数：
mh = MinHashLSH(inputCol="features", outputCol="hashes", numHashTables=5)
model = mh.fit(df)- 使用MinHashLSH模型对数据集进行转换，生成相似行的近似邻居：
df_transformed = model.transform(df)- 根据相似度阈值筛选出相似的行：
threshold = 0.8
df_similar = df_transformed.filter("distCol < {}".format(threshold))在上述代码中，"col1"、"col2"等是需要比较的列名，可以根据实际情况进行修改。numHashTables参数表示哈希表的数量，可以根据数据集的大小进行调整。threshold是相似度的阈值，可以根据需求进行调整。
推荐的腾讯云相关产品是腾讯云的云大数据分析服务TencentDB for Apache Spark，它提供了强大的分布式计算和分析能力，可以方便地处理大规模数据集。您可以通过以下链接了解更多信息： TencentDB for Apache Spark
请注意，以上答案仅供参考，具体的实现方法和推荐产品可能因实际需求和环境而异。
相关·内容
.|
+-------+-----------------------------+ 如何根据给定用户的user_id找到与其最相似的用户？我正在考虑将给定的user_id与其他行( user_ids )相乘，以找到它们的相似性，然后以某种方式对结果表进行排序，并返回topmost user_ids。如果它是正确的方式，如何在pyspark中实现它？
浏览 13提问于2020-08-24得票数 0
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functions\ .getOrCreate()
# Create DataFrame representi
浏览 3提问于2016-12-29得票数 3
回答已采纳
我需要迭代pyspark.sql.dataframe.DataFrame.DataFrame的行。我以前在pandas中用iterrows()函数做过，但我需要在不使用pandas的情况下为pyspark找到类似的东西。如果我执行for row in myDF:，它将迭代columns.DataFrame
谢谢
浏览 1提问于2018-07-03得票数 1
回答已采纳
1回答
我想根据DataFrame中一行的第一个字符来分割文件。原始数据有一列，数据包括输入样例文件(Pyspark)：colum
浏览 3提问于2019-10-10得票数 1
回答已采纳
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
1回答
我需要编写一个自定义的pySpark，我遇到了这个例子。在类似的行中，如线程的最后一部分所示，我提出了以下函数 StructField("keybloomfilter = BloomFilter(8, 1) p=bloomfilter
return pd.DataFrame([[gr]
浏览 1提问于2019-04-04得票数 1
1回答
首先，我使用下面的函数列出了我在其中一篇文章中找到的数据帧然后我试着从列表中删除未使用的。如何在pyspark上删除数据帧以获得一些内存？或者你还有其他的建议吗？谢谢。
浏览 0提问于2018-10-31得票数 4
回答已采纳
1回答
对于pyspark数据帧中的每一组坐标，我需要在另一个数据帧中找到最接近的一组坐标 我有一个包含坐标数据的pyspark dataframe (dataframe a)： +---------86.77030181884766| | 34.9428028| -97.8180194| 和另一个类似的(dataframe b)：(为了理解，只
浏览 22提问于2020-07-20得票数 0
1回答
例如，术语，相关术语，相关行，行。我已经使用pyspark计算了TF-IDF。寻找使用pyspark在不同行中获取相关名称的方法。
浏览 11提问于2018-02-23得票数 0
= hiveContext.sql("SELECT * FROM my_table")<class 'pyspark.sql.dataframe.DataFrame有一篇优秀的StackOverflow文章展示了如何在PySpark：中执行PCA>>>
浏览 1提问于2016-10-06得票数 4
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'isNull’。如何在不对每一列进行检查的情况下获取具有空值的行</
浏览 25提问于2018-11-27得票数 5
3回答
寻找相似的阶段
、、、
如何在大量的阶段(如tweet或电影评论)中找到相似的阶段？ate apples', 'I can swim']
df = pd.DataFrame
浏览 24提问于2021-06-06得票数 0
回答已采纳
我有一个PySpark DataFrame，类似：------------|201 |efgh ||133 |mnop|mylist = ['abcd', 'ijkl', 'efgh', 'efgh', 'abcd', 'ijkl', 'ijkl']
我希望使用pyspar
浏览 2提问于2019-08-20得票数 1
回答已采纳
2回答
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。
浏览 0提问于2018-08-20得票数 4
在python或R中，可以使用索引对DataFrame进行切片。df.iloc[5:10,:]
在pyspark中有没有类似的方式来根据行的位置对数据进行切片？
浏览 3提问于2018-10-13得票数 4
回答已采纳
在Pandas dataframe中，我可以使用data.iloc[1:1000,:]获取前1000行。如何在PySpark中做到这一点？
浏览 24提问于2021-01-11得票数 1
回答已采纳
1回答
我正在处理一个dataframe，它的每一行都由不同的python字典组成。我希望能够将这些数据存储到磁盘中并移动这些数据，但是将数据保存到.csv文件格式将使格式化信息消失。是否有任何格式可以在不放松模式的情况下导出dataframe？
我可以用.parquet格式在pyspark中做类似的事情。熊猫中有类似的东西吗？
浏览 1提问于2017-08-16得票数 1
回答已采纳
1回答
用PySpark计算形状值
、、、、
我正在寻找一种方法来减少在我的大型数据集上计算SHAP值所需的计算时间(大约180米行，6个特性)，我遇到了这个，讨论了如何在SHAP上使用PySpark。def calculate_shap(iterator: Iterator[pd.DataFrame]) -> Iterator[pd.DataFrame]:
for X in iterator代码片段演示了如何在PySpark中使用Pandas并行化应用扩展程序。我们定义了一个名为calculate_
浏览 6提问于2022-07-28得票数 2
1回答
我是Spark的一个程序员，但是我需要在一个项目中用PySpark来做一些事情。我想知道如何在=>中使用自定义行PySpark行映射转换。例如:我有一个dataframe mydf：1 5 33 9 10
我想将这个dataframe转换为另一个dataframe，并在每一行上执行map操作。因此，我设计了一个map函数，它以一行作为输入，并生成一个新<
浏览 6提问于2017-10-20得票数 0
回答已采纳
2回答
下面的DataFrame应该根据标志列进行过滤。如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。import pysparkfrom pyspark.sql.window import Window
from pyspark.sql.fu
浏览 3提问于2022-06-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
