当列文本包含的单词超过10个时，过滤pyspark DataFrame
可以通过以下步骤实现：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import size, split, col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建一个示例DataFrame：
data = [("1", "This is a sample sentence with more than 10 words"),
("2", "Another example with more than 10 words in this text"),
("3", "Short sentence")]
df = spark.createDataFrame(data, ["id", "text"])
df.show()输出：
+---+--------------------+
| id| text|
+---+--------------------+
| 1|This is a sample ...|
| 2|Another example w...|
| 3| Short sentence|
+---+--------------------+- 使用split函数将文本拆分为单词，并使用size函数计算单词数量：
df_filtered = df.filter(size(split(col("text"), " ")) > 10)
df_filtered.show()输出：
+---+--------------------+
| id| text|
+---+--------------------+
| 1|This is a sample ...|
| 2|Another example w...|
+---+--------------------+在上述代码中，我们使用split函数将文本按空格拆分为单词，并使用size函数计算单词数量。然后，我们使用filter函数过滤出单词数量大于10的行。
这种过滤方法适用于pyspark DataFrame中的任何列，只需将col("text")替换为目标列即可。
对于腾讯云相关产品和产品介绍链接地址，由于不提及具体的云计算品牌商，无法给出具体的推荐链接。但是，腾讯云提供了丰富的云计算服务，包括计算、存储、数据库、人工智能等方面的产品，可以根据具体需求选择适合的产品。可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多信息。
相关·内容
我有一个pyspark.sql.dataframe.DataFrame，我想保留(过滤)其中一列(称为text)超过10个单词的所有行。
浏览 9提问于2019-12-07得票数 0
1回答
删除由重复字母组成的单词
、、、
我有一个包含文本数据的dataframe列。它几乎没有完全由重复字母组成的单词，也没有几个部分由重复字母组成的单词。我想删除由完全重复的字母组成的单词，只保留第一次出现的字母(如果重复字母的计数超过2)在dataframe列中。该怎么做呢？例如，如果我的datafra
浏览 15提问于2019-03-31得票数 0
回答已采纳
我有一个spark数据框，其中的" text“列有一些文本。我想要计算出现各种单词的行数-本质上是出现“术语”的“文档”的数量-以及相关的计数，如最频繁的单词，具有最频繁单词的行(或称为文档)。我正在使用来自pyspark.ml.feature的HashingTF。但是似乎找不到一种有效的方法来从输出中提取这些信息。# As an ex
浏览 25提问于2021-08-31得票数 0
回答已采纳
1回答
我有一个包含一些单词的CSV文件。总共没有。csv文件中的字数不会超过50k条记录。
我有一个从具有keywords列的JSON文件创建的Spark Dataframe。我需要做的是从dataframe中过滤出其keywords列值与CSV文件中的值匹配的记录。这里，匹配表示csv文件中的单词
浏览 2提问于2019-05-31得票数 0
我有一个大的新闻文章数据集加载到一个PySpark DataFrame中。我感兴趣的是将这个DataFrame过滤到包含其正文文本中某些感兴趣的单词的一组文章。目前，关键字列表很小，但我还是希望将它们存储在DataFrame中，因为将来该列表可能会扩展。，以便它只包含body字符串包含keyword_df['city']中任何
浏览 2提问于2017-09-28得票数 1
回答已采纳
1回答
所以我有一个表(示例)我正在使用pyspark dataframe API来过滤那些从未获得过金牌的NOC，下面是我编写的代码from pyspark.sql importSQLContext
from pyspark.sql.functions import *
|Philippines
浏览 1提问于2019-11-15得票数 0
我有一个很大的pyspark.sql.dataframe.DataFrame，我想保留(所以filter)保存在location列中的所有行，其中的URL包含预先确定的字符串，例如'google.com我试过了：df.filter(sf.col('location').contains('google.co
浏览 2提问于2017-01-27得票数 66
回答已采纳
我正在尝试使用pandas过滤excel电子表格，并将过滤后的数据保存到新的工作表中。first sheet of your excel file
df.to_excel', sheet_name='new data') #Saving to a new sheet called Filtered Dat
浏览 0提问于2021-11-26得票数 0
我想当userid=22650984.How在pyspark平台上更新它的价值?谢谢你的帮助。
浏览 8提问于2018-04-08得票数 11
回答已采纳
我有一个pyspark.sql.dataframe，其中每行都是一篇新闻文章。然后，我有一个RDD，表示每篇文章中包含的单词。我想将单词的RDD作为名为' words‘的列添加到我的新文章数据框中。我试过了但是我得到了一个错误Data
浏览 0提问于2017-02-09得票数 5
我正在学习Python，也许是真实的案例场景，我得到了一项任务，来过滤包含超过3个单词的公司的名称。它在名为“公司名称”的列中，dataframe称为"data“。我设法把他们列入名单，并最终也进入了dataframe。但是，在dataframe中，我在列的位置找到了行，在行中找到了列。感觉就像绕着它走。require
浏览 4提问于2022-01-05得票数 0
回答已采纳
我正在使用ApacheSpark1.6.2但是，我必须首先将它转换为RDD来进行映射，以获得我想要的数据(列)。映射RDD很好，但是当涉及到将RDD转换为DataFrame时，火花抛出一个错误。800万行，但是当我将行减到只有< 500行时，程序就可以正常工作了。我不知道星火是否有行限制什么的，有任何方法可以转换我的RDD吗？
或者
浏览 3提问于2017-01-14得票数 4
回答已采纳
我有一个DataFrame，它将一个特定的文本存储在多个列中。我正试图过滤掉具有此值的DataFrame中的所有行。col41002,,apple,,1004,pear,orange,apple,
考虑到上面的示例，我尝试过滤所有包含单词apple的行以及该行的id。
浏览 4提问于2019-11-21得票数 1
回答已采纳
我有一个包含随机文本的专栏，我需要通过创建一个新的专栏来过滤其中的一个单词。你能帮我一下吗？Univ )","B":"Webometrics : 96 (Nom propre ); Shanghai Thématique","C":"Webometrics : 164 "}
浏览 8提问于2022-05-17得票数 1
当单元格不包含给定文本时，我需要从列创建一个列表。在上面的例子中，我想排除包含(Archive，Rollback，rollback)这几个单词的文件夹，如下所示。
=countif(B2:B20,"<>*Archive*")是否可以使用数组公式？其中，可以更改=ARRAYFORMULA(B2:B20)以排除B2
浏览 42提问于2021-05-14得票数 0
回答已采纳
1回答
用熊猫词典替换数据栏中的关键词
、、、、
我有一个包含4列的dataframe，其中一列名为action_description，它包含“空闲文本”，恢复为解决问题所做的不同操作。本专栏中的单词有时是写错的，我们有一个字典，用于所有著名的错误词(例如: REPLCD ->替换，.)代码：
impo
浏览 1提问于2018-05-17得票数 0
回答已采纳
通过使用Python，我想从文本中删除一些单词，这些文本由如下所示的列表组成(例如，text_list由5个文本组成，每个文本由大约4到8个单词组成，以及5个单词的删除单词列表)： text_list["obama", "yes", "we", "can"]]
remove_words = ["hello", &qu
浏览 20提问于2019-01-19得票数 0
回答已采纳
1回答
动态创建spark中的多列
、、、、
对于每个子段，过滤条件可在底层字典中用于子段，即a，b，c，d，f。此外，子段字典键的筛选条件也是pyspark dataframe的列名。我想要为每个段一次创建吡火花数据帧中的子段列，当满足筛选条件时，每个子段列的值为1，否则0，类似于， pyspark_dataframe.withColumndict_se
浏览 4提问于2017-09-11得票数 1
回答已采纳
1回答
我想执行一个基于Levenshtein距离的连接。
我试图通过将每个描述与指示相匹配来连接两个表(它们是疾病的文本描述)。理想情况下，它们需要是相同的，但如果两个文本是不同的，我希望选择匹配的</e
浏览 1提问于2018-01-24得票数 3
回答已采纳
我正在尝试将我的excel文件导入Azure-DataBricks机器中的PySpark，我必须将其移动到PySpark Dataframe。我无法执行此操作。pandas.read_excel('/dbfs/FileStore/tables/Time_Payments.xlsx')执行上述操作时，Error : field Addition
浏览 2提问于2018-09-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
