如何拆分pyspark中包含forwardslash的列表
在pyspark中，如果要拆分包含forwardslash（正斜杠）的列表，可以使用split函数。split函数可以根据指定的分隔符将字符串拆分成多个子字符串，并返回一个包含拆分后子字符串的列表。
以下是拆分包含forwardslash的列表的示例代码：
from pyspark.sql.functions import split
# 假设有一个包含forwardslash的列表
data = [("a/b/c",), ("d/e/f",), ("g/h/i",)]
df = spark.createDataFrame(data, ["path"])
# 使用split函数拆分列表
split_df = df.select(split(df.path, "/").alias("split_path"))
# 显示拆分后的结果
split_df.show(truncate=False)输出结果如下：
+-------------+
|split_path |
+-------------+
|[a, b, c] |
|[d, e, f] |
|[g, h, i] |
+-------------+在上述示例中，我们首先创建了一个包含forwardslash的列表，并将其转换为Spark DataFrame。然后，我们使用split函数将列表中的每个元素按照forwardslash进行拆分，并将拆分后的结果存储在名为"split_path"的新列中。最后，我们显示了拆分后的结果。
需要注意的是，split函数的第一个参数是要拆分的列，第二个参数是分隔符。在本例中，我们使用"/"作为分隔符进行拆分。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云数据库服务：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能服务：https://cloud.tencent.com/product/ai
- 腾讯云物联网服务：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发服务：https://cloud.tencent.com/product/mobdev
- 腾讯云存储服务：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙服务：https://cloud.tencent.com/product/ugc
相关·内容
嗨，我有一个列表，如下所示 [(datetime.datetime(2020,8,20,19,40,27,tzinfo=tzlocal()), 'AAA/v1/b1/c1/text.txt'),
(datetime.datetime(2020,8,20,14,48,28,tzinfo=tzlocal()), 'BBB/v2/b2/c2/text1.txt')] 我如何拆分，这样输出就像下面这样
浏览 15提问于2020-08-21得票数 0
回答已采纳
= string.Empty;我有一个上面的对象的列表。如果列表中的两个日期是相同的，而另一个日期是不同的，我需要以字符串的形式输出这样的内容：我有下面的代码可以工作dateList是一个DateLookupItem列表：
List<
浏览 1提问于2014-11-18得票数 0
回答已采纳
我有一个数据集，如下所示我正在尝试使用pyspark标记或过滤列表中包含单词的行所以本质上它应该返回第一行和第三行。它应该返回第二行，因为树的末尾是s。我只想要全字匹配。
我的想法是字符串拆分字符串列，循环遍历引用列表，有没有更好的方法？
浏览 2提问于2020-10-28得票数 1
1回答
我已经创建了一个pyspark数据帧，形象化地看起来像这样： >>> df
------------------------------30 | 50 | ... |300 | 350 | 50 | ... |500 | 5 然后我还创建了随机的行号列表，如下所示： my_list = [[2, 5],[4, 1, 3]] 根据这个列表的</e
浏览 16提问于2019-04-18得票数 0
回答已采纳
在Spark sql中，我使用Python，并尝试处理以下SQL的输出RDD。这是一个推文列表。我需要拆分单词并提取@，但是当使用map并尝试按空格拆分时，我得到了下面提到的异常消息 process()
File "&#x
浏览 1提问于2016-11-17得票数 2
1回答
我正在使用spark，并且有一个包含用户ID和产品评论的数据框架。我需要过滤来自评论的停止词，我有一个文本文件和停止词来过滤。from pyspark.sql.functions import col
stopWords = spark.read.text('/FileStore/tables/english.txt
浏览 6提问于2022-04-16得票数 1
回答已采纳
broadcast_variable2.value[x] < 1: return False这些函数包含在我的主要pyspark脚本中。现在，为了便于维护，我想将它们拆分成一个模块文件(我有两个pyspark脚本用于不同的用途，但它们具有相同的过滤器。)，将其余部分保存在不同的文件中
浏览 1提问于2016-11-10得票数 0
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
2回答
我的问题是，我有一个客户，让我们称之为‘邪恶公司’，这为我的公司提供了许多业务，通过各种项目，我们使用GitHub repos。在克隆时，我希望我的员工能够在默认情况下将'TotallyNotPolluting‘回购复制到文件夹'EvilCorp’中。└── CoveringUpPolluting
这样，所有的repos都被组织到客户机文件夹中，而员工没有为此采取额外的步骤。这个是可能的吗？要让克隆操作创建，然后克隆到父目录(如果不存在)或克隆到父目
浏览 2提问于2016-09-15得票数 2
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrame它会转换成流
浏览 0提问于2016-06-22得票数 0
这可能是一个简单的问题，但我无法继续前进，因为我刚刚开始学习pyspark。3850181 4276958 4302220 4333543 4498476 4926337 5573922 5661442 5697736 该程序应该通过冒号拆分值并将其存储为in，并通过空格将文本拆分并将其存储为链接，然后返回链接中不存在的in。每一行都以页面ID开头，然后是所有页面的列表。例如，在冒号(：)称为ID之前，在冒号(：)称为链接之后，可以
浏览 0提问于2020-04-02得票数 0
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。(旁白:这与PySpark的方法没有什么不同)
但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后
浏览 1提问于2016-06-03得票数 1
回答已采纳
在PySpark中，如何将所有列中的字符串拆分为字符串列表？a, q, e]|[d, r, y]|+---------+---------+outDF = df.withColumn
浏览 0提问于2018-02-27得票数 4
回答已采纳
我尝试从名为event_name的列中删除所有包含"/“字符的行event_name EKuzmanov/Lazov我正在使用下面的代码来做这件事，但是它似乎不能处理它，也许可以将forwardslash作为
浏览 1提问于2018-01-20得票数 1
回答已采纳
如何在PySpark中将一个6位数拆分为一列4位数和一列两位数(例如: 201452分为2014年和52)。它应该系统地拆分第四个数字之后的6个数字。我已经尝试了pyspark.split(...)方法，但我不能根据位置拆分6位数字。如何指定此位置？
浏览 23提问于2019-05-15得票数 0
回答已采纳
4回答
上下文：I有一个包含2列的DataFrame：word和vector。其中，“向量”的列类型为VectorUDT。问题：提前感谢
浏览 10提问于2016-07-14得票数 68
回答已采纳
我有一个firstname.lastname@email.com格式的电子邮件列表。我想创建一个新的列，只有从电子邮件地址提取的名字和姓氏。data = [{"Email": "john.doe@email.com", "Role": "manager"},
{"Email": "jane.doe@email.comemail
浏览 14提问于2022-10-04得票数 0
回答已采纳
2回答
平分一列并取n个元素
、、、
我想取一个列，用一个字符拆分一个字符串。与往常一样，我知道方法拆分将返回一个列表，但在编写代码时，我发现返回的对象只有getItem或getField方法，其中包含来自API的以下描述：
@ item (1.3) def getItem(self，key)：“”是一个表达式，该表达式在ordinal位置从列表中获取项，或从dict中按键获取项。@自(1.3) def getField(self，name)：“”在StructFiel
浏览 0提问于2019-03-13得票数 2
回答已采纳
1回答
如何通过逗号将字符串列拆分为具有应用模式的新数据帧？作为示例，下面是一个包含两列(id和value)的pyspark DataFrame df = sc.parallelize([(1, "200,201,hello"), (2, "23,24,hi")]).toDF(["id", "value"]) 我希望获取value列并将其拆分到一个新的DataFrame中<
浏览 18提问于2021-11-10得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
