如何在pyspark数据帧中拆分数字并添加连字符？
在pyspark数据帧中拆分数字并添加连字符的方法是使用正则表达式和pyspark的内置函数。以下是一个完整的答案：
在pyspark中，可以使用正则表达式和内置函数来拆分数字并添加连字符。首先，我们需要导入pyspark的相关模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace接下来，我们可以创建一个SparkSession对象，并读取数据帧：
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("data.csv", header=True, inferSchema=True)假设我们的数据帧包含一个名为"numbers"的列，其中包含数字。我们可以使用正则表达式和regexp_replace函数来拆分数字并添加连字符：
df = df.withColumn("numbers_with_hyphen", regexp_replace("numbers", r"(\d+)", r"\1-"))上述代码中，regexp_replace函数的第一个参数是要替换的列名，第二个参数是正则表达式模式，用于匹配数字，第三个参数是替换的字符串，其中\1表示匹配到的数字。
最后，我们可以查看结果：
df.show()这样，我们就在pyspark数据帧中成功拆分数字并添加了连字符。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云数据库服务：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能服务：https://cloud.tencent.com/product/ai
- 腾讯云物联网服务：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发服务：https://cloud.tencent.com/product/mobdev
- 腾讯云存储服务：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙服务：https://cloud.tencent.com/product/vr
- 腾讯云网络安全服务：https://cloud.tencent.com/product/ddos
相关·内容
2回答
我想在一列中拆分所有数字。 编号：123456789012 成为123-4567890-12 所以我想在位置4和10添加-。 我不想做新的专栏
浏览 7提问于2021-02-05得票数 2
回答已采纳
我很难根据连字符分隔符将数据帧列拆分为两行。from pyspark.mllib.linalg.distributed import IndexedRow
+----------+| 12-cheese||11-almonds|所以我想要两个列，一个是数字</e
浏览 0提问于2019-05-10得票数 0
回答已采纳
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
我在spark中有一个数据帧，大概是这样的：------ | ----2 | SOMEOTHERCHARACTERS3 | ANOTHERSTRING我想要做的是从列中提取前5个字符加上第8个字符，并创建一个新列，如下所示：1 | STRIN_F
2 | SOM
浏览 0提问于2016-12-02得票数 13
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrameO: pyspark.rdd.PipelinedRDD
如何在拆分此列的同时保持数据框属
浏览 0提问于2016-06-22得票数 0
我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。(作为参考，我尝试做的是，如果数据帧中的列实际上具有字符串值，则执行一个str.split()。)
有什么想法吗？注意:我很想知道Pandas方面的答案，而不必事先显式地确定哪些列实际上有字符<
浏览 1提问于2020-06-23得票数 1
我需要使用pyspark在字符串的最后一个字符(即在spark数据帧的列中)之前添加相同的数字。例如，假设我有字符串2020_week4或2021_week5。我需要在4和5的前面添加一个0，如下所示：2020_week04或2021_week05。更大的背景是，替换是个位数周的条件-only。col("week")) == 10, regexp_replace(week, REGEX_PATTE
浏览 35提问于2021-01-26得票数 0
回答已采纳
我已经将数据从文本文件加载到Spark，在数据类型拆分更改之后。如何在不更改数据类型的情况下拆分数据，或者如何将拆分的数据转换为原始数据类型？我的代码conf = SparkConf().setMaster("local").setAppName("Movietimestamp
浏览 2提问于2020-10-22得票数 0
1回答
我正在通过编程将软连字符插入到长词中，并且遇到异常字符的问题，特别是：然后，我的脚本遍历每个单词，测量长度(mb_strlen(
浏览 3提问于2011-12-23得票数 0
回答已采纳
我试图通过拆分行来规范数据库，以便每行只包含一个条目。如何在Excel中查找/计数字符串。我知道你可以为整个细胞做值我需要搜索一个单元，找出有多少连字符
浏览 7提问于2014-01-27得票数 2
回答已采纳
2回答
我希望从名为"filename“的字符串列中提取用户ID，并根据原始字符串中特定字符的索引创建一个新的ID列。“文件名”中字符串的两个示例，ID为2或3位数字：
df['ID &
浏览 11提问于2021-12-22得票数 2
我有一个大的数据框架，列是一个数字字符串，如"1，2，3，4“。我想增加一个新的栏，这是这些数字的平均数。4", "2, 4, 6, 8", "3, 6, 9, 12") df$a <- as.character(df$a)
现在，我可以使用str拆分来拆分字符串，并返回给定行的平均值，其中[1]指定了第一行
浏览 3提问于2015-06-16得票数 4
回答已采纳
但是仍然不理解:因为在输入框中最初没有数据，但是当用户开始键入函数时开始调用其中的方法，但是第一行将$(this).val().split("-").join("")；将查找要拆分的连字符...但是，如果用户键入的数据包含任何连字符就像你上面解释的那样，例如，"a-b-c“上的拆分(”-“)将给出"a"，"b"，"c”....this数据</em
浏览 1提问于2016-09-28得票数 0
给定下面的数据框，我想将numbers列拆分为一个数组，数组中原始数字的每个元素包含3个字符+---+------------------+|744| 000000|+---+------------------+
预期的数据帧---+-----------------
浏览 0提问于2018-11-01得票数 2
回答已采纳
1回答
如何通过逗号将字符串列拆分为具有应用模式的新数据帧？作为示例，下面是一个包含两列(id和value)的pyspark DataFrame df = sc.parallelize([(1, "200,201,hello"), (2, "23,24,hi")]).toDF(["id", "value"]) 我希望获取value列并将其拆分到一个新的DataFrame中，并应用以
浏览 18提问于2021-11-10得票数 1
在pyspark中，我遇到了将数组拆分成单独列的问题。数组长度可变(范围为0-2064)。我试图重用我发现的一段代码，但由于数据太大，它不起作用。这是我在将数组转换为字符串(dec_spec_str)后尝试的部分。这需要永远的时间。任何帮助都是非常感谢的。alias("val") .groupBy("hashval").pivot("name").agg(f.first("val")) 我还想到了一个想法
浏览 82提问于2020-11-01得票数 0
4回答
我曾经读过很多使用它们的教程....Some应该是一个10位数字，你会遇到像0-85131-041-9这样的数字，它不能很长。例如，使用不带连字符的数字。
那么，应该是哪种类型呢？有什么建议吗？
浏览 2提问于2011-06-14得票数 4
回答已采纳
我想为下面的数据集找到Jaccard索引，下面是我的方法：1 [dde,jhb..]db_matches.write.parquet(file_location)
现在，它运行了大约4个小时，但它仍然没有完成，我相信它不应该花这么多时间，因为数据不是那么大
浏览 11提问于2022-10-11得票数 0
我有一个包含以下列的数据帧(dtype='O')： OUTPUT0NaN5.67 并希望添加一个新列，其中包含小于0的数字的小数位数： OUTPUT DECIMAL_PLACES1 03e-09 90.4 1
5.67 0 我天真地尝试转换为字符串，然后拆分(‘.’)但是科学记数法不喜欢它注意:我有一个很大的
浏览 12提问于2019-08-27得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
