用于两列的PySpark上的regexp_replace
regexp_replace是PySpark中的一个函数，用于在字符串中使用正则表达式替换匹配的部分。它接受三个参数：输入字符串、正则表达式模式和替换字符串。
该函数的作用是将输入字符串中与正则表达式模式匹配的部分替换为指定的替换字符串。
在PySpark中，可以使用regexp_replace函数来处理两列数据。假设有两列数据column1和column2，我们想要在column1中匹配正则表达式模式，并将匹配的部分替换为column2中的值，可以使用如下代码：
from pyspark.sql.functions import regexp_replace
df = df.withColumn("new_column", regexp_replace(df.column1, "正则表达式模式", df.column2))上述代码中，df是一个DataFrame对象，column1和column2是DataFrame中的两列数据。regexp_replace函数将column1中与正则表达式模式匹配的部分替换为column2中的值，并将结果存储在新的列new_column中。
regexp_replace函数的应用场景包括数据清洗、字符串替换等。例如，可以使用regexp_replace函数将文本中的特殊字符替换为空格，或者将某个字段中的特定字符串替换为其他值。
腾讯云提供了弹性MapReduce（EMR）服务，可以用于大数据处理和分析。EMR支持PySpark，可以在云上进行大规模数据处理和分析任务。您可以通过以下链接了解更多关于腾讯云EMR的信息：腾讯云EMR产品介绍
请注意，以上答案仅供参考，具体的解决方案可能因实际情况而异。
相关·内容
我有一组简单的地址数据，如下所示；简单地用缩写替换街道名称：
14851 Jeffrey Rd
43421 Margarita St
110 South Ave
在我的电火花程序中，我只是简单地使用regexp来替换缩写，比如“路”、“街”等等。
from pyspark.sql import *
from pyspark.sql.functions import when
from pyspark.sql.functions import col, regexp_extract
address = [(1,"14851 Jeffrey Rd","DE"),(2
浏览 6提问于2021-11-10得票数 0
回答已采纳
我希望从字母数字字符串列中提取数字数字到另一列，该列将只包含数字，而不包含使用pyspark的字母表。
浏览 0提问于2021-08-18得票数 0
2回答
我正在编写一个程序来修复数据库列值(CSV输入)，其中包含从各种数据源连接的数字。
问题是，他们有数千个分隔符和十进制分隔符使用一个点“。
例：
100.000.000 -> 10000000
9.000 -> 9000
0.600000 -> 0.6 (小数)
12.000.000 -> 12000000
0.200000 -> 0.2 (小数)
1.000 -> 1000
700.000 -> 700000
我尝试过条件正则表达式，但没有找到正确的方法，因此我不得不分两个阶段(“什么时候”和regex提取)：
i
浏览 1提问于2018-10-26得票数 0
回答已采纳
我有以下名为A的数据帧，它由两列组成： value的列类型为整型。我想要将输出值更改为类似整数的值。因此，例如，第一行的预期结果是-782543，第五行是-614278。我想我只需要使用Pyspark从这一列中删除逗号。 有什么建议吗？非常感谢！ ?
浏览 134提问于2021-11-01得票数 0
回答已采纳
1回答
带数组的爆炸列- PySpark
、、、、
--我有一个列，其数据如下：
[[[-77.1082606, 38.935738]] ,Point]
，我想把它分开，就像：
column 1 column 2 column 3
-77.1082606 38.935738 Point
怎么可能使用PySpark，或者使用Scala (Databrick3.0)？我知道如何炸柱，但不知道如何拆开这些结构。谢谢！
编辑:下面是列的架构：
|-- geometry: struct (nullable = true)
| |-- coordinates: string (n
浏览 3提问于2017-09-20得票数 3
回答已采纳
2回答
用电火花截断字符串
、、、
我目前正在使用Databricks开发PySpark，我正在寻找一种像excel函数那样截断字符串的方法。例如，我想将DataFrame 8841673_3中的ID列更改为8841673。
有人知道我该怎么做吗？
浏览 0提问于2017-12-16得票数 1
回答已采纳
1回答
我有一个火花数据，它看起来是这样的：
+----+------+-------------+
|user| level|value_pair |
+----+------+-------------+
| A | 25 |(23.52,25.12)|
| A | 6 |(0,0) |
| A | 2 |(11,12.12) |
| A | 32 |(17,16.12) |
| B | 22 |(19,57.12) |
| B | 42 |(10,3.2)
浏览 2提问于2021-04-20得票数 1
回答已采纳
5回答
我有一个模式的数据框架(business_df)：
|-- business_id: string (nullable = true)
|-- categories: array (nullable = true)
| |-- element: string (containsNull = true)
|-- city: string (nullable = true)
|-- full_address: string (nullable = true)
|-- hours: struct (nullable = true)
|-- name: string (nullable = tr
浏览 10提问于2016-02-21得票数 9
回答已采纳
我有的Firstname和Middlename列。Middlename列中有空值。
customer_df=
FName Middlename
Avi null
Chec Bor-iin
Meg null
Zen Cha-gn
我写了UDF来脱光催眠药
from pyspark.sql.functions import col, udf, upper, lit, when
replacehyphens = udf(lambda string_val: string_val.replace('-',''))
customer_df=customer
浏览 1提问于2018-11-06得票数 2
回答已采纳
2回答
我有一个dataframe (包含更多的行和列)，如下所示。
样本DF：
from pyspark import Row
from pyspark.sql import SQLContext
from pyspark.sql.functions import explode
sqlc = SQLContext(sc)
df = sqlc.createDataFrame([Row(col1 = 'z1', col2 = '[a1, b2, c3]', col3 = 'foo')])
# +------+-------------+------+
浏览 0提问于2019-07-16得票数 5
回答已采纳
3回答
我正在使用PySpark并加载一个csv文件。我有一个带有欧洲格式数字的列，这意味着逗号代替了点，反之亦然。
例如:我使用2.416,67而不是2,416.67。
My data in .csv file looks like this -
ID; Revenue
21; 2.645,45
23; 31.147,05
.
.
55; 1.009,11
在熊猫中，通过在decimal=','和thousands='.'选项中指定pd.read_csv()来读取欧洲格式，可以轻松地读取这样的文件。
Pandas代码：
import pa
浏览 0提问于2018-10-08得票数 13
回答已采纳
我有一列pyspark dataframe，其中有一些值的混合，有些是字符串，有些是数字，如下所示-
Source_ids
abc_123
1234.0
345
abc_cad
K-123
540.0
456.0
我想把十进制部分移除，不管它在哪里。所以结果应该是
Source_ids
abc_123
1234
345
abc_cad
K-123
540
456
我们不能使这个列长类型，因为它也有文本。我怎样才能做到这一点？
浏览 4提问于2020-10-08得票数 4
回答已采纳
2回答
我有一个数据帧列，其中包含这样的文本
col
0 abc-text1
1 def_text2-
我想要做的是，如果我的公司开始使用'abc-‘，然后用'abc’代替它，如果它以'def_‘开头，那么用def代替它。
我想为同样的功能创建一个函数。我对python和pyspark是新手，因此在这方面需要帮助。
浏览 0提问于2019-07-09得票数 0
回答已采纳
我想删除列中值的最后两个字符。 PySpark数据帧的值如下所示： 1000.0
1250.0
3000.0
... 它们应该看起来像这样： 1000
1250
3000
...
浏览 51提问于2021-02-11得票数 1
回答已采纳
我想基于两列在PySpark中执行一个非典型的regexp_replace :我在一个属性中有地址，在另一个属性中有城市，我想使用城市属性将其从地址中删除(如果存在)。我已经写了一个函数来做这件事： df = spark.createDataFrame(
[
(1, 'hügelstrasse 34, ansbach', 'ansbach'),
(2, 'panton st. 2, london', 'london')
],
('id', 'address', 'ci
浏览 25提问于2021-07-02得票数 0
回答已采纳
我想请求您的帮助，以转换字符串在一个列中的，Pyspark。
例如，我有一个名为"df“的dataframe，它具有以下结构。
df = spark.createDataFrame([('David','5K'),('William','6M'),('Sam','1B'),('Ashely','342 1'),('Chloe','240.5 4')], ['Name','Numbers'])
其中
浏览 1提问于2020-09-29得票数 0
1回答
我正在尝试使用.withColumn删除列中字符串的一部分。
列中的值是这样的：
df1["column1"] = ["Temp 1 (gen. comb.)", "Temp 1", "Temp 2 (gen. comb.)", "Temp 2","Temp 3 (gen. comb.)", "Temp 3"]
我想去掉这个值。梳子。)从列中
代码我在PySpark:中尝试过
result_df = res.withColumn('c_model_detail', F
浏览 6提问于2022-10-23得票数 0
回答已采纳
我在HIVE中有一个AVRO格式的表。该表中的一列(字符串数据类型)包含具有新行字符的数据，因此当我选择(使用beeline或pyspark)时，我会得到多行。我在select中尝试了选项REGEXP_REPLACE(col1，"\n"，"")，但它仍然返回多行。
当我在文本编辑器中复制粘贴时，col1的值如下所示：
NY - Enjoy holidays or Enjoy leaves.
Silver 2000 plan
Silver 2000 plan CSR 1
Silver 2000 plan CSR 2
Gold 600 plan
Enjoy, h
浏览 2提问于2018-12-29得票数 0
我有一个pyspark数据帧df。它有2列，类似于下面显示的示例输入。我想创建一个新的输出数据帧，其中包含一个新列'col3‘，该列只包含来自col2中字符串的字母数字值。
我尝试过使用spark sql和
regexp_extract('('+col1+')','[^[A-Za-z0-9] ]', 0)
但它只返回null。
有谁能建议如何做到这一点吗？
输入
df.show()
+----+----+
|col1|col2|
+----+----+
|1 |ab& |
+----+----+
|2 |efg |
+
浏览 0提问于2021-02-15得票数 0
3回答
我有一个带有标题的CSV，我想将其保存为Parquet (实际上是一个delta表)
列标题中有空格，这是拼花不能处理的。如何将空格更改为下划线？
到目前为止，这是我从其他so帖子中拼凑而来的：
from pyspark.sql.functions import *
df = spark.read.option("header", True).option("delimiter","\u0001").option("inferSchema",True).csv("/mnt/landing/MyFile.TXT")
浏览 0提问于2020-06-24得票数 1
回答已采纳
1回答
PySpark正则化连接
、、、
我有一个Pyspark dataframe，它需要与另一个基于string列的dataframe连接。就像。
(bob1，A.B.*.C) (bob2，A.B.C.)
会合时
(tom1，"a.b.d.c") (tom2，"a.b.c")
在第二列(模式)上，应该给出：(bob1，tom1) (bob2，tom2)。我知道这可以使用类似于的来完成，但是为此，我需要将模式列转换为一个实际的正则表达式。所以
a.b.*.c变成^a.b.(\w+).c$a.b.c变成^a.b.c$
我很难做这个转换。我尝试使用regex_replace()，但是由于输出中有\
浏览 3提问于2020-09-09得票数 2
下面是一个场景:考虑一个具有如下所示的2列的Pyspark dataframe：
{全名: facebook，姓氏: book }
我想要一个新的列名，包括全名和姓，如下所示
{姓:脸，姓:书}
浏览 2提问于2022-03-17得票数 0
回答已采纳
我是新来的火花和文字处理。有人能就下面的问题提出一些建议吗？我想删除dataframe列中的所有标点符号。我在网上看到了一些与这个主题相关的帖子，但我仍然不明白为什么我的代码不能工作。如果我删除单个标点符号，例如句号，这似乎是可行的。
from pyspark.sql.functions import udf
commaRep = udf(lambda x: x.replace('.', ' '))
df=df.withColumn('RD',commaRep('DELAY_REASON'))
df.display()
之前:来自
浏览 1提问于2022-02-10得票数 0
1回答
我想从pyspark数据框架的一个列的元素中删除所有-。
所以我有：
111-345-789
123654980
144-900-888
890890890
....
我想要有一个专栏，它是：
111345789
123654980
144900888
890890890
浏览 7提问于2021-02-26得票数 0
回答已采纳
我有一个满是字符串的列表。 List = ['NYC','Austin','San Diego', 'New Orleans','LA'] 我有一个数据框，其中有一列，"raw“。'raw‘中的所有值都是字典值。就像这样： {'NYC':'COOL','Austin':'mild','San Diego':'hot','New Orleans':'cold','L
浏览 18提问于2020-08-04得票数 1
我有一个熊猫实现这个问题的。我想使用pyspark来实现这一点。
我有两个csv文件。首先，csv有keyword和相应的lookipid列。我将其转换为纯python中的两个列表。
keyword = ['IT Manager', 'Sales Manager', 'IT Analyst', 'Store Manager']
lookupid = ['##10##','##13##','##12##','##13##']
第二个csv文件有一个title列，下面有示
浏览 0提问于2018-03-28得票数 0
回答已采纳
2回答
我有一个电子邮件列在一个数据，我想把它的一部分用星号。我无法使用PySpark函数来解决这个问题。
我的电子邮件专栏可能是这样的“
email_col
abc123@gmail.com
123abc123@yahoo.com
我想要做到的是：
mod_email_col
ab**23@gmail.com
12*****23@yahoo.com
从本质上说，除了前两个字符和最后两个字符，我希望剩下的部分被星号替换。
这就是我试过的
from pyspark.sql import functions as F
split_email = F.split(df.email_address,
浏览 4提问于2019-10-29得票数 1
回答已采纳
1回答
我有一个数据帧，看起来像这样： +-----------+-------+-----------------+
|A |B | Num|
+-----------+-------+-----------------+
| BAKEL| BAKEL| 1 341 2323 01415|
| BAKEL| BAKEL| 2 272 7729 00307|
| BAKEL| BAKEL| 2 341 1224 00549|
|
浏览 15提问于2019-01-24得票数 1
我正在尝试使用列‘'$NUMBER'’中的值来替换各行的子字符串number。我试过了
from pyspark.sql.functions import udf
from pyspark.sql.Types import StringType
replace_udf = udf(
lambda long_text, number: long_text.replace("$NUMBER", number),
StringType()
)
df = df.withColumn('long_text',replace_udf(co
浏览 149提问于2019-03-18得票数 2
回答已采纳
我试图用postgres编写一个sql脚本。我有两列:A列和B列。这两列都是字符串。列B表示附加到A列的前缀(如果B不是null)。示例:如果B列有"PA“，并且要添加到A列的值是"102"，那么A列现在将包含”PA102“。我想用没有前缀的A列的值更新新的C列。
我试图使用以下方法：
regexp_replace(COLUMN_A, COLUMN_B, '')
regexp_replace的文档(如下所示)是：
“如果模式不匹配，则函数不返回任何行。”
如果B列不匹配，我需要该方法从A列返回整个字符串。是否还有其他方法(或者是regexp_replac
浏览 4提问于2014-08-12得票数 0
回答已采纳
我正试着把火花数据放进极光RDS Postgres。
假设DF有2列，如下所示：
我当前的管道包括将数据作为一个S3写入.csv，然后通过一个副本将该.csv插入。
我遇到的问题是我的dataframe包含一个ArrayType (字符串)列。
问题：
有更好的方法跳过S3吗？还是使用类似于.parquet格式的中介的方法？(postgres似乎不支持一种简单的批量插入拼板文件的方法，这就是我如何登陆当前的approach)Assuming -上面的答案是否定的，我知道我可以利用collect_ws()连接数组，但是输出格式如下:当我需要它看起来像这个"{A,B,C}" (这是
浏览 4提问于2019-09-23得票数 0
1回答
我正在尝试对一个列执行一些正则表达式操作。为了做到这一点，我用如下的基本小写操作进行了说明：
df.select('name').map(lambda x: x.lower())
这里的df是一个DataFrame，当我调用collect()操作时，该操作抛出了一个异常。
Ques 1: After map(or reduce) operation, every DataFrame converts to a Pipelined RDD. Am I right?
如果是这样，为什么这个命令在收集流水线RDD时抛出异常。
我错过了什么吗？
异常太大，无法读取：
17/07
浏览 11提问于2017-07-07得票数 0
回答已采纳
我有一个pyspark.sql.dataframe.DataFrame，其中一个列有一个Row对象数组：
+------------------------------------------------------------------------------------------------+
|column |
+----------------------------------------------------
浏览 1提问于2019-12-17得票数 0
我必须使用一种文件格式，其中每一行都是一个json对象。例如：
{'Attribute 1': 'A', 'Attribute 2': 1.5, 'Attribute 3': ['A','B','C'], 'Attribute 4': {'A': 5}}
{'Attribute 1': 'B', 'Attribute 2': 2.0, 'Attribute 3': ['A'
浏览 3提问于2020-03-02得票数 1
回答已采纳
1回答
我想使用PySpark从10亿条记录中有效地删除Emoji (例如，:-))。我如何使用pyspark语法来实现这一点？
浏览 15提问于2020-06-27得票数 0
1回答
我想用regexp_replace替换Pyspark中字符串的一部分，比如“www.”。和“.com”。是否可以传递要替换的元素列表？
my_list = ['www.google.com', 'google.com','www.goole']
from pyspark.sql import Row
from pyspark.sql.functions import regexp_replace
df = sc.parallelize(my_list).map(lambda x: Row(url = x)).toDF()
df.withColum
浏览 14提问于2018-08-21得票数 1
回答已采纳
1回答
我在我的表中有一列，我必须使用pyspark将分数保持到3位。如果小数点后的位数大于3，则将小数点后的数字向上舍入为3位。如果小数后面的数字长度小于3，则附加零。下面是一个例子。
示例数据：
请注意，"col_a“和"col_b”都是字符串类型。
所需结果：
我如何使用pyspark实现它？
浏览 3提问于2021-02-17得票数 0
1回答
我有一个hive列，它在column.The列中有未知数量的前导和尾随双引号，在数据中也有双引号。 例如，列如下所示 ? 我想要如下输出 ? 我已经写了一个pyspark代码，我只需要剥离它就行了，但是我想要一个hql的解决方案。我也尝试过regexp_replace，比如 regexp_replace(test,'^"|^""|""$|"$', "") 但这是一种硬编码。有没有人能提供一个通用的解决方案？
浏览 3提问于2020-08-04得票数 1
回答已采纳
我有一个数据列，它看起来像
./.或0/1
应使用字符串/将其拆分为整数数组，但需要注意.应为空。
我的第一次尝试是：
df2 = df2.withColumn('genotype_indices', split(col("genotype_index"), "/").cast("array<int>")).alias("genotype_indices")
但问题是.被转换为0，这是不正确的。
我真的不想使用用户定义的函数，因为这些函数会让笔记本变得异常慢。
如何在PySpark中将.转换为None或
浏览 14提问于2020-02-25得票数 0
回答已采纳
我正在尝试读取嵌套的JSON文件。我无法分解嵌套列并正确读取JSON文件。 My Json file
{
"Univerity": "JNTU",
"Department": {
"DepartmentID": "101",
"Student": {
"lastName": "Fraun",
"address": "23 hyd 500089&#
浏览 174提问于2021-07-09得票数 0
我正在尝试将我已有的一些postgres sql代码调整为pyspark sql。在postgres sql中，我使用regexp_substr函数解析出‘.5G’，如果它出现在productname列的字符串中。(我已经在下面包含了示例代码)。在pyspark方面，我尝试使用regexp_extract函数，但它只返回null。我将postgres中的regexp_replace函数的输出与pyspark进行了比较，结果返回了相同的值。所以问题一定出在regexp_extract函数中。我已经创建了一个示例输入dataframe和下面运行的pyspark代码。有没有人能告诉我我哪里做错了，
浏览 20提问于2021-01-26得票数 0
我有数据嵌入在我的文本字段，我需要禁止。数据采用\ in格式，其中nnn为3位数。我尝试了以下几点：
spark.sql("select regexp_replace('ABC\123XYZ\456','[\d][\d][\d]','') as new_value").show()
我原以为结果是“ABC\XYZ”，但我得到的结果是：
+---------+
|new_value|
+---------+
| ABCSXYZĮ|
+---------+
我不知道其他字符在C后面和Z后面是什么。
不过，我也需要移除反斜杠。为了去掉反
浏览 10提问于2022-10-13得票数 0
回答已采纳
1回答
我在数据库工作。我有一个dataframe d，它包含了“？”的几个列。字符串值。我想掩盖这些“？”值为NULL，因为我想使用dropna(‘.’)函数以删除带空值的观察。我不知道该怎么做，什么都没用。我试过：
矮胖：
TypeError：'DataFrame‘对象不支持项分配
import numpy as n
d[d=='?']=n.nan
熊猫：
TypeError: super( type，obj)：obj必须是类型的实例或子类型
import pandas as p
p.DataFrame.replace('?', 'NA
浏览 3提问于2021-06-13得票数 0
回答已采纳
我有一个按日期分区的S3存储桶列表。第一个存储桶标题为2019-12-1，第二个存储桶标题为2019-12-2，依此类推。 这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个date列，表示dataframe中的每个条目实际来自哪个存储桶。 因为单独导入每个存储桶时生成的数据帧的模式是多层的(即每一行都包含结构数组的结构等)，所以我认为将所有存储桶合并到一个数据帧中的唯一
浏览 13提问于2019-12-16得票数 0
回答已采纳
我刚开始使用pyspark，而且我很难将python函数转换为pyspark。
我有如下所示的df
+--------------------+
| summary|
+--------------------+
|<p>test test </p> |
|<a>test test </a> |
|<p>test test </p> |
+--------------------+
我想清理summary中的html标记。我创建了一个udf，如下所示
import re
clean_ht
浏览 1提问于2019-06-01得票数 0
回答已采纳
2回答
我有一个来自PGSQL数据库的值列表，如下所示：
198
199
1S
2
20
997
998
999
C1
C10
A
我希望将这个字段解析为单独的组件，我假设这些组件将在我的SQL中使用两个regexp_replace函数。本质上，出现在数字字符之前的任何非数字字符都需要为一列返回，而另一列将显示所有出现在数字字符之后的非数字字符。
然后，根据PG的结果，将上面的列表拆分为这个布局：
我已经创建了一个函数，它去掉了非数字字符(最后一列)，并将其转换为Integer，但是我无法计算出在数字之前返回字符串值的正则表达式，或者在数字之后找到的值。
到目前为止，我所能得到的，与我的不存
浏览 2提问于2015-11-22得票数 0
回答已采纳
1回答
我有一个包含unicode字符的PySpark数据帧，如下所示：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([{"a": 0, "b": 1, "c": "somestring\u0001bla"}])
结果是：
我希望通过读取或写入新的csv文件来消除这种情况。我尝试过不同的选项：
option("encoding", "UTF
浏览 0提问于2021-03-19得票数 0
这是我的密码。
%spark.pyspark
jdbc_write(spark, spark.sql("""
SELECT
Global_Order_Number__c
, Infozeile__c
FROM STAG.SF_CASE_TRANS
"""), JDBC_URLS['xyz_tera_utf8'], "DEV_STAG.SF_CASE", "abc", "1234")
我想排除Infozeile__c字段中不是A、A
浏览 5提问于2022-02-14得票数 1
回答已采纳
在带有包含基于日期的整数的列(如20190200,20180900)的spark dataframe中，我希望将所有以00结尾的数据帧替换为01结尾的那些整数，这样之后我就可以将它们转换为可读的时间戳。 我有以下代码： from pyspark.sql.types import StringType
import pyspark.sql.functions as sf
udf = sf.udf(lambda x: x.replace("00","01"), StringType())
sdf.withColumn('date_k', udf
浏览 14提问于2020-06-27得票数 1
回答已采纳
1回答
选择列内容长度<x的行
、、、
我有一个，其中一个列的内容是string类型。我只想选择列上的字符串长度大于5的行。我尝试使用size函数，但它只适用于数组。
from pyspark.sql.functions import col, explode, regexp_replace, size
new_df = df.select("col_1", explode(col("col_2")) \
.select("col_1", "col_2") \
.where(col("col_1").isNotNull()) \
浏览 0提问于2019-03-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
