如何替换所有数字和“。数据帧spark scala中列的"“
在Spark Scala中，我们可以使用regexp_replace函数来替换列中的所有数字和句点字符。
以下是完善且全面的答案：
问题：如何替换所有数字和“。数据帧spark scala中列的"“
解答：在Spark Scala中，你可以使用regexp_replace函数来替换数据帧（DataFrame）中列的所有数字和句点字符。regexp_replace函数是Spark提供的一个字符串函数，可以根据正则表达式模式来替换字符串中的匹配项。
使用方法如下：
- 导入Spark的相关库：
import org.apache.spark.sql.functions._- 假设我们有一个名为
df的数据帧，其中包含一个名为col_name的列，你可以使用withColumn函数和regexp_replace函数来替换该列中的数字和句点字符：
val replacedDF = df.withColumn("col_name", regexp_replace(col("col_name"), "[0-9.]", ""))上述代码中，regexp_replace(col("col_name"), "[0-9.]", "")表示将col_name列中的所有数字和句点字符替换为空字符串。
注意事项：
- 上述代码中，
col("col_name")表示获取名为col_name的列。 "[0-9.]"是一个正则表达式模式，表示匹配所有数字和句点字符。
替换完成后，replacedDF将是一个新的数据帧，其中col_name列已经被替换。
关于Spark的更多函数和操作，你可以参考腾讯云的云原生大数据计算产品TDW。
请注意，本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商。
相关·内容
我在Spark中有以下数据框架和模式
val df = spark.read.options(Map("header"-> "true")).csv("path")
scala> df show()
+-------+-------+-----+
| user| topic| hits|
+-------+-------+-----+
| om| scala| 120|
| daniel| spark| 80|
|3754978| spark| 1|
+-------+-------+-----+
浏览 118提问于2017-06-21得票数 1
1回答
我有一段pyspark代码，用于将数据帧转换为物理表：
df.write.mode('overwrite).saveAsTable('sometablename')
如果数据帧df包含名称中包含空格的列，则会失败，并显示以下错误：
18/03/08 10:33:29 ERROR CreateDataSourceTableAsSelectCommand: Failed to write to table pivot_up_spaces_Export_Data_4
org.apache.spark.sql.AnalysisException: Attribute name
浏览 4提问于2018-03-08得票数 1
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：
数据帧-2：
我想要的输出：
我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains等函数，但它没有给出我想要的输出。有人知道如何在spark scala SQL中或使用dataframe的spark scala函数来开发此逻辑吗？请帮我弄一下这个。
浏览 1提问于2021-02-12得票数 0
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。
Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示列标题。
熊猫数据帧头
Spark Scala数据帧头
我知道你可以通过使用.columns在scala dataframe中获得列标题，但是打印它不会沿着数据列显示标题，这使得它很难理解。
浏览 3提问于2018-06-13得票数 2
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我正在尝试修复在我的spark设置中看到的一个外存问题，在这一点上，我无法得出一个具体的分析，为什么我会看到这个。在将数据帧写到parquet或kafka时，我总是会遇到这个问题。我的数据帧有5000行。它的模式是
root
|-- A: string (nullable = true)
|-- B: string (nullable = true)
|-- C: string (nullable = true)
|-- D: array (nullable = true)
| |-- element: string (contains
浏览 0提问于2017-09-14得票数 0
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我构建了一个"table.column“-> "value”的映射，并将其传递给fill方法。但我得到的是异常而不是成功:(。我有什么选择？我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？
给定：
scala>
浏览 4提问于2016-02-28得票数 3
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？ 输入数据帧 name count_1 count_2
Java 10000 null
Python null 20000
Scala 30000 null
R null null
Swift 50000 65000 输出数据帧 name merged
Java 10000
Python 20000
Scala 30000
R null
Swift 50000
浏览 23提问于2021-09-05得票数 1
回答已采纳
我是Apache Spark (和Scala)的新手，我想在读取csv文件后立即应用一个简单的sql请求，并将其加载到DF上，而不需要创建额外的数据帧或临时视图或表。 这是初始请求： SELECT DISTINCT city from cities
WHERE id IN ("10", "20")
AND year IN ("2017", "2018") 这是我在Scala上尝试的： val cities = spark.read.options(Map("header" -> "true"
浏览 15提问于2018-12-25得票数 0
3回答
我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。
我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。
我使用的是Spark 1.6和Scala 2.10。
浏览 4提问于2018-04-10得票数 5
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。
示例数据帧：
scala> import spark.implicits._
import spark.implicits._
scala> val DF = Seq(
(1, "ABC"),
(2, "DEF"),
(3, "GHIJ")
).toDF("id", "word")
someDF: org.apache.spark.sql.DataFrame = [number: int, wor
浏览 6提问于2020-06-04得票数 0
回答已采纳
我使用StructType定义了一个模式，用于读取Redsfhit中的数据帧。该表具有350+列，其中许多列被配置为布尔值。
从该表中卸载数据后，我尝试使用我创建的Schema读取数据。但是我希望读取的每个BooleanType列都有"f“/ "t”值。这会导致解析异常。例外情况是：
java.lang.IllegalArgumentException: For input string: "f"
at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
a
浏览 1提问于2017-11-22得票数 3
我对scala中spark的数据帧有一个问题。我使用方法var df = spark.read.format("csv").load("csvfile.csv")来读取CSV文件并将其存储在DF中。我的CSV文件中有16行我不想读的注释。我还没有找到避免头部的方法，但它只有一行。有什么想法吗？
谢谢你。
浏览 4提问于2018-08-17得票数 0
我有一张这样的数据
ID Color
A red
B green
C red
D yellow
我通过创建字典将颜色枚举为数字：
color_list = ['red', 'green', 'yellow']
colors = dict(enumerate(color_list))
现在如何用颜色ID替换列值，使数据帧看起来如下所示：
ID Color
A 1
B 2
C 1
D 3
编辑：作为后续问题，如果我在Spark中有相同的数据，我将如何在Scala中处理它？
浏览 1提问于2017-07-17得票数 0
回答已采纳
我有几列的火花数据帧1：(user_uuid，url，date_visit)
我想将这个域转换为具有以下格式的数据帧2：(user_uuid，DF1，date_visit)
我想使用正则表达式来检测域，并将其应用于DF1 val regexpr = """(?i)^((https?):\/\/)?((www|www1)\.)?([\w-\.]+)""".r
你能帮助我在Scala中编写代码来转换数据帧吗？我对Spark和Scala完全陌生，语法也很难。谢谢!
浏览 1提问于2015-08-20得票数 8
回答已采纳
我用下面的代码得到了我的spark数据帧
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)
scala> import sqlContext.implicits._
scala> case class Wiki(project: String, title: String, count: Int, byte_size: String)
scala> val data = sc.textFile("s3n://+++/").map(_.split(" ")).
浏览 1提问于2015-10-15得票数 0
我们是否可以使用Spark-SQL或scala检查spark数据帧中的每一列是否都包含特定的字符串(例如"Y")？
我已经尝试了以下方法，但我认为它不能正常工作。
df.select(df.col("*")).filter("'*' =='Y'")
谢谢，Sai
浏览 0提问于2017-09-09得票数 2
回答已采纳
2回答
星星之火-excel数据问题
、、、、
我正在使用包处理ms文件使用火花2.2。除了下面的例外情况外，有些文件无法作为火花数据文件加载。如果有人遇到这个问题，你能帮我解决这些数据类型问题吗？
在分析之后，我发现如果列名不是字符串，它最终会给出下面的异常，如果我手动将列名从整数更改为字符串，它就会工作得很好。
代码：
val excelDF = spark.read.
format("com.crealytics.spark.excel").
option("useHeader", "true").
option("treatEmptyValuesAs
浏览 3提问于2018-01-17得票数 2
1回答
如何在scala中将具有以下结构的RDD转换为dataframe
org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.linalg.Vector)] = MapPartitionsRDD[42]
这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。
我希望将org.apache.spark.mllib.linalg.Vector的每个组件放在一行数据帧中的单独列中。
浏览 2提问于2017-02-26得票数 2
1回答
在Pyspark 2.2中有什么优雅的方法可以分解map列而不丢失null值吗？Explode_outer是在PySpark2.3中引入的
受影响列的架构为：
|-- foo: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- first: long (nullable = true)
| | |-- last: long (nullable = true)
我想用一些虚值替换空的Map，以便能够分解整个数据帧，
浏览 0提问于2018-02-07得票数 1
回答已采纳
我正在尝试使用scala中spark的原生read.jdbc从Oracle数据库中将一个大表读入spark中。我已经用中小尺寸的桌子(最多11M行)测试了它，它工作得很好。然而，当试图引入一个更大的表(大约70m行)时，我总是会出错。
示例代码以显示我是如何在以下内容中阅读这些内容的：
val df = sparkSession.read.jdbc(
url = jdbcUrl,
table = "( SELECT * FROM keyspace.table WHERE EXTRACT(year FROM date_column) BETWEEN 2012 AND 2016
浏览 1提问于2017-08-17得票数 2
我想使用spark和scala计算数据帧的频率分布(返回每列中最常见的元素以及它出现的次数)。我尝试过使用DataFrameStatFunctions库，但在我只过滤了数字类型列的数据帧之后，我无法应用该库中的任何函数。创建UDF的最佳方式是什么？
浏览 0提问于2016-07-02得票数 2
我有一个数据帧，如下所示，称为training +------------------+------+
| features| MEDV|
+------------------+------+
| [6.575,4.98,15.3]|504000|
| [6.421,9.14,17.8]|453600|
| [7.185,4.03,17.8]|728700|
| [6.998,2.94,18.7]|701400| 我对此数据集运行线性回归 from pyspark.ml.regression import LinearRegression
lr=LinearRegres
浏览 16提问于2020-06-15得票数 0
回答已采纳
我有一个Spark数据帧，其中一列是整数数组。该列可以为空，因为它来自左外部联接。我希望将所有null值转换为一个空数组，这样以后就不必处理null值了。
我想我可以这样做：
val myCol = df("myCol")
df.withColumn( "myCol", when(myCol.isNull, Array[Int]()).otherwise(myCol) )
但是，这会导致以下异常：
java.lang.RuntimeException: Unsupported literal type class [I [I@5ed25612
at org.ap
浏览 5提问于2016-01-08得票数 24
回答已采纳
我有两个数据帧A和B。
A有30列- reason1,reason2.......reason30
B有两列- reason, Value
现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。
因此，最终的数据帧将具有reason1,reason2.......reason30, value
我试图将每一列与其他数据帧连接起来，但这不是一种整洁的方法。
请帮助我使用spark/scala获得优化和快速的解决方案。
浏览 9提问于2021-05-17得票数 0
我有一个数据帧，其中的列包含回车符、换行符和制表符。我发现了一篇关于熊猫的帖子：
replace(to_replace=[r"\\t|\\n|\\r", "\t|\n|\r"], value=["",""], regex=True, inplace=<INPLACE>)
我如何在spark数据帧中做到这一点？
浏览 1提问于2020-01-22得票数 1
我有一个包含字符串列的数据框，我想在其中创建多个列。
这是我的输入数据，pagename是我的字符串列
我想从它创建多个列。字符串的格式是相同的- col1:value1 col2:value2 col3:value3 ... colN:valueN。在输出中，我需要多个列- col1 to colN，值作为每列的行。以下是输出-
我如何在spark中做到这一点？Scala或Python都适合我。下面的代码创建输入数据帧-
scala> val df = spark.sql(s"""select 1 as id, "a:100 b:50
浏览 23提问于2021-06-02得票数 0
回答已采纳
我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。 scala> val dtfAbnoFirs=dtfAbno.filter("AAA>='20201201' and BAQ<>'0'").
| groupBy("BAQ").agg("AAA"->"min");
dtfAbnoFirs: org.apache.spark.sql.DataFrame = [BA
浏览 34提问于2021-04-08得票数 0
回答已采纳
我在scala中有一个名为df的spark数据帧，它有两列，即a和b，a列包含字母，b列包含数字，如下所示。
a b
----------
g 0
f 0
g 0
f 1
我可以使用以下命令获取不同的行
val dfDistinct=df.select("a","b").distinct
它提供了以下内容：
a b
----------
g 0
f 0
f 1
我想添加另一个列，其中包含这些不同的组合在第一个数据帧中出现的次数，这样我就可以得到
a b count
-
浏览 2提问于2015-10-28得票数 9
回答已采纳
我有一个DataFrame，列名为a.b。当我将a.b指定为的输入列名时，具有消息“无法解析给定输入列a.b”的AnalysisException。我用的是星火1.6.0。
我知道早期版本的Spark可能对列名中的点有问题，但在最近的版本中，可以在Spark中的列名和SQL查询中使用反引号。例如，这就是另一个问题的解决方案，。其中一些问题报告为，但这一问题在1.4.0中得到了解决。
下面是一个最小的示例和堆栈跟踪：
public class SparkMLDotColumn {
public static void main(String[] args) {
// Ge
浏览 1提问于2016-01-22得票数 16
在使用Spark的Scala中，我有一个映射，其中键是一个字符串，值是一个DataFrame。 模式如下所示： scala.collection.immutable.Map[String,org.apache.spark.sql.DataFrame] = Map(Key_A -> [value_col1: string, value_col2: string ... 1 more field], Key_B -> [value_col1: string, value_col2: string ... 1 more field]) 我不关心这里的钥匙。我想要一个数据帧，它结合了所有
浏览 12提问于2019-05-25得票数 1
回答已采纳
1回答
我有一个spark数据帧，其中列A、B、C、D都是双精度类型的。我需要添加一个新的列'ratio‘，它的计算方法如下：
if(A IS NULL && B IS NULL)
then 0
if(A IS NOT NULL && B IS NULL)
then A/D
if(A IS NULL && B IS NOT NULL)
then C/B
if(A IS NOT NULL && B IS NOT NULL)
then A/B
在scala中如何做到这一点，因为双精度不能与NULL进行比较？
浏览 13提问于2017-02-16得票数 0
1回答
我有一个这样的Spark数据帧
+-----------------+---------------+----------+-----------+
| column1 | column2 | column3 | column4 |
+-----------------+---------------+----------+-----------+
| a | bbbbb | cc | >dddddddd |
| >aaaaaaaaaaaaaa | bb | c
浏览 0提问于2019-08-13得票数 0
我有一个文本文件字符串，格式如下：
"1","1st",1,"Allen, Miss Elisabeth Walton",29.0000,"Southampton","St Louis, MO","B-5","24160 L221","2","female"
我想在逗号(，)处拆分字符串，但忽略双引号(“”)中的逗号(，)。我使用Spark、Scala和case类来创建数据帧。我尝试了下面的代码，但得到了一个错误：
val tit_rdd = td.m
浏览 0提问于2017-05-22得票数 0
2回答
我是Scala编程的新手，这是我的问题:如何计算每行的字符串数？我的数据帧由ArrayString类型的单个列组成。
friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
浏览 2提问于2017-09-07得票数 45
回答已采纳
我是Scala和Spark的新手。我想通过计算编辑距离从数据框的现有列派生出一个新列。例如，FNAME和LNAME是两列数据帧，希望添加名为NAMESCORE的新列，该列保持FNAME到LNAME的编辑距离。请告知工作或伪代码。
这是我得到的部分答案的链接。
浏览 0提问于2016-03-21得票数 1
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。 因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。 loadfinaldf.write.format("delta").option("mergeSchema", "true")\
.mode("append").insertInto("table") 数据帧中的列每天都会发生变化。例如，在第2天
浏览 18提问于2021-10-29得票数 0
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？
我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performed on tables with the same number of columns, but the left table has 11 columns and the right has 10;
Spark版本: 1.6.1
浏览 0提问于2016-08-04得票数 0
3回答
我想实现以下几点
，例如，我有Emp文件的(2个文件)，我只想选择2列，例如Empid和EmpName，如果文件没有EmpName，它应该选择EmpName的一列
1) Emp1.csv (档案)
Empid EmpName Dept
1 ABC IS
2 XYZ COE
2) Emp.csv (档案)
Empid EmpName
1 ABC
2 XYZ
代码一直试到现在
scala> val SourceData = spark.read.format("com.databricks.spark.csv&
浏览 4提问于2017-08-10得票数 0
回答已采纳
scala spark数据帧中有没有df[100, c("column")]的替代品？我想从spark data frame的一列中选择特定的行。例如，上述R等效代码中的100th行
浏览 613提问于2016-02-07得票数 45
回答已采纳
我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们，它们返回给我未来类型的DataFrame，我如何在最后合并它们，并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时，它显示以下错误
value union is not a member of scala.concurrent.Future[(scala.concurrent.Future[org.apache.spark.sql.DataFrame], scala.concurrent.Future[org.apac
浏览 2提问于2020-01-22得票数 0
我试图在spark scala中关联两列数据帧，方法是将原始数据帧的列通过管道传输到VectorAssembler中，然后是关联实用程序。由于某些原因，Vector汇编程序似乎生成了空向量，如下所示。这是我到目前为止所掌握的。 val numericalCols = Array(
"price", "bedrooms", "bathrooms",
"sqft_living", "sqft_lot"
)
val data: DataFrame = HousingD
浏览 17提问于2020-07-29得票数 0
1回答
在处理具有复杂数据类型列的表时在Spark2中获取CastClassException
我尝试的操作很简单: count
df=spark.sql("select * from <tablename>")
df.count
但在运行spark应用程序时出现以下错误
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent
浏览 2提问于2017-12-15得票数 0
我在Apache Spark SQL中有一个DataFrame，我想删除所有not None值都相同的列。 所以在一个虚拟的例子中 df
| A | B | C |
1 2 3
NaN 2 4
1 2 NaN
1 2 5 我只想保留C列 df_filter
| C |
3
4
NaN
5 在Python中，我将通过以下方式完
浏览 25提问于2021-10-27得票数 2
回答已采纳
我对pyspark还是个新手，在对数据帧进行重复数据删除时遇到了问题。 我的数据帧中有3个字段: PersonId、PlaceId和ThingId。下面是一个示例： PersonTest = [1,1,2,2,2,3,4]
PlaceTest = [['A', 'B'],['A', 'B', 'C'],['C'],['C','D','E','F'],['C','D','F'],['
浏览 10提问于2020-09-02得票数 1
回答已采纳
2回答
我是scala和spark的新手，在尝试从一些玩具数据帧中学习时遇到了一个问题。 我有一个数据帧，它有以下两列： Name_Description Grade Name_Description是一个数组，而Grade只是一个字母。我对Name_Description有意见。在Spark上使用scala时，我正在尝试更改这一列。 名称描述不是固定大小的数组。它可能是这样的 'asdf_ Brandon'，'Ca%abc%rd‘ 唯一的问题是： 1. the first element of the array ALWAYS has 6 garbage
浏览 26提问于2019-08-31得票数 3
回答已采纳
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。
示例查询1:
SELECT DISTINCT target_person FROM INFORMATION_SCHEMA.COLUMNS WHERE COLUMN_NAME IN ('columnA','ColumnB') AND TABLE_SCHEMA='ad_facebook'
示例查询2:
SELECT count(*) FROM information_schema.columns WHERE table_n
浏览 6提问于2018-09-04得票数 1
下面是伪代码：
def is_XYZ(sub1,sub2):
if sub1==lit("XYZ") | sub2==lit("XYZ"):
return 1
else :
return 0
xyz=F.udf( lambda sub1,sub2:is_XYZ(sub1,sub2),BooleanType())
-我正在尝试创建一个数据帧，如下所示：
df=df.withColumn("is_XYZ",xyz(col("sub1"),col("sub2"))).show()
错误：
At
浏览 0提问于2020-06-16得票数 0
我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作：
root
|-- id: string (nullable = true)
|-- url: string (nullable = true)
但是，当我尝试编写包含StructTypes的数据帧时，其模式如下：
root
|-- crawl: struct (nullable = true)
| |-- id: string (nullable = true)
然后我得到以下异常：
Exception in thread "main" java.lang
浏览 4提问于2016-06-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
