转换字符串并与DF列值Spark Scala进行比较
在Spark Scala中，要将字符串转换并与DataFrame列值进行比较，可以使用以下步骤：
- 导入必要的Spark库和函数：
import org.apache.spark.sql.functions._- 创建一个DataFrame，假设为df，包含要比较的列和字符串：
val df = spark.createDataFrame(Seq(
("John", "John Doe"),
("Jane", "Jane Smith"),
("Bob", "Bob Johnson")
)).toDF("name", "full_name")- 使用
withColumn函数创建一个新列，将字符串转换为要比较的格式。这里使用lit函数将字符串转换为常量列：
val dfWithTransformedString = df.withColumn("transformed_name", lit("John Doe"))- 使用
when和otherwise函数进行比较，并创建一个新列来表示比较结果。这里使用col函数获取列的值：
val dfWithComparison = dfWithTransformedString.withColumn("is_equal", when(col("name") === col("transformed_name"), true).otherwise(false))- 查看结果：
dfWithComparison.show()这样，你就可以将字符串转换并与DataFrame列值进行比较了。
关于Spark Scala的更多信息和使用方法，你可以参考腾讯云的产品文档：
相关·内容
现在，我有了一个输入dataFrame，它有多个记录，其中包含id's & date列。C| 2021-04-01|| D| 2021-04-01|+---+-----------+ 现在，我想将每个记录的日期值与字符串中每个id的对应日期进行比较，并在dataFrame中派生新的date列。04-01|| D| 2021-04-0
浏览 19提问于2021-04-06得票数 1
回答已采纳
1回答
看起来spark sql对" like“查询是区分大小写的，对吧？spark.sql("select distinct status, length(status) from table")Active|6
不返回值
spark.sql("select distin
浏览 8提问于2018-11-28得票数 4
scala> val plan = spark.sessionState.sqlParser.parsePlan("create table some_table as select 1")res21: Class[_
浏览 1提问于2020-08-20得票数 1
回答已采纳
S * math.sqrt( (8.0*numCells - math.pow(8.0, 2))/(numCells - 1.0) ) )[error] found : Boolean
[error] required: org.apache.spark.sql.Column我在本地scala上尝试了一个简单的dataframe，当我添加三个条件(使用&&两次)时，它也会抛出这
浏览 54提问于2021-06-30得票数 0
回答已采纳
1回答
}.toDF("user_id","description")首先将内容拆分到“x”处，然后对每个字符串在"#“处拆分它们，然后获得第三个字符串，即权重，然后将其转换为一个双值。getSplitAtWeight = udf((str: String) => {
str
浏览 4提问于2016-06-28得票数 0
我有有数百列的csv文件。因此，我显式地表示文件中的值，以显示为浮动，但火花推断为双值。这是令人不安的，因为数据大小很大，而且要避免再次对所有列进行强制转换。在火花壳中：val x: Float = 2.0
scala> val df = sqlContext.read.format("csv").option(, String)] = Array((Word
浏览 13提问于2022-08-23得票数 1
回答已采纳
在spark scala dataframe中定义多个逻辑/关系条件时，得到下面提到的错误。但同样的事情在scala中也能正常工作df2=df1.where(((col('a')==col('b')) & (abs(col('c')) <= 1))val df_aqua_xentry_dtb_match=df_aqua_x
浏览 12提问于2019-08-02得票数 0
我是Spark和Scala的新手。大约有100个字段，我需要将其中几个类型从string更改为int、boolean或bigint (long)。因此，我需要能够处理给定DataFrame的列子集，将每列与已知的列类型
浏览 7提问于2017-11-28得票数 3
回答已采纳
我正在尝试通过使用以下代码过滤掉null或空字符串的行来创建一个新的数据框： (conditionExpr: String)org.apache.spark.sql.DataFrame<and>
(condition: org.apache.spark</
浏览 0提问于2016-05-20得票数 24
回答已采纳
我正在寻找一种整洁的方法来找到每一列的最大值，并收集在地图中作为{col name:max value of col}。下面是我在一个玩具示例中所取得的进展。在我的完整数据中有数百列，所以手动转换每一列是不可行的。scala> import spark.implicits._
scala> import org.apache.spark.sql.func
浏览 49提问于2020-06-12得票数 0
回答已采纳
这在spark dataframe (1.6/2.1)中是可能的吗？val data="some variable"
我可以用一个静态值来做这件事，但是我不知道如何通过一个变量来过滤。
浏览 3提问于2017-04-23得票数 8
我有两个数据帧df1和df2。两者都有一列'date‘，如下所示。df1的结构| date||02-01-2015||02-03-2015|df2中获取“date”列中的每一行，并与df2中的“date”进行比较，然后从df2中获取所有小于df1中的d
浏览 0提问于2017-09-04得票数 1
回答已采纳
我有一个示例数据帧+---------+---------+-------++---------+------------+---------+-------++---------+---------+-------+df_that_I_want这就是我所做的来实现这一点
val df_that_I_want = df_that_I_have
浏览 7提问于2017-04-18得票数 5
回答已采纳
2回答
我尝试使用硬编码字符串并将其转换为1行星火DataFrame (带有类型为StringType的一列)，以便：DataFrame的结果，其.show()方法如下所示(Seq(rawData)).toDF()
但是，我得到了以下编译器错误：
java.lang.ClassCastException: org.apache.spark.sql.types.ArrayTypecannot be cast to org.apac
浏览 3提问于2016-10-10得票数 7
回答已采纳
1回答
举个例子，让我们假设我们以下尝试失败：...如果不按名称(即简单字符串)指定列，如何指定这些列？使用别名的
浏览 15提问于2022-06-15得票数 0
回答已采纳
我有一个包含float和double值的dataframe。scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")
df: org.apache.spark.sql.DataFrame值替换为null值时，我将null作为字符串提供给fill操作中的Map。scala> val map =
浏览 2提问于2017-05-12得票数 3
回答已采纳
我正在尝试查找基于另一列的特定数组(类型为Double)，该列具有最小值。下面的代码可以提取数组，但我无法将其作为Array[Double]接收。已尝试从从其他线程找到的as进行映射和强制转换，但无法解决问题。如果有任何提示，我将不胜感激。下图所示为： scala> df.show|time| crds||12.0|[0.1= df
浏览 47提问于2020-04-09得票数 1
回答已采纳
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。如果对每一行进行字符串化，则它们是Map("a" -> 1, "b" -> 1)或WrappedArray(1, 2, 2)。当我使用Spark的HiveContext时，我想使用与Hive客户
浏览 1提问于2018-07-20得票数 0
我有一个包含字符串列的数据框，我想在其中创建多个列。
我想从它创建多个列。字符串的格式是相同的- col1:value1 col2:value2 col3:value3 ... colN:valueN。在输出中，我需要多个列- col1 to colN，值作为每列的行。以下是输出-我如何在spark中做到这一点？Scala或Python都适合我。
浏览 23提问于2021-06-02得票数 0
回答已采纳
1回答
其中一列在Cassandra的模式中定义为布尔值，但我在csv中的实际数据是字符串t或f。我是否有可能让卡桑德拉将t和f识别为布尔型？否则，我必须添加一个数据转换步骤。
浏览 1提问于2020-10-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
