Scala -如何在Spark SQL查询中将日期字符串转换为时间戳？
在Spark SQL查询中，可以使用Scala的内置函数unix_timestamp将日期字符串转换为时间戳。
具体步骤如下：
- 导入Spark SQL的函数库：
import org.apache.spark.sql.functions._ - 使用
unix_timestamp函数将日期字符串转换为时间戳，语法如下： - 使用
unix_timestamp函数将日期字符串转换为时间戳，语法如下： - 其中，
date_string是日期字符串的列名，'yyyy-MM-dd'是日期字符串的格式。 - 执行查询并获取结果。
在Spark SQL中，还可以使用其他日期函数进行日期和时间的处理，例如to_date函数用于将字符串转换为日期类型，date_format函数用于将日期格式化为指定格式的字符串等。
推荐的腾讯云相关产品是腾讯云的云数据库 TencentDB，它提供了高性能、高可用的数据库服务，支持多种数据库引擎，包括MySQL、SQL Server、PostgreSQL等。您可以通过以下链接了解更多关于腾讯云云数据库的信息：腾讯云云数据库
请注意，本回答仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
从unix_timestamp将日期转换为时间戳，将火花日期转换为时间戳的问题返回null。scala> import org.apache.spark.sql.functions.unix_timestamp
scala> spark.sql("select from_unixtime(unix_timestamp
浏览 0提问于2018-10-01得票数 2
2回答
当我通过impala查询时，我将一个日期字段转换为hive中的时间戳为from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') as timestamp) as column_name,，时间以GMT格式显示。不仅我创建的列每个时间戳字段都要转换为GMT格式。
如何让它按原样显示时间？或者如何将其转换为est？
浏览 10提问于2017-01-24得票数 3
3回答
如何在Teradata SQL中将时间戳(格式为: 1,437,538,735.00)转换为日期和时间(如2016-11-23 14:00:00)？
谢谢!
浏览 4提问于2016-11-23得票数 0
3回答
如何在配置单元中将unix的毫秒纪元转换为毫秒的时间戳？cast()和from_unixtime()函数都无法以毫秒为单位获取时间戳。scala> spark.sql("select from_unixtime(1598632101000, 'yyyy-MM-dd hh:mm:ss.SSS')").show(false)
+-----
浏览 84提问于2020-08-31得票数 1
回答已采纳
如何在SQLite中将时间戳转换为日期？‘’选择时间戳，字符串时间(‘%m-%d-%Y’，时间戳)作为Room_Data‘中的<
浏览 6提问于2020-10-05得票数 0
回答已采纳
在databricks中将字符串转换为日期时间格式时，我遇到了错误：select to_date('01Jan1971:00:00:00','DDMONYYYY:HH:MI:SS')Errorin SQL statement: IllegalArgumentException: All week-based patterns are unsupported since Spark 3.0,$SQLExecutionEx
浏览 9提问于2022-02-25得票数 0
回答已采纳
3回答
import java.sql.Timestamp dateTime: Timestamp, userIdInteger, etag: String, srcBucket: String
import org.apache.spark.sql.Encodersval sampleLogSchema = Encoders.product[SampleL
浏览 3提问于2019-11-23得票数 3
回答已采纳
您可以将spark.sql.legacy.timeParserPolicy设置为旧式以恢复Spark3.0之前的行为，也可以将其设置为更正，并将其视为无效的日期时间字符串。在org.apache.spark.sql.catalyst.util.DateTimeFormatterHelper$$anonfun$checkParsedDiff$1.applyOrElse(DateTimeFormatterHelper.<
浏览 11提问于2022-05-23得票数 0
回答已采纳
我使用的是Databricks Runtime 4.2 (包括Apache Spark 2.3.1、Scala 2.11)val data_frame =val(，，)
我的源表上的所有SQL Server日期时间列都映射到数据框中的时间戳列，默认时区为+0000。注意:如果可能，我希望不必遍历所有的时间</em
浏览 1提问于2018-07-18得票数 3
我在Cassandra中将时间戳存储为YYYY-mm-dd HH:MM:SSZ，并且我能够在cql shell中过滤数据以获得特定的时间范围，但是当我在pyspark数据帧上尝试同样的操作时，我在过滤后的数据帧中没有得到任何值
浏览 6提问于2020-03-05得票数 1
1回答
%scalaimport org.apache.spark.sql.functions.20090724")).toDF("Date").select(to_date(col("Date"),"yyyymmdd").as("to_date")我正在尝试将字符串
浏览 6提问于2022-03-15得票数 0
回答已采纳
我试图使用JDBC读取Oracle表并将数据插入Hive表，但所有时间戳列的值都已更改(-6小时)。为什么会改变时间戳？* .builder .config("spark
浏览 3提问于2019-11-08得票数 1
6回答
如何在current_date - 1中获得cur_date()-1日，与mysql中的cur_date()-1相同。
浏览 7提问于2016-12-13得票数 24
回答已采纳
我的服务器以php time()字符串的形式发送文件上次更新时间据我所知，android读取时间戳以毫秒为单位
我的问题是如何将phptime()转换为android时间戳，以及如何在android应用程序中将转换后的时间戳</em
浏览 2提问于2013-04-07得票数 2
回答已采纳
我有一个日期为以下格式的字符串导入的文件：作为西班牙日期(ene =一月)。我需要在单个spark SQL查询中将其转换为日期。到目前为止，我已经尝试过：这将返回null。
浏览 24提问于2021-02-24得票数 0
2回答
注意:我正在Qubole的 presto和sql命令引擎中运行我的查询。我尝试了以下查询，以将此字符串时间戳转换为检索日期
1. select
浏览 0提问于2019-02-28得票数 3
回答已采纳
如何在Java/Scala中转换时间戳(微秒)字符串。我的目标是比较两种时间戳，并找出它们之间的区别。我使用的是java 8，示例时间戳字符串是1474457086337977。我想把它转换成日期或时间戳实例。
浏览 3提问于2016-09-24得票数 0
回答已采纳
1回答
我在Azure上有一个Databricks 5.3集群，它运行Apache Spark 2.4.0和Scala 2.11。我正在尝试解析具有自定义时间戳格式的CSV文件，但我不知道Spark使用哪种日期时间模式格式。，第一列总是被推断为字符串。csvDataFrame:org.apache.spark.sql.DataFrame Name:string
浏览 39提问于2019-05-10得票数 1
回答已采纳
当在databricks/spark中的时区之间转换时间戳时，时区本身似乎在最终结果中丢失了，我似乎既不能保留它，也不能将它添加回去。我有很多UTC时间，并且正在使用根据另一个字段将它们转换到不同的时区。计算结果是正确的，但如果我用时区输出它，它将显示为UTC。),"yyyy-MM-dd'T'HH:mm:s Z") createTimestampLocal,
您可以看到，第三列为时区正确地完成
浏览 1提问于2022-07-15得票数 0
回答已采纳
2回答
我在csv文件中有一个时间戳字段，我使用spark库将其加载到dataframe中。(Try.scala:79)
at org.apache.spark.sql.execution.datasources.csv.UnivocityParser$$anonfun$makeConverter$apache$spark$sql$execution$datasources$csv$UnivocityParser$$nullSafeDatum(Univoc
浏览 3提问于2017-04-06得票数 9
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
