Spark Scala - Datetime to Unix_time - 腾讯云开发者社区

文章/答案/技术大牛

发布

3回答

Spark Scala - Datetime to Unix_time

scala、apache-spark、apache-spark-sql

当检查到日期转换器的unixtime 946691580时，它显示为01/01/2000 1:53AM而不是PM所以我的问题出在将我的Date字段转换成unix_time。一旦我的数据格式化，我计划在数据框架的顶部创建一个视图，并使用spark sql来计算两列之间的最大差异。对我做错了什么有什么建议吗？data.withColumn("timestamp",unix_timestamp(to_timestamp(col("Date"),"MM/dd/yyyy HH:

浏览 16提问于2020-04-10得票数 0

回答已采纳

1回答

如何为以下只有一列的数据编写用于创建表的模式

scala、apache-spark、apache-spark-sql、schema

[c3f36c25-2546-48b2-bd72-1b5e5dcae2ab, 1620247529, 6032, Amoma, 17256, false, Tui.com, 17149, false] 1620247529- timestampAmoma-parknamefalse -dinner

浏览 10提问于2020-06-04得票数 0

回答已采纳

1回答

pyspark.sql模块错误: worker中的Pythonversion2.7与驱动程序3.7中的版本不同，PySpark不能在不同的次要版本下运行

pyspark、jupyter、pyspark-sql

df = spark.read.parquet('xxx')time_df.select(fro

浏览 1提问于2019-05-30得票数 1

5回答

在Apache Spark中，unix_timestamp()能否返回以毫秒为单位的unix时间？

apache-spark、apache-spark-sql、unix-timestamp

scala> var df = Seq("2017-01-18 11:00:00.000", "2017-01-18 11:00:00.123", "2017-01-18 11:00:00.882","2017-01-18 11:00:02.432").toDF() scala> df = df.selectExpr("value t

浏览 3提问于2017-02-15得票数 20

1回答

spark时间戳上的过滤器在大于一天的范围内不起作用

apache-spark、pyspark、apache-spark-sql

我正在使用pyspark 2.3.0版本。我正在过滤时间戳列上的数据帧。当我过滤一天内的时间范围时，它工作得很好。当我在2天范围内进行筛选时，它不会返回所有记录。我尝试了几种方法，比如： .filter(df["requestts"] <= sqlf.lit(endDatestr)) dates = (

浏览 0提问于2018-06-27得票数 1

3回答

使用Joda时间将字符串转换为unsupportedOperationException错误

scala、apache-spark、jodatime、apache-spark-sql

我使用joda.time.Datetime库将字符串转换为datetime字段，但它引发不受支持的异常，这里是主要类代码： at org.apache.spark.sql.catalyst.ScalaReflectionat org.apache.spark.sql.catalyst.

浏览 4提问于2016-01-14得票数 2

回答已采纳

1回答

如何在Pandas数据转换过程中处理时间戳类型？

python、datetime、numpy、apache-spark、pyspark

(RDD.scala:323) at org.apache.spark.rdd.MapPartitionsRDD.compute(ResultTask.scala:87) at org.apache.spark.

浏览 2提问于2017-07-25得票数 5

1回答

在scala中调用collect()函数时出现异常

scala、hadoop、apache-spark、user-defined-functions

例如，对于日期时间，数据类型定义为Num，格式定义为DateTime20. (例如)。在蜂巢中，这种数据类型相当于Timestamp。,Num,8,DATETIME20.,DATETIME20.2,LOAD_DATETIME,Num,8,DATETIME20.,DATETIME20.SASToHiveMappings.csv文件Num,Da

浏览 4提问于2018-01-04得票数 0

1回答

spark scala比较数据帧具有时间戳列

scala、dataframe、apache-spark、apache-spark-sql

( StructField("rowkey",StringType,true)sourceDf.write.avro("test") sourceDf.printSchemathe expected schema s

浏览 12提问于2020-05-08得票数 0

回答已采纳

1回答

Scala -没有为类型找到即时转换器: scala.Tuple5

scala、jodatime

<init>(BaseDateTime.java:169) at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:674)(SparkIMain.scala:669) at org.apache.spark.repl.SparkILoop.reallyInterpret$1

浏览 4提问于2015-02-12得票数 2

回答已采纳

2回答

如何在scala中压缩以下内容？

scala

() {x=> x.get[DateTime]("mytime") > offsetvalue._1 && at org.apache.spark.ut

浏览 0提问于2015-09-23得票数 0

1回答

使用bcl.DateTime字段在proto case类上创建数据帧抛出none不是术语异常

apache-spark、scalapb

我有一个通过scalapb从.proto文件生成的case类，它有几个bcl.DateTime类型的字段。[bcl.bcl.DateTime] = _root_.scala.None, modifiedDTim: _root_.scala.Option[bcl.bcl.DateTime] = _root我可以创建这个case类的一个实例并查看内容，如下所示： val currentDt: DateTime = DateTime.of(value = Some(D

浏览 17提问于2020-07-10得票数 0

回答已采纳

1回答

如何解决非序列化异常？

scala、apache-spark

代码： val$.ensureSerializable(ClosureCleaner.scala:166) ~[spark-core_2.10-1.2.2.2.jar:1.2.2.2] at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.<em

浏览 3提问于2015-09-25得票数 0

1回答

无法调用pyspark udf函数

python、apache-spark、pyspark、user-defined-functions

尝试使用UDF函数，但遇到错误： import timefrom pyspark.sql.functions import lit,unix_timestamp, udf(dict) timestamp2= datetime.datetime.fromtimestamp(tim

浏览 36提问于2021-07-23得票数 2

回答已采纳

1回答

PySpark: TypeError:不支持的操作数类型为+：'datetime.datetime‘和'str’

python、apache-spark、pyspark、apache-spark-sql

to_datetime_func = udf (lambda d, t: datetime.strptime(d+" "+t, "%Y-%m-%d %H:%M:%S"), TimestampTypeFile "<command-4293391875175815>", line 1, in <lambda> TypeError: unsupported operand type(s) for +: 'datetime.datetime</e

浏览 0提问于2019-07-22得票数 1

1回答

在星火数据帧中动态应用聚合函数

scala、apache-spark、apache-spark-sql

df_transpose.groupBy("_id").pivot("Type").agg(first("Value").alias("Value"),first("OType").alias("OType"),first("DateTime").alias("DateTime")) 无法在上述场景中动态传递别名。agg_Map scala.collection.mutable.Ma

浏览 0提问于2019-07-04得票数 0

回答已采纳

1回答

将Unix时间戳转换为时间戳，包括特定时区的本地时间。

python、python-3.x、pandas

我有以下代码：df['time'] = (pd.to_datetime(df['unix_time'], unit='s',tz='Europe/Vienna')) 第一行运行，但是当我尝试将新的时间戳设置为该时区的本地时间时，我会得到一个错误，因为- **to

浏览 0提问于2019-12-14得票数 0

回答已采纳

1回答

unix_timestamp有时返回null

apache-spark、pyspark

对于某些字符串- unix_timestamp返回null+--------------------------------------------------------------++-----------------------

浏览 1提问于2020-04-04得票数 1

回答已采纳

1回答

如何使用Scala序列化Spark* Streaming中的org.joda.time.DateTime？*

scala、apache-spark、serialization、spark-streaming、jodatime

._import org.joda.time.DateTime case "END" => (false, DateTime.parse:453) at scala.Option

浏览 35提问于2020-06-17得票数 1

回答已采纳

1回答

如何在火花壳内部使用nscala_time？

scala、apache-spark、nscala-time

我们使用nscala_time实现DateTime功能。当我跑的时候从我的放好的jars目录中，一切正常，我可以运行。> val current = DateTime.now然而，当我在spark-shell> val current = Date

浏览 1提问于2015-04-23得票数 0

回答已采纳

点击加载更多