如何实现时间戳数据从Spark Python到Pandas的往返转换？我从Spark中的Hive表中读取数据，希望在Pandas中进行一些计算，然后将结果写回Hive。只有最后一部分失败了，将Pandas时间戳转换回Spark DataFrame时间戳。<e
浏览 14提问于2017-03-04得票数 7
1回答
与单个时间服务器同步的机器记录来自该服务器的时间戳和往返时间。您如何从时间戳和往返时间知道您应该使用哪个时间来设置时钟？这台机器应该把它的时钟调到几点？您如何近似设置的准确性？
浏览 3提问于2016-10-25得票数 1
编辑:该问题似乎存在于Windows中标准日期时间库将日期时间转换为时间戳的过程中import datetime
datetime.datetime(1973,1,23,0Dataframe和datetime64ns日期转换为Apache Spark dataframe时，我得到了一堆关于Exception ignored in: 'pandas._tz_convert_tzlocal_utc'<em
浏览 9提问于2020-02-22得票数 1
1回答
我有一个带有pandas.tslib.Timestamp类型时间戳列的熊猫数据。(index=False)]> df = pd.DataFrame(pd.date_range(start=datetime.datetime.nowRDD，执行一些操作(不触及时间戳列)，然后调用
> spark.createDataFrame(rdd,schema) /&#x
浏览 2提问于2017-07-25得票数 5
但是，它给出了以下错误：有没有解决这个问题的办法？如果我删除了所有的时间戳列，那么它就可以工作，但是我想把整个表都放到Pandas中。
当我把Spark DataFrame带到Pandas时，我从来没有遇到过错误。这是一个相当大的表，其中包含多个时间戳列。有些是YYYY-MM-DD列，有些是YYYY-MM-DD 00:0
浏览 140提问于2021-02-23得票数 2
回答已采纳
在Python的Pandas库中，从纳秒精度的unix时间戳创建日期时间非常简单： import pandas as pdprint(ts) 显示 2018-11-26 00:00:00.010159332 由ts.value恢复原始时间戳也很简单。在Julia中有没有提供同
浏览 52提问于2019-01-15得票数 0
回答已采纳
我正在做一个在C++中嵌入Python的项目，遇到了一个带有日期时间/时间戳的熊猫DataFrames的问题。向pandas添加datetime对象时，如果它们在时间戳范围内，它们似乎会自动转换为时间戳对象。例如： ? 这在C++端是有问题的，因为我使用pandas应用编程接口提取时间信息，而PyDateTime
浏览 41提问于2020-07-17得票数 0
回答已采纳
Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
在具有4个CPU的Ubuntu16.04虚拟机上，我对pyspark和纯python的性能进行了简单的比较。我在有4个cpus的虚拟机上以本地安装的方式运行spark。import pysparkfrom operator importadd
浏览 32提问于2020-05-15得票数 2
1回答
我试图根据条件“回填”更新我的数据。如果记录有“回填”的原因，我想用新的“数据”更新“数据”列，但保留旧的“时间戳”值。
浏览 9提问于2022-02-08得票数 0
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！我有一个用spark.sql读取的csv文件。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单地更改数据类型到日期的</e
浏览 1提问于2017-11-22得票数 1
回答已采纳
我在Redshift谱中有一个外部表，DDL有日期时间列，如下所示：目的:我试图划分一个特定的数据集，然后将分区添加到频谱中创建拼花后，下面是相应的拼花文件中的“collector_tstamp”元数据：
{“元数据”：null，"field_name"："collector_tstamp"，"name"："collector_tstamp"，&quo
浏览 0提问于2019-08-31得票数 0
回答已采纳
我正在尝试使用pandas.to_datetime('today')获取当前日期，但我得到以下错误："AttributeError:类型对象' type‘没有属性'now'“我查了一下，很明显，它是有效的(pandas版本0.25.3) 提前感谢
浏览 17提问于2021-02-09得票数 0
我有包含unix纪元时间戳列的Cassandra表(值例如1599613045)。我想使用spark sqlcontext根据这个unix纪元时间戳列从这个表中选择日期到日期。我打算转换从日期，到日期输入到纪元时间戳和比较(>= & <=)与表纪元ts列。有可能吗？有什么建议吗？非常感谢！
浏览 14提问于2020-09-09得票数 0
我的日期是高字节，比如: YYYYMMDD in a CSV。
当我使用简单的字符串类型时，数据加载正确，但是当我使用DateType()对象定义列时，我得到的所有内容都是空值。或者Spark应该自动推断出来吗？
浏览 0提问于2018-09-01得票数 0
我有一个python pandas数据帧(pd_df)，如下所示：0 2015-01-31 8352 2015-03-31 2439它给了我一个错误：
DateType can not accept object 1422662400000000000L in type <type 'lon
浏览 2提问于2016-06-14得票数 1
有没有办法将Spark Df (非RDD)转换为pandas DFvar some_df = Seq( ("B", "yes"), ("B", "no")
"user_id", "phone_number")%pyspark
pandas<
浏览 2提问于2018-06-21得票数 51
回答已采纳
环境：
我使用方法pandas.read_sql()从SQL检索表，该表还包含失效时间戳的值(9999-12-30 23:00但是，代码行将错误‘抛出纳秒时间戳: 9999-12-30 23:00:00'。背景：
我已经检查了的解决方案。但是，它似乎没有
浏览 1提问于2019-03-29得票数 1
当我试图在木星笔记本、Pycharm或Anaconda3的Python终端中输入熊猫时，我会犯以下错误。~\AppData\Roaming\Python\Python36\site-packages\pandas__init__.py in ()--> 26来自pandas._libs导入(散列表为_hashtable，~\AppData\Roaming\Python\Python36\site-packages\
浏览 0提问于2018-08-26得票数 1
回答已采纳
1回答
创建带有时间戳字段的数据
、、、、
在Databricks上，下面的代码片段fromF.current_timestamp()]df = spark.createDataFrame(data, schema)显示值为"null
浏览 1提问于2022-07-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
