当时间戳列包含年份< 1900时，无法从BigQuery读取数据

文章/答案/技术大牛

发布

1回答

连接Tranco Google BigQuery和元数据库

google-bigquery、metabase

我试图连接第三方排名管理系统()与元数据库。Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。因为Tranco是一个外部数据库源，因此我无法从这里访问dataset Id。

浏览 14提问于2022-05-02得票数 1

1回答

python、google-cloud-dataflow、apache-beam

在使用最新的Apache Beam SDK for Python2.2.0定义的管道上，当运行一个读写BigQuery表的简单管道时，我得到了这个错误。由于有几行的时间戳为year < 1900，因此读取操作失败。如何修补此dataflow_worker包？

浏览 9提问于2017-12-17得票数 0

回答已采纳

1回答

将文件名添加到BigQuery本机表中的一个列中

google-cloud-platform

多个文件，其文件名包含GCS中的时间戳。必须从每个文件中读取所有这些数据，并将这些数据与时间戳一起插入到BigQuery表中作为列之一。如何在DAG中实现这一点？

浏览 1提问于2022-09-01得票数 0

2回答

Dataprep:创建一个列以转换为大查询时间戳类型

google-cloud-platform、google-cloud-dataprep

我一直在疯狂地尝试从现有的Datetime列类型创建一个列，该列类型将“发布”到一个大型查询“时间戳”列。我尝试了每一个函数"unixtime“和"unixtimeformat”函数的排列，但都没有结果:我总是让Dataprep发布到"string“或"datetime”列类型。更新：我的工作流程如下: GCS、.csv文件、==>数据代表、==>、My。解决方案

浏览 0提问于2018-07-01得票数 3

3回答

类似SOCRATA SODA的查询

socrata、soda

例如，我将所有的苏格拉塔数据和ETL (提取、转换和加载)都转换到BigQuery中。问题是如何通过纯碱API像查询一样运行。如何通过查询将时间戳字段转换为仅用于组的年份。例如，如

浏览 3提问于2014-08-10得票数 1

回答已采纳

1回答

所以，我第一次尝试在我的一个项目中使用Google BigQuery，我有点困惑。这些文档并没有多大帮助，从谷歌的博客判断，所有的谷歌员工似乎都因为当前的流行病而离开了公司。我已经有几个.csv文件，其中包含表的未标记的数字数据上传到Google存储，在他们的澳大利亚服务器。我想要做的是使用BigQuery来执行k均值聚类和分析它们上的变量之间的相关性。但是，我在试图将数据传输到BigQuery时遇到了问题。我试着使用“数据标签”选项卡创建一个

浏览 0提问于2020-04-10得票数 1

1回答

由于日期和时间格式，无法上载csv文件

datetime、google-bigquery、format

由于日期和时间格式，我无法上传csv文件。如果我之前试图打开CSV文件，以便修复date列，它将不会为我带来整个数据集，所以我想将它上传到bigquery中，这样我就可以在那里确定日期时间了。创建表失败:读取数据时出错，错误消息:无法解析'4/12/2016 7:21 AM‘作为字段时间的时间戳(位置1)，从位置15开始，消息“无效时

浏览 2提问于2022-03-02得票数 1

1回答

当多个PubSub主题使用DataFlow从多个主题流到BigQuery时，消息卡在GBP中？

java、google-bigquery、google-cloud-dataflow、google-cloud-pubsub、apache-beam-io

我有一个包含以下部分的Java DataFlow管道：删除中间的Flatten.pCollections操

浏览 0提问于2018-08-23得票数 1

回答已采纳

2回答

Google BigQuery在加载Parquet文件时失败，“查询执行期间超出的资源: UDF内存不足”

google-bigquery

我们使用BigQuery Java从本地数据源上传数据，如描述的。当上载包含18列(16字符串、1 float64、1时间戳)和13次Mio行(例如17 16数据)的Parquet文件时，上传失败，例外情况如下：然而，当<

浏览 3提问于2020-02-27得票数 2

1回答

通过API来自CSV的时间戳

google-bigquery

当有时间戳字段时，API是否支持将CSV导入到新表中？如果我手动(使用BigQuery web界面)上传一个包含时间戳数据的CSV文件，并通过模式将该字段指定为时间戳，它就能正常工作。数据已加载。时间戳数据被解释为时间戳数据，并导入到时间戳字段中。然而，当

浏览 2提问于2013-04-25得票数 0

回答已采纳

2回答

从同时写入的表中读取扳手数据

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、google-cloud-spanner

我正在通过数据流作业将扳手数据复制到BigQuery。该作业计划每15分钟运行一次。问题是，如果数据是从同时写入的扳手表中读取的，那么在复制到BigQuery时会丢失一些记录。我在读取扳手数据时使用readOnlyTransaction()。在做这项活动时，我还需要采取其他预防措施吗？

浏览 1提问于2018-12-17得票数 0

回答已采纳

1回答

需要帮助为非DBA设计数据库

google-bigquery、google-cloud-storage

我正在使用谷歌的云存储& BigQuery。我不是一个DBA，我是一个程序员。我希望这个问题足够一般性，以帮助其他人。我们的数据分析要求每个记录都有一个时间戳。但是，在将源数据文件添加到云存储(4+ GB的文本数据/文件)之前，我们的源数据文件太大，无法

浏览 1提问于2013-11-23得票数 0

回答已采纳

1回答

无法从firestore创建名为'timestamp‘的字段的架构列

google-cloud-firestore、import、google-bigquery、schema

我正在尝试将数据从firestore导入到BigQuery，并且我能够将数据正确转换为模式，但我只有一个问题收集用户，我有一个字段命名为时间戳和数据类型也是时间戳我无法转换此字段到列通过指定它在模式file.But时，我更改了字段名为utime我得到访问它在BigQuery中...任何人可以指导，我已经有许多注册用户在集合中，我正在寻找替代的方式，它将不需要修改的fieldname

浏览 5提问于2021-02-16得票数 0

回答已采纳

1回答

如何用合并的日期时间将CSV上载到Bigquery

sql、google-cloud-platform、google-bigquery

我一直试图将csv文件加载到BigQuery，但我得到了以下错误。“未能创建表:读取数据时出错，错误消息:无法解析'4/12/2016 7:21 AM‘作为字段时间(位置1)的时间戳，从位置15开始，消息’无效时区: AM

浏览 7提问于2022-04-06得票数 0

回答已采纳

1回答

使用load_table_from_dataframe()用datetime对象存储数据文件时的模式冲突

pandas、google-cloud-platform、google-bigquery、pyarrow

我正在尝试将数据从Pandas DataFrame加载到BigQuery表中。DataFrame有一个dtype datetime64[ns]列，当我尝试使用load_table_from_dataframe()存储df时，我得到 CREATE

浏览 0提问于2018-11-16得票数 1

回答已采纳

2回答

Bigquery SYSTEM_TIME作为数据恢复的特性保证

google-bigquery

在Google BigQuery中，可以检索过去表(快照)的行(至少在过去7天)：#legacySQL SELECT * FROM [PROJECT_ID:DATASET.TABLE但我想知道过去是否有检索表数据的保证。一位同事告诉我，他在某个地方读过(但他再也找不到)，这是一个“尽最大努力”的特性，因此可能会有一些缺失的数据。此功能是否可用于生产环境中的数据恢复(例如，如果有人无意中截断了一个重要的表)，只要在错误发生后7天内完成恢复？有没有任何保证，我们可以访问的整个数据</

浏览 3提问于2019-11-26得票数 3

回答已采纳

1回答

在时间戳中正确提供时区(防止自动UTC)上载到Bigquery

python、pandas、datetime、google-bigquery

如何将时区添加到上传到Bigquery (BQ)的dataframe时间戳中？我的问题是如何正确设置[time zone]部件根据烧烤文件：字符串格式的时间

浏览 2提问于2019-04-04得票数 1

回答已采纳

1回答

可以在BigQuery中划分嵌套表吗？

google-bigquery、partitioning、denormalization

我目前正在将数据仓库迁移到BigQuery中。我一直试图去美化数据库，因为我已经读到它可以带来更高效、更便宜的查询。然而，这导致了许多嵌套表。如果每个嵌套表都有一个列"created_at“和"last_modified_at"，那么是否可以使用这些值中的任何一个来对表进行分区？

浏览 3提问于2021-12-02得票数 1

回答已采纳

3回答

如何运行查询以获得过去12个月的结果( BigQuery)

sql、google-cloud-platform、google-bigquery、bigquery-standard-sql

我已经将月份和年份从原始时间戳列中提取为单独的列。我尝试使用date_add()和date_diff()，但是我遇到了一些错误。我的数据集就像：8 2018 August 19 2017

浏览 1提问于2018-10-01得票数 5

回答已采纳

3回答

云数据集中的数据转换

google-cloud-data-fusion、cdap

如何在云数据集中转换字符串到日期？我尝试将其作为时间戳保存在

浏览 6提问于2019-12-07得票数 2

回答已采纳

点击加载更多

连接Tranco Google BigQuery和元数据库