1回答
我目前正在将数据仓库迁移到BigQuery中。我一直试图去美化数据库，因为我已经读到它可以带来更高效、更便宜的查询。然而，这导致了许多嵌套表。如果每个嵌套表都有一个列"created_at“和"last_modified_at"，那么是否可以使用这些值中的任何一个来对表进行分区？
浏览 3提问于2021-12-02得票数 1
回答已采纳
我有两个表，如下：TableB: host, timestamp, type
我想通过主机列和时间戳连接这两个表。它返回null，因为通常时间戳之间有几秒钟的间隔，所以它们不匹配。因此，我想根据主机和时间戳(仅限日期、小时和分钟)加入它们。时
浏览 7提问于2020-11-13得票数 0
回答已采纳
我有一个表，该表按日使用模式中的时间戳字段my_partition_field (而不是摄入时间_PARTITIONTIME)进行分区。执行以下查询时：BigQuery告诉我，“此查询将在运行时处理XX MB”。处理的数据量与该字段不是分区字段相同。但是，如果有相同的表按摄入时间进行分区，并且运行以下查询：
SELECT _PARTITIONTIME FROM MY_T
浏览 2提问于2021-10-27得票数 0
回答已采纳
当我从Python导出到GBQ时，会得到以下错误：
InvalidSchema:请验证DataFrame中的结构和数据类型是否与目标表的架构相匹配。
浏览 3提问于2018-11-30得票数 0
我正在为pubsub编写新的bigquery订阅，在尝试创建订阅时遇到了一个错误：
如果主题架构中的类型是字符串，而BigQuery表中的类型是时间戳、日期、日期或时间，那么Pub/Sub消息中该字段的任何值都必须遵循为BigQuery</
浏览 5提问于2022-09-18得票数 0
我们正在探索如何使用Bigquery来存储和分析代表用户会话的100万个日志条目。源原始日志条目包含"connect“日志类型和”断开“日志类型。我们可以选择在日志被摄取到bigquery之前处理它们，以便每个会话有一个条目，其中包含会话启动时间戳和一个“持续时间”值，或者单独插入每个日志条目并在分析阶段计算会话时间。让我们假设我们的表模式的形式是：
sessionStartTime: TIMESTAMP,
浏览 3提问于2013-10-27得票数 1
回答已采纳
我在bigquery中有一个外部表(来自GCS)，它通过自动模式检测datetime列，并使用UTC在表中创建时间戳列。我的数据的时区是中部(美国/芝加哥)。 ? 我知道时区是中央时区，我想用UTC时区创建另一个列。我尝试使用parse_timestamp/转换为字符串，然后使用时区转换为日期时间。但就是做不对。有什么建议吗？
浏览 21提问于2021-09-29得票数 0
回答已采纳
1回答
我正在使用谷歌的云存储& BigQuery。我不是一个DBA，我是一个程序员。我希望这个问题足够一般性，以帮助其他人。我们的数据分析要求每个记录都有一个时间戳。据我所知，在引入BigQuery之前，无法将时间戳列附加到每一行，对吗？
因此，我们正在尝试为每个源创建每日表的想法。但是当我们有实
浏览 1提问于2013-11-23得票数 0
回答已采纳
如中所示的示例
有一个BigQuery表，每隔15分钟就会追加一次新数据。表中有一个时间戳列。是否可以从添加到BigQuery表中数据通过fixedWindow基于时间的触发器执行流分析？
浏览 2提问于2015-09-30得票数 1
您有一个查询，它使用时间戳和ID列上的WHERE子句过滤BigQuery表。通过使用bq query –-dry_run，您了解到查询会触发对表的完整扫描，即使时间戳和ID上的筛选器选择了整个数据的一小部分。您希望减少BigQuery扫描的数据量，同时尽量减少对现有SQL查询的更改。你应该怎么做？
使用限制关键字可以减少返回的行数。使用分区列<
浏览 3提问于2019-10-26得票数 1
我们的BigQuery模式是大量嵌套/重复的，并且不断变化。例如，网站的新页面、表单或用户信息字段将对应于BigQuery中的新列。另外，如果我们停止使用某种形式，那么相应的不推荐列将永远存在，因为您不能删除Bigquery中的列。
因此，我们最终将产生有数百列的表，其中许多列是不推荐的，这似乎不是一个好的解决方案。我正在研究的主要选择是将所有内容存储为json (例如，每个Bigquery表</e
浏览 0提问于2019-03-08得票数 3
3.目标将根据JSON事件中的"user_id“和"campaign_id”字段而不同，"user_id“将是数据集名称，"campaign_id”将是表名。分区名称来自事件时间戳。4.所有表的架构保持不变。但是我无法访问JSON消息中的"campaign_id“和"user_id”字段。因此，我的事件没有路由到正确的<
浏览 0提问于2018-04-17得票数 0
回答已采纳
1回答
在GCP中，我想知道是否有可能将数据从Bigtable传输/移动到BigQuery。也就是说，我希望所有大于1年的数据都应该从Bigtable移动到BigQuery。这可行吗？
有人能帮我一下吗
浏览 3提问于2021-12-28得票数 0
1回答
我正在通过连接两个表A和B来构建一个视图。表中有TIME_OF_CHANGE列，它保存插入/更新的时间戳，视图应该包含max TIME_OF_CHANGE，它表示表A或表B最近更新的时间戳--请给出一种方法
浏览 3提问于2014-02-11得票数 0
5回答
预计随着时间的推移，这些数据将增长到相当大的规模。数据本身本质上是关系的，因此我们选择了Cloud而不是Cloud。我的问题有三部分-
将Cloud数据加载到BigQuery并使这种集成工作接近实时的推荐/最佳实践是什么？如果我将Cloud连接
浏览 4提问于2017-09-22得票数 11
我面临的问题是，JSON文件上的时间戳采用Unix时代的时间戳格式，而大型查询无法检测到：
所以我想知道该怎么办？在将JSON格式加载到BigQuery表之前，我考虑过手动更改JSON格式。我在网上寻思，还找不到任何有用的东西。
提前感谢您的支持。
浏览 3提问于2020-09-14得票数 0
回答已采纳
我有一个BigQuery表，其中包含一个名为daySliderTimes的结构列，格式如下：daySlidertime
浏览 0提问于2020-01-08得票数 0
我想将以AVRO格式存储的数据从GCS导入到Bigquery。源时间戳是Unix格式的秒精度(例如: 1572534049)，但是BQ要求它必须是毫秒或微秒精度才能使用逻辑类型并将其转换为正确的时间戳(我目前得到的值是1970年-XX-XX而不是2021年-XX-XX我知道我的问题类似于下面的帖子：
但是，我不能将AVRO文件中的列乘以1000，因为它们是从其他地方检索的，然后定期存储。似乎我也不能在表模式定义中添加*1000。如果没有直接的方法，我将简单地将带有uni
浏览 22提问于2021-02-22得票数 0
回答已采纳
我需要使用Bigquery中表中的数据计算执行时间(时间戳之间的差异)。此表包含以下示例数据：|Command Name | Timestamp，第二列包含命令执行的时间戳，最后一列包含相应的状态。对于这些数据，需要计算每个命令的执行时间，这些命令被定义为：
命令执行时间=状态为
浏览 1提问于2022-11-08得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
