我们的系统托管在GCP中。使用‘Exports’将要素日志导出到BigQuery使用此日志表，我们需要每天生成报告。报告可以是每个活动每天的印象数。我们需要按ETC时间显示这些报告。因为BigQuery表是<
浏览 0提问于2019-03-11得票数 4
1回答
我正在尝试将分区表导出到GCP存储桶中。我的主要目标是在GCP中创建日常文件。destination_format=CSV test.test_table$20210719 gs://test_partition/part_col=20210716/test_*.csv test_table是一个分区表，日期为2021-07-19，我有7k行。只要$ sign包含在表名中，它之
浏览 20提问于2021-07-20得票数 0
回答已采纳
我有一个包含340 we数据的表，但我们只使用了过去一周的数据。因此，为了最大限度地降低成本，计划将这些数据移动到分区表或分片表中。全表-27秒分区表- 33秒切片表-
浏览 0提问于2016-09-15得票数 6
我们有一个数据存储在gcp桶中，格式如下- gs:/gcptest/Year=2020/Month=06/day=18/test1.parquet和day=18文件夹下的这么多文件。我希望在bigquery中创建一个表，其中的列存在于文件中，并按文件路径上的年份、月份和日期进行分区。这样，当我将数据加载到表中时，我可以从gcp桶中选择路径，并加载数据，这些数据将<em
浏览 3提问于2020-06-18得票数 1
回答已采纳
我想导出一个90 TB的BigQuery表到。根据的说法，BigQuery存储API (beta)应该是因为与其他方法相关联的导出规模配额(例如ExtractBytesPerDay)。该表是按日期划分的，每个分区占300 GB.我有一个运行在GCP上的Python笔记本，它通过这个从改编的脚本运行分区(并行)。rows = reader.rows(session)
是否可以将数据直接从</e
浏览 4提问于2020-05-20得票数 1
1回答
在BigQuery中，不能对分区表使用create or replace table语句。我可以将表导出到GCS，但是BigQuery会生成多个无法一次性导入到表中的JSON文件。有没有一种从分区表中删除列的安全方法？我使用BigQuery的web界面。
浏览 1提问于2020-09-23得票数 0
我希望将bigquery非分区表(2TB)中的数据作为日期分区文件导出到。因此，我可以轻松地将大的非分区表转换为分区表。
浏览 2提问于2017-07-10得票数 1
回答已采纳
这对我来说也是一样的，在DDL语句下面运行创建分区表时，它创建的是空的分区表，不确定为什么！--这发生在BigQuery Sandbox环境中。FROM
bigquery-public-data.stackoverflow.posts_questions
浏览 18提问于2022-03-21得票数 1
回答已采纳
我正在尝试将数据从GCP账单导出表回填到另一个表，比如T1。下面的预定查询每天运行，以获取昨天的数据。SELECT * FROM gcp_billing_export_v1 WHERE DATE(_PARTITIONTIME) = DATE_ADD(CURRENT_DATE(), INTERVAL -1我在下面的查询中尝试了回填功能--期望回填实用程序将过去的日期(即5月15日)作为@run_date的param
浏览 20提问于2022-06-22得票数 0
在BigQuery中，我可以从查询创建一个永久表。有没有一种方法可以使这样的表按日期分区？我可以查询日期分区表，但不能从查询创建日期分区表。例如，给定一个按日期分区的表tblwhere _partitiontime between cast('
浏览 3提问于2016-12-13得票数 1
我正在使用从Firebase Analytics导出到Google Bigquery的数据。这些表在这种格式中是按日期分区的示例SELECT * FROM `PROJECTIID.analyticsxxxx.events_YYYYMMDD` LIMIT 1000不幸的是，这些表每天都在不同的时间(有时是上午10点，有时是凌晨5点，有时是下午2点)我想知道是否有一种方法可以使用带有" if“条件的Bigquery的”预定查询“
浏览 11提问于2020-12-23得票数 0
回答已采纳
我是dbt新手，在BigQuery中，我可以使用asterix查询大型数据集中的分区表。例如：asterix代表年份和月份，例如202211。如果我使用代码-gen包，它会为每个月创建一个表，但我不想每个月更新它。
我读到了增量数据源，但我不确定这是否是我所需要的？有人能给我指明正确的方向吗。
浏览 11提问于2022-11-22得票数 0
回答已采纳
1回答
我们正在尝试将所有的http请求导出到我们的google负载均衡器到大查询中。不幸的是，我们注意到数据在3分钟后到达BigQuery。从本教程开始：
表按日期进行分区，并在小时和分
浏览 0提问于2019-07-17得票数 0
我想从java在BigQuery中创建一个分区表(按字段划分，按日期类型划分)。我找了很多，但这方面没有多少信息。build(); bigquery.create(tableInfo);
我们是否应该使用TimePartitioning，即使我们想按<
浏览 0提问于2019-12-30得票数 3
1回答
在我的项目中，我使用的是谷歌BigQuery，它保存了大量的数据。BigQuery列是：
account_id，session_id，transaction_id，用户名，事件，时间戳。在我的测试中，BigTable的性能比BigQuery慢。是否有任何建议的模式可以提高BigTable的性能？
浏览 3提问于2022-05-25得票数 0
你好，我正在使用我的个人GCP帐户在Bigquery中玩，我仍然在我的免费范围内(一个账单帐户是链接的，但还没有发生任何费用)。因此，我创建了一个表，从bigquery中获取baseball.games_wide表。下面是我在时间戳列'startTime‘上带有分区的简单CREATE查询。`该表已成功创建，我可以看到工作人员有写入阶段，这是某种东西正在写入表的指示符。但是，当我转到“预览
浏览 4提问于2022-09-21得票数 0
我需要创建一个Airflow作业，将BigQuery表中的分区导出到给定范围的_PARTITIONDATE之间的GCS。我需要分区是在单独的文件与日期的分区。我如何才能做到这一点？
浏览 0提问于2019-09-17得票数 1
我是BigQuery和GCP的新手。我正在使用BigQuery中可用的(大型)公共数据集，运行一个SQL查询--它基于一个简单的where子句从dataset中的一个表中选择一组数据。我的问题是，每次我这样做，都会导致BigQuery处理4+百万行数据，而运行这个查询的成本对我来说是快速增加的。有没有方法可以运行SQL查询并将数据导出到GCP中的另一个表/数据库，然后对导出的数据运行我的操作？我是否正确地假设(这里可能是错误
浏览 3提问于2019-12-30得票数 2
回答已采纳
1回答
我在BigQuery中有很多表是分日期的，包括几年的数据。最近有人告诉我，这是一种旧的优化方法，而且日期分区要快得多。
这是正确的吗？我一直在寻找方法来提高对这些数据的查询速度，如果日期分区允许更快的查询，我应该重新构建所有的日期分割GA表作为日期分区吗？我应该两者都做吗？我可以期望看到什么样的性能影响，这真的值得付出努力吗？
浏览 0提问于2019-04-18得票数 1
1回答
我目前正在将数据仓库迁移到BigQuery中。我一直试图去美化数据库，因为我已经读到它可以带来更高效、更便宜的查询。然而，这导致了许多嵌套表。如果每个嵌套表都有一个列"created_at“和"last_modified_at"，那么是否可以使用这些值中的任何一个来对表进行分区？
浏览 3提问于2021-12-02得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号