在BigQuery中自动删除临时表
是一种自动化的功能，它可以帮助用户在使用完临时表后自动清理和释放资源，提高数据处理的效率和可靠性。
临时表是一种在BigQuery中临时存储数据的表，它们通常用于存储中间结果或临时计算结果。临时表的生命周期通常是短暂的，一旦使用完毕，就可以删除以释放资源和减少存储成本。
在BigQuery中自动删除临时表的方法是通过设置表的过期时间来实现。用户可以在创建临时表时指定一个过期时间，一旦过期时间到达，系统会自动删除该表。这样可以确保临时表不会无限制地占用资源和存储空间。
自动删除临时表的优势包括：
- 节省资源：自动删除临时表可以及时释放资源，避免资源浪费和冗余存储。
- 提高效率：自动删除临时表可以减少手动管理表的工作量，节省时间和精力。
- 降低成本：自动删除临时表可以避免不必要的存储成本，只在需要时临时存储数据。
在BigQuery中，可以通过以下方式设置临时表的过期时间：
- 使用SQL语句创建临时表时，可以在CREATE TABLE语句中使用OPTIONS子句来指定过期时间，例如：
- 使用SQL语句创建临时表时，可以在CREATE TABLE语句中使用OPTIONS子句来指定过期时间，例如：
- 上述示例中，临时表temp_table的过期时间被设置为当前时间加上1小时。
- 使用BigQuery API或客户端库创建临时表时，可以在创建表的请求中设置expirationTime属性来指定过期时间。
推荐的腾讯云相关产品：腾讯云数据仓库 ClickHouse
- 产品介绍链接地址：https://cloud.tencent.com/product/ch
腾讯云数据仓库 ClickHouse 是一种高性能、可扩展的列式存储数据库，适用于大规模数据分析和实时查询。它具有快速的数据导入和查询速度，支持丰富的数据分析功能和灵活的数据模型。在BigQuery中使用临时表时，可以将临时表的数据导入到腾讯云数据仓库 ClickHouse 中进行进一步的分析和查询。
相关·内容
在BigQuery中，创建了大量的temp_table_*表，这就是对数据集进行聚类。有没有办法自动删除这些临时表？
<code>B0</code>
浏览 82提问于2020-03-17得票数 0
我试着用星火和scala来实现类似的目标
使用Java 更新BigQuery数据
我希望更新现有数据，并将新数据插入Bigquery表中。如果我们可以在spark中使用某种DML来对upsert进行BigQuery操作，有什么想法吗？
我发现BigQuery支持merge，但我不确定我们是否可以使用spark和scala 做类似的事情
浏览 1提问于2022-01-18得票数 0
回答已采纳
我使用python将包含10列的CSV文件加载到包含103个列的现有BigQuery表中。附加写入模式。CSV文件的10列具有与现有BigQuery表的103个列中的10个列完全相同的列名。我在job_config中使用job_config进行模式自动检测。
我想要完成的是，这个python脚本将把数据写入到现有BQ表的相应列中。但是，我收到了“如果Schema不匹配表”的错误。
有办法这样做吗？
谢谢
浏览 6提问于2022-02-17得票数 0
我使用气流将CSV文件(例如FILE__YYYYMMDD.csv)从GCS桶解压缩到BigQuery。由于文件经过几个月的演变，它的模式发生了变化(添加了更多的列)。因此，我使用了选项autodetect来设置烧烤中的表模式。不幸的是，一些键列被自动检测错误(由于某种原因检测出十六进制散列作为浮动)，因此我希望将每个列作为字符串导入，然后将其转换到应该分析表的查询中.
String" 您推荐这种方法吗？如何告诉Bigquery“自动检测列(名称)，但将其类型设置为”
浏览 2提问于2021-12-09得票数 -1
回答已采纳
最近，我遇到了一个问题，当我使用pyspark将数据写入BigQuery中时。这里是：
pyspark.sql.utils.IllegalArgumentException:必须通知U‘informed或持久性GCS桶
在对问题进行研究后，我发现暂时性的GCS桶要提到spark.conf。
bucket = "temp_bucket"
spark.conf.set('temporaryGcsBucket', bucket)
我认为在Biquery中为像Hive这样的表创建一个文件是没有概念的。
我想知道更多关于它的情况，为什么我们需要临时gcs将数据写入
浏览 6提问于2021-06-11得票数 1
回答已采纳
1回答
我希望能够将Bigquery结果作为json文件存储在中。我找不到这样做的方法，所以我要做的是
对Bigquery运行查询并将结果存储在永久表中。我用一个随机的guid来命名永久表。
从bigquery读取数据，在我的服务器端代码中将其转换为json，并将json数据上传到GCS。
删除永久表。
将GCS中的json文件url返回到前端应用程序。
虽然这是可行的，但也有一些问题。
答:我不认为我是通过使用自己的永久表来使用BigQuery的缓存的。有人能确认一下吗？步骤2将成为性能瓶颈。要从GCP中提取数据以完成JSON转换，将其重新上传到GCP中，感觉是错误的。更好的
浏览 1提问于2019-09-25得票数 0
回答已采纳
我正在寻找一种更新现有BigQuery表的方法。
使用，我可以将表复制到新的表中。现在，我正在寻找一个有效的删除/重命名列。
据说，这是不可能删除一列。那么，当将table1复制到table2以排除某些列时，是否有可能？
谢谢,
浏览 0提问于2015-11-20得票数 1
回答已采纳
1回答
我想从bigQuery导出一个表或视图，但我不需要导出所有内容:我只需要导出某些列。如何配置要导出哪些？
我当前的代码如下所示：
BigQuery bigQuery = BigQueryOptions.getDefaultInstance().getService();
Field fieldToExport = Field.of("column to export", LegacySQLTypeName.STRING);
Table table = bigQuery.getTable("mybigqueryid", "mytable", /*
浏览 1提问于2018-04-09得票数 1
回答已采纳
我们的数据仓库团队正在评估BigQuery作为一种数据仓库列存储解决方案，并对其特性和最佳使用提出了一些问题。我们现有的etl管道通过队列异步地消耗事件，并将事件等效地保存到我们现有的数据库技术中。幂等结构允许我们在没有重复风险的情况下，偶尔重播几个小时或几天的事件，以纠正错误和数据中断。
在测试BigQuery时，我们尝试使用具有唯一密钥的实时流插入api作为insertId。这为我们提供了在短窗口上重新插入的功能，但是稍后数据的重新流会导致重复。因此，我们需要一个优雅的选项来消除实时/近实时的欺骗，以避免数据差异。
我们有几个问题，希望得到任何一个问题的答案。对于在ETL体系结构中使用Bi
浏览 3提问于2017-03-27得票数 3
回答已采纳
我理解这可能是相当微不足道的，但我正在努力寻找一个优雅的解决方案。
如果我有修改作业配置的权限，在本例中通过python。
当我通过BigQuery调用加载作业时，使用模式自动检测将CSV文件解析为BigQuery表。
是否可以忽略某些列作为加载作业的一部分？
，例如
我正在创建一个来自以下CSV文件的LoadJob (我已经格式化了该文件以使它在眼睛上更容易)。
First_Name, Age, Gender
John, 26, Male
是否可以使用Python调用LoadJob，该API将生成下表-
我的当前解决方案使用了一个外部表，如下所示，它创建一个外部表，并使用
浏览 7提问于2021-10-29得票数 0
回答已采纳
我在BigQuery上有一个日分区表.当我尝试使用如下查询从表中删除一些行时：
DELETE FROM `MY_DATASET.partitioned_table` WHERE id = 2374180
我得到以下错误：
错误:在分区表上还不支持DML语句。
Google的快速搜索引导我到：，它还说：“修改分区表的DML语句还不支持”。
现在，我们是否可以在从分区表中删除行时使用这个解决方案？
浏览 1提问于2017-03-02得票数 7
回答已采纳
我有一个每天的csv文件进入我的桶在谷歌存储，我建立了一个函数，加载这个csv，并将它附加到一个表在BigQuery中，当它进来。但是，在将数据加载到Big query之前，我希望向csv添加一个带有函数执行id (上下文“id”)的新列。
这有可能吗？
提前谢谢！
def TimeTableToBigQuery(data, context):
# Getting metadata about the uploaded file, the storage and datetime of insert
excution_id = context['event_id'
浏览 0提问于2019-09-16得票数 1
回答已采纳
2回答
情况是这样的：
我们的客户每天将CSV(覆盖)上传到中的一个桶中(每个表位于不同的文件中)。
我们在BigQuery中使用DataSource作为DataStudio
我们希望将CSV自动传输到BigQuery。
问题是，尽管我们：
使用“覆盖表”写入首选项选项声明BigQuery中的表
将每天传输的files (BigQuery >Transfer)配置为在文件上传到Google，后一个小时后自动从Google上传CSV。
自动传输/加载默认为"WRITE_APPEND"，因此表被追加，而不是在BigQuery中覆盖。
因此，问题是:
浏览 0提问于2019-01-02得票数 6
回答已采纳
我意外地将一个错误的列添加到我的BigQuery表模式中。
与其重新加载完整的表(百万行)，我想知道是否有可能实现以下操作：
通过使用某种筛选器在表上运行"select *“查询，并将结果保存到相同的表中，删除错误的行(包含值的行包含错误的列)。
删除(现在)未使用的列。
是否支持此功能(或类似功能)？“将结果保存到表”功能可能具有“紧凑模式”选项。
浏览 7提问于2016-02-15得票数 18
2回答
我目前正在开发一个从bigquery到Tableau的BI堆栈。我正在尝试使用Dataprep删除不必要的列，并连接bigquery中的表，以创建一个“主”表，然后将其提供给Tableau。bigquery中的表大约每8小时更新一次，我正尝试在dataprep中为主表创建一个类似的计划。 运行作业或甚至尝试从连接的表中获取样本都会产生此错误。 java.lang.IllegalStateException: The schema of the BigQuery table does not match the recipe. 不确定我该如何解决这个问题。我比较了错误中的两列(预期列与实际列
浏览 25提问于2018-12-27得票数 0
我有一些自定义的sql来从BigQuery读取数据。我该如何执行它呢？我尝试使用option作为查询，但它不起作用。它忽略查询选项并读取整个表。
Dataset<Row> testDS = session.read().format("bigquery")
//.option("table", <TABLE>)
.option("query",<QUERY>)
.option("pr
浏览 0提问于2020-11-24得票数 0
我想从google云存储(Bucket) CSV文件中检索数据，并将这些文件中的数据加载到bigquery表中，而不需要重复数据。目标是在性能上拥有一个性能比成本更优的代码。我的当前代码如下：
def load_data_in_BQT():
job_config = bigquery.LoadJobConfig(
schema=[
bigquery.SchemaField("id", "INTEGER"),
bigquery.SchemaField("name", "
浏览 4提问于2022-09-20得票数 0
有没有办法在不创建表的情况下将数据从select语句(BigQuery)导出到Google云存储中。
我每天都需要根据select语句(BigQuery)提取数据，并将文件放入中。
我知道我们可以通过以下方式从BigQuery进行导出。
命令行-在这个选项中，我需要创建一个临时表。没有临时表，我就看不到任何示例或语法。
bq查询
WebConsole --这个选项已经退出，因为需要安排时间。
API -使用API，我也无法从SQL查询中看到。我看到了整张桌子的例子。
请告诉我，是否有任何方法可以将数据从Bigquery语句导出到google云存储，而无需创建临时表。
浏览 4提问于2017-06-29得票数 1
在Bigquery中创建临时表时出错。
创建或替换临时表mss.Business.test2，作为mss.Business.registration的select *
查询错误:临时表可能在2:36时不能限定。
浏览 14提问于2022-07-15得票数 1
回答已采纳
我在MySQL中使用一个递归存储过程来生成一个名为id_list的临时表，但是我必须在后续的select查询中使用该过程的结果，所以我不能在过程中使用临时表.
BEGIN;
/* generates the temporary table of ID's */
CALL fetch_inheritance_groups('abc123',0);
/* uses the results of the SPROC in the WHERE */
SELECT a.User_ID
FROM usr_relationships r
INNER JOIN usr_accts
浏览 5提问于2014-01-31得票数 4
回答已采纳
我想使用BigQuery的预览/标题特性来免费查看表的示例数据，如所述，为此，我尝试使用列出的中列出的python api
from google.cloud import bigquery
# Construct a BigQuery client object.
client = bigquery.Client()
# TODO(developer): Set table_id to the ID of the table to browse data rows.
# table_id = "your-project.your_dataset.your_table_name&#
浏览 0提问于2021-06-15得票数 0
2回答
表将每天从源系统获得新的数据，我希望一旦新数据加载到表中，重复项就会被自动删除。
这在bigquery中是可能的吗？
我尝试用下面的查询在bigquery中创建一个名为sites_view的视图
SELECT DISTINCT * FROM prd.sites
但不会自动删除重复项。
浏览 2提问于2018-10-29得票数 1
1回答
我想用Python检查BigQuery表的最后修改日期。为了做到这一点，我使用Google client ()。
在执行下面的代码时，表属性'modified‘为空。
google-cloud-bigquery==0.24.0
所用代码：
from google.cloud import bigquery
client = bigquery.Client()
dataset = client.dataset(my_dataset)
table = dataset.table(my_table)
print table.modified
浏览 1提问于2017-04-04得票数 0
回答已采纳
我使用bigquery客户端对象将一些CSV文件(位于云存储中)上载到bigquery表中。
我成功地将数据上载到bigquery表中，但我希望将目标表更改为已分区表。分区将是文件名中的日期。
文件名是CSV文件中的一个列，与CSV文件名相同。
这就是我如何从文件名(假设文本是文件名)中提取数据的方法，date1稍后将用作我们的分区：
text = 'sales_2022-09-09T21-27-05_018787'
match = re.search(r'\d{4}-\d{2}-\d{2}', text)
date1 = datetime.strptime(m
浏览 7提问于2022-11-21得票数 0
下面是我的输入文件的样子：
{"Id": 1, "Address": {"Street":"MG Road","City":"Pune"}}
{"Id": 2, "Address": {"City":"Mumbai"}}
{"Id": 3, "Address": {"Street":"XYZ Road"}}
{"Id": 4}
{"Id":
浏览 1提问于2018-02-21得票数 1
回答已采纳
有没有办法通过以下方式在谷歌BigQuery中创建临时表：
SELECT * INTO <temp table>
FROM <table name>
和我们可以在SQL中创建的一样吗？
对于复杂的查询，我需要创建临时表来存储数据。
浏览 2提问于2013-12-19得票数 47
所以我不熟悉Firebase，也不熟悉将Firebase数据链接到BigQuery (虽然我有一些BigQuery经验)。 根据文档： 将项目链接到BigQuery后，第一次每日导出事件会在关联的BigQuery项目中创建相应的数据集。然后，每天，每个链接的应用程序的原始事件数据都会填充关联数据集中的新每日表，并且原始事件数据会实时流入单独的intraday BigQuery表中。 假设我有一个数据集mydataset.myapp，包含来自Firebase的流数据的相应BigQuery表如下所示： mydataset.myapp.events_
mydataset.myapp.events_
浏览 11提问于2019-12-27得票数 0
回答已采纳
2回答
据我所知，临时表只存在于连接到数据库的会话中。所以，如果我的进程每次在使用临时表之后都关闭连接，那么从技术上讲，我不需要删除临时表，对吗？
我读到，在创建之前删除临时表是一种很好的做法。以防万一。但是在我和他们一起工作之后就不需要明显的下降了，对吧？
浏览 1提问于2021-12-22得票数 0
回答已采纳
我使用的是谷歌客户端库的BigQuery和存储。
下面是我用来在BigQuery中使用查询结果创建表的函数。
def create_bq_table():
client = bigquery.Client()
job_config = bigquery.QueryJobConfig(destination="dashboard_filter")
sql = """
SELECT *
FROM `my-rep.my_table.all_filters`
"""
query_jo
浏览 1提问于2019-12-10得票数 0
1回答
背景
我正在开发一个管理系统的网页应用程序。
在其中一个页面上，客户端显示一些聚合值的报告。客户端报表具有分页、排序和筛选。
服务器端用Go编写，数据存储在BigQuery中的大型数据集中(每个表为期一天)。服务器代码使用"google.golang.org/api/bigquery/v2“库与BQ通信。
Implementation
由于主查询需要很长时间，所以我使用 API运行查询，然后缓存JobID进行后续调用。
query := &bigquery.QueryRequest{
DefaultDataset: "myDataSet",
浏览 4提问于2016-10-27得票数 1
回答已采纳
在SQL存储过程中，我们可以选择创建一个临时表"#temp“，其结构与它所引用的另一个表的结构相同。这里我们没有显式地创建和提及"#temp“表的结构。我们是否有类似的选项是HQL配置单元脚本在运行时创建临时表，而不实际创建表结构。因此，我可以将数据转储到临时表中并使用它。下面的代码显示了SQL中的#temp表的示例。
在#男性学生中选择姓名、年龄、性别，其中性别=‘男性’
浏览 23提问于2019-10-29得票数 0
2回答
在ETL程序包开始时，将针对SQL Server 2012数据库运行以下SQL查询：
IF OBJECT_ID(N'tempdb..##SlotChanges') IS NOT NULL
BEGIN
DROP TABLE ##SlotChanges
END
CREATE TABLE ##SlotChanges
(
--Snip
)
然后，包将一些行写入临时表，并在写入目标数据库时将其用作最终数据源。
最后没有drop命令，因为只有在下一次运行开始时才会检查它，但是如果我随后打开SSMS并对表运行select，它将返回一个无效的对象异常。在包运行时，我可以通过SSMS很
浏览 0提问于2014-01-10得票数 0
2回答
在单个会话中删除临时表
、、、
如何在同一会话的过程中删除临时表。
因为我面临一个有关Postgres中的临时表的问题。如果有两个程序：
A()有一个临时表--例如temp(id，name) B() --具有临时表--例如temp(id，name，address) --那么如果先调用过程A，然后调用该过程B之后，则temp表保留在过程A中定义的结构即temp(id，name)，反之亦然，并且找不到过程B中定义的列"address“。
浏览 1提问于2013-05-22得票数 1
回答已采纳
我在云应用中的BigQuery中创建了一个表。我错误地上传了bigquery Table中的两个csv文件。如何从bigquery表中删除一个或两个csv文件？
谢谢Arvind
浏览 3提问于2013-02-08得票数 0
1回答
我知道:查询的结果将保存在临时表中。但是如何在其他查询中使用它的名称。
from googleapiclient.discovery import build
from googleapiclient.errors import HttpError
from oauth2client.client import GoogleCredentials
def test():
project_id = "598330041668"
credentials = GoogleCredentials.get_application_default()
bigque
浏览 2提问于2016-06-21得票数 1
我想创建一个临时表，以便能够将它连接到几个表，因为将这些表与建议的临时表的内容连接起来需要很多时间(获取临时表的内容是time consuming.Repeating它会花费越来越多的时间)。当我的需求完成时，我将删除临时表。我想知道这些临时表在其他客户端会话中是否可见(我的要求是使它们仅对当前客户端会话可见)。我使用的是postgresql。如果你能提出我正在考虑的解决方案的更好的替代方案，那就太好了。
浏览 2提问于2016-12-16得票数 9
谷歌的BigQuery存储API可以从仅涉及SELECT、from和WHERE的基本查询创建的临时表中读取。
我看到的是，当您使用ORDER语句检索有序的一组行时，从BigQuery存储API创建的临时表是不可读的。
请看下面的代码示例：
让我们来看看这个查询：
sql = """SELECT name FROM `bigquery-public-data.usa_names.usa_1910_current` LIMIT 1000"""
如果您使用以下BigQuery python代码运行它：
bq_client = bigquery.Clie
浏览 0提问于2019-05-18得票数 0
每当我试图在BigQuery上创建一个表时，我都会收到一条“意外错误”消息。我尝试输入和省略模式，并确保该文件与csv格式兼容。
浏览 2提问于2022-05-18得票数 0
我是BigQuery世界的新手.我使用python包，只需在google.cloud表上运行来自BigQuery的查询并打印结果。这是创建查询作业的查询函数的一部分。
function test():
query = "SELECT * FROM " + dataset_name + '.' + table_name
job = bigquery_client.run_async_query('test-job', query)
job.begin()
retry_count = 100
while re
浏览 5提问于2017-10-24得票数 0
回答已采纳
我刚刚通过链接中可用的BigQuery文件创建了一个JSON表。但是我没有看到任何自动重新加载表行的选项，这些表行中添加了文件夹或桶中的新文件。
目前，我必须转到BigQuery控制台，然后删除并重新创建相同的表来加载新文件。但是对于我们来说，这个解决方案是不可扩展的，因为我们在BigQuery API上运行了一个cron作业。如何在BigQuery中自动重新加载数据？
谢谢
浏览 3提问于2017-10-09得票数 2
回答已采纳
是否可以使用Python将云存储中已有的数据导入到bigquery中的临时表？我可以用Python语言创建一个BigQuery临时表并向其中插入数据吗？
浏览 29提问于2019-08-01得票数 1
回答已采纳
我在存储桶中有100多个Avro文件，我想在BigQuery数据集中为这些文件创建表，即每个avro文件一个表。
没有说明你如何做到这一点，所以我想我会写一个bash脚本，但我没有多少运气。
每个avro文件的BQ表名可以从avro文件的部分名称中获得，因此可以使用grep。
一旦创建了所有BQ表，我就想要将相关存储对象加载到相关表中。
但是，这是行不通的-任何想法都会很感激.
#!/bin/bash
Project_Id=<project_id>
Dataset=<dataset_name>
Bucket=gs://<bucket_name>
#Ma
浏览 5提问于2022-07-08得票数 0
我们有一组全局临时表，它们是在SP中创建并填充的。这是一种从应用程序中调用的主sp。
现在假设我是第一个调用主SP的用户，全局临时表被创建了，一切都很正常。但有时(可能是当多个用户正在访问主SP时)，表将被删除，并收到一条错误消息，指出对象名称无效
还有谁遇到过全局临时表被删除的相同问题?？
提前感谢!！
浏览 2提问于2015-10-14得票数 0
我正在处理一个表的数据集，这些数据集(a)通常需要将表连接在一起，但是(b)经常有重复的列名。任何时候，我都会按照以下方式写一个查询：
SELECT
t1.*, t2.*
FROM t1
LEFT JOIN t2 ON t1.this_id = t2.matching_id
...I得到错误Duplicate column names in the result are not supported. Found duplicate(s): this_col, that_col, another_col, more_cols, dupe_col, get_the_idea_col
我了解
浏览 0提问于2019-10-28得票数 1
回答已采纳
四天前，把我的Firebase项目链接到了BigQuery。此后产生了几组事件(约20起)。但是，BigQuery仍然不包含任何相关数据集。
事件是100%链接的，由通知(和链接)在事件列表下面的BigQuery中查看原始事件来表示。
但是，在遵循链接之后，在BigQuery中看不到相关的数据集。
这是令人沮丧的，因为Google文档说事件将从Firebase流到BigQuery，这将自动创建BigQuery数据集及其日常表。
如何将事件输入BigQuery？我错过了什么吗？
浏览 0提问于2019-04-04得票数 4
1回答
我希望能够在Mysql中轻松地调试我的脚本，就像在MSSQL中那样(运行脚本的一部分然后验证表等等)，但是临时表不会被保存在服务器上。例如：
CREATE temporary table a(i int);
INSERT INTO a VALUE (1);
SELECT * FROM a;
如果运行整个脚本，它将返回正确的结果，但如果我在insert上按语句运行它，则会得到以下错误：
SQL.sql:错误(2,13)：表'test.a‘不存在
我想这是一个服务器配置问题。
浏览 1提问于2014-01-08得票数 1
1回答
在BigQuery中，不能对分区表使用create or replace table语句。我可以将表导出到GCS，但是BigQuery会生成多个无法一次性导入到表中的JSON文件。有没有一种从分区表中删除列的安全方法？我使用BigQuery的web界面。
浏览 1提问于2020-09-23得票数 0
正如标题所提到的，当我启动bigquery上载作业时会发生什么，比如说，在JSON文件中加载了50%的行之后，作业失败了。bigquery是否回滚了加载作业的所有内容，还是只剩下50%的数据被加载？
我每天都把数据附加到一个表中，并且保持不重复是非常重要的。我们正在使用
浏览 2提问于2013-09-03得票数 0
回答已采纳
在bigquery中，我试图编写一个SQL命令，将一些数据从一个表插入到一个新表，而没有任何insert语句，但我无法找到这样做的方法。(类似的选择)
这张桌子是：
create table database1.table1
(
pdesc string,
num int64
);
这是insert语句。我也尝试了select into，但是bigquery不支持它。
insert into database1.table1
select column1, count(column2) as num
from database1.table2
gro
浏览 1提问于2021-03-25得票数 0
回答已采纳
1回答
所以我们刚刚收到了GCP的账单，比我们预期的要多得多。
我们有一个在GKE上运行的spring启动应用程序，但我很快就会把它移到cloud run上。此应用程序连接到云SQL postgress数据库。我有两个副本在加拿大和美国运行。由于法律要求，我们必须将原始用户数据存储在不同的数据区域中。
我们要做的是将每个地区的未识别数据导出到单个BigQuery实例中，这样我们就可以运行分析并开始创建一些ML模型。
它最初是如何设置的，我们让发布/订阅导出到BigQuery。为简单起见，我将每个表导出到BigQuery中的不同发布/订阅流中的表。
默认情况下，每个数据流实例运行4vCPU，这导致了很大
浏览 2提问于2021-05-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
