作为使用联邦查询将Cloud SQL表迁移到BigQuery的一部分，我正在执行一个查询，以生成一个大小约为1TB(几十亿行)的新BigQuery表。我使用SQL客户端提交查询作业，在查询中我从Cloud BigQuery数据库表中选择all并使用EXTERNAL_QUERY。我发现查询可能需要几个小时(并且失败，并显示"Operati
浏览 14提问于2021-01-06得票数 0
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
伙计们有一个非常基本的问题，但不能破译，请帮帮我。 gs://sp2040/raw/cards/cust/20170101/20170101_cust.csv
Q2:假设我的数据主管是gs://sp2040/raw/cards&#
浏览 3提问于2017-10-05得票数 0
回答已采纳
试图通过GS将一个2.8GB的文件导入大查询，但是作业失败了：
Unexpected. Please try again.
浏览 2提问于2014-07-07得票数 0
回答已采纳
在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery
通过GCS步骤而不是直接进入BigQuery有什么好处？在何种情况下，您将直接将数据从SQL加载到BigQuery？
浏览 8提问于2022-08-16得票数 0
回答已采纳
2回答
我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。
我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的，Cloud
浏览 2提问于2020-12-12得票数 0
2回答
我的目标是从vm实例连接和加载数据到大查询(这个实例安装了maria db服务器)。我可以在我的终端上使用以下命令使用tcp ip转发访问数据库(出于安全原因，没有外部ip的实例)：然后我打开mysql工作台输入用户root和密码，然后数据库显示，做查询，保存到csv，最后是上传csv到大查询。
浏览 28提问于2020-12-17得票数 0
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。基于下面对这个特定用途的</e
浏览 0提问于2019-01-24得票数 0
回答已采纳
这涉及到在GCP BigQuery和GCP cloud SQL中以预定的顺序运行多个查询，并在后续查询中使用早期查询的查询结果。我正在考虑以下几个选项
Option1 :使用使用“联合查询”()的BigQuery“计划查询”。这是很好的，因为在gcp cloud SQL数据库中触发“只读”查询，并在gcp BiqQuery中运行
浏览 2提问于2021-03-02得票数 0
我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流作业中的输入文件被解压缩外，两个数据流作业都有相同的管道选项，但是输入文件在第二个数据流
浏览 3提问于2016-08-06得票数 0
回答已采纳
1回答
我正在尝试编写一个批处理文件，它可以从Google BigQuery检索特定数据，然后将这些数据插入到mySQL。
批处理服务器的语言是Java，构建工具是Ant。
浏览 2提问于2018-08-23得票数 1
回答已采纳
我构建了从存储在BigQuery表中的数据按需生成的统计输出。一些数据是每日通过缝纫导入使用“只附加”。这将导致导入表中的 (大约20 8kk行每年增长8 8kk)。我可以调度BigQuery查询，以便在清理过的表中存储重复的值，或构建视图也可以这样做，但我不理解在以下方面的权衡：
使用BigQuery存储/运行预定查询和视图。依赖于重叠视图
浏览 4提问于2020-07-22得票数 1
回答已采纳
有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？顺便提一下，我注意到BigQuery CSV数据加载速度比我本地PC上使用10 PC数据文件运行<e
浏览 0提问于2012-05-02得票数 3
回答已采纳
我们使用Cloudflare提供的Google Cloud函数将数据从Google Cloud Storage导入到Google BigQuery (请参阅：https://developers.cloudflare.com云函数遇到一个错误：“超出配额:您的表超出了每个表的导入或查询追加的配额” 我查询了INFORMATION_SCHEMA.JOBS_BY_PROJECT表，发
浏览 55提问于2021-03-18得票数 1
我是BigQuery的新手，我有一个关于账单的问题--我的账户上有一笔经常性的(几乎每天)的费用，我认为这与我在一份已发表的Tableau报告中嵌入的查询有关--人们正在查看报告，而我正在被收费--不过收费比我预期的要多如何将收费追溯到特定的查询，以确定哪一个正在提高收费？
谢谢你的帮助，本
浏览 6提问于2017-04-04得票数 2
回答已采纳
1回答
我在BigQuery中有来自Google帐户的数据，还有一些额外的表，在这些表中，我转换了一些数据。自动化这个过程最有效的工具是什么？这一过程是：
每天通过by数据运行
浏览 0提问于2018-03-08得票数 1
回答已采纳
2回答
我正在创建一个bigquery表，在该表中，我从其他几个bigquery表中加入和转换数据。它都是用sql编写的，整个查询大约需要20分钟才能运行，并且由几个sql脚本组成。现在，我想让上面的查询更加健壮，并对其进行调度，我无法决定该工具。我在考虑其他选择。
浏览 14提问于2020-10-23得票数 0
我在bigquery中有大量数据，我想做一些分析，通过连接到我在云sql中的一小部分数据来增强这些分析。我已经搜索过了，但找不到两者之间基于sql的桥梁。我是这样想的： bqdb.table as a, csdb.table as c
FROM bigquery:project:bqdb.table
浏览 3提问于2012-11-25得票数 4
回答已采纳
因此，我试图在BigQuery表上使用GCP模型，并且需要定期更新该模型，并针对新的数据集运行它。我使用Dataflow对数据进行预处理，并想知道是否也可以使用它来创建模型。当我尝试使用在BigQuery中测试的Create时，会弹出以下错误：
我是做错了什么，还是模型创建不支持Dataflow？
浏览 12提问于2022-01-12得票数 1
回答已采纳
我是Google基础设施的新手。我有和链接到BigQuery。我需要对数据执行一些操作，然后从DataStudio读取转换后的数据以生成仪表板。根据插入日期设置一个具有每日粒度的表分区，根据插入日期( things:Setup )之一运行一次调度查询，每24小时运行一次，从新分区读取数据，转换数据，将其复制到表中，格式化后的数据安装-- Apps脚本或<e
浏览 1提问于2022-03-23得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号