我正在尝试将一些文件传输到BigQuery，这些文件存储在我的VM实例中。通常我们做两个步骤：
将数据从云存储桶获取到BigQuery。现在，我想直接从VM实例中获取文件到BigQuery平台。有什么办法吗？
浏览 0提问于2020-06-09得票数 1
回答已采纳
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
我已经创建了一个按月分区的BigQuery表。 现在我想使用BigQuery transfer将存储在Google Cloud Storage中的CSV传输到表中。 然而，我最后一次尝试失败了。
浏览 9提问于2021-01-20得票数 0
我有大约10,000个JSON文件，我想将它们加载到BigQuery中。由于BQ只接受ndJSON，我花了几个小时寻找解决方案，但我找不到一种简单而干净的方法来将所有文件转换为ndJSON。现在，我的~10k文件在GCP存储桶上，重量~5go。 谢谢!
浏览 19提问于2019-12-05得票数 0
我有一个面向sftp服务器的互联网，定期更新csv文件。是否有命令让BigQuery从这个sftp中检索数据并将其放入表中。或者，任何支持此功能的API或python库？
浏览 3提问于2018-11-20得票数 0
回答已采纳
我已经在BigQuery中成功地安排了我的查询，结果被保存为数据集中的表。我看到了很多关于将在中传输到BigQuery或Cloud的信息，但我还没有发现任何关于将导出从( BigQuery表)调度到云存储( Cloud )的信息。是否有可能安排将BigQuery表导出到云存储
浏览 6提问于2020-01-10得票数 3
7回答
我希望将数据从BigQuery中的表传输到Redshift中的另一个表中。我计划的数据流如下：我知道谷歌云存储传输服务，但我不确定它是否能帮助我。来自Google文档：
云存储传输</em
浏览 13提问于2016-09-05得票数 41
回答已采纳
我有一组文本文件，每5分钟上传一次到google云存储。我想每5分钟将它们放到BigQuery中(因为文本文件每隔5分钟上传到云存储中)。我知道文本文件不能上传到BigQuery。做这件事的最佳方法是什么？提前谢谢。
浏览 7提问于2020-07-31得票数 2
回答已采纳
在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery
通过GCS步骤而不是直接进入BigQuery有什么好处？在何种情况下，您将直接将数据从SQL加载到BigQuery？
浏览 8提问于2022-08-16得票数 0
回答已采纳
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQu
浏览 39提问于2019-07-22得票数 0
2回答
我有一个Cloud SQL数据库(作为PostreSQL)，我想向BigQuery传输一份副本。这代表了1TB的数据(使用云SQL存储)，超过100个表。
我想估算一下这种一次性的大数据传输的成本。当我阅读BigQuery和Cloud SQL定价的GCP文档时，我得到的印象是这是免费的: BigQuery导入是免费的，Cloud
浏览 2提问于2020-12-12得票数 0
我目前在BigQuery中的工作流程如下：
(1)公共存储库中的查询数据(存储在美国)；(2)将其写入存储库中的表；(3)将csv导出到云桶；(4)在我工作的服务器上下载csv；(5)在服务器上使用csv我现在遇到的问题是，我工作的
浏览 9提问于2015-09-24得票数 8
我正在尝试使用DataFlow (Java)将数据从云存储插入到Big Query。我可以批量上传数据；但是，我想设置流式上传。因此，当新对象添加到我的存储桶中时，它们将被推送到BigQuery。我已经将PipelineOptions设置为流式传输，它在GCP Console UI中显示数据流管道是流式传输类型。存储桶中最初的一
浏览 47提问于2018-06-03得票数 3
回答已采纳
我已经通过从谷歌云存储加载CSV文件创建了一个BigQuery表。
在这种情况下，BigQuery表是引用云存储中的CSV文件，还是将数据复制到自己的存储中？
浏览 7提问于2016-07-26得票数 2
回答已采纳
我们有一个从另一个数据库导出csv文件的脚本，并将它们上传到GCP云存储上的存储桶中。现在我知道可以使用BigQuery数据传输服务计划加载到BigQuery中，但我有点惊讶的是，似乎没有一个解决方案可以在文件上传完成时自动触发。 我错过了什么吗？
浏览 20提问于2021-03-31得票数 0
回答已采纳
1回答
我在S3存储桶里放了一堆CSV压缩文件，我想把它们导入到BigQuery中。从文档中看，BQ可以从不同的来源导入gzipped数据。然而，当我配置数据传输作业时，它只允许CSV、JSON、AVRO、PARQUET、ORC文件格式。将传输作业配置为CSV文件格式并运行后，它会记录以下内容：
Moving data from Amazon S3 to Google Cloud complete: Mov
浏览 2提问于2019-06-20得票数 1
我们需要从一系列API调用中加载数据，并在GCS和Bigquery中加载响应。虽然我从API调用中获得了快速响应，但是将文件写入GCS似乎非常缓慢。我正在使用下面的代码。我的方法是API响应(基于API参数中id值的列表) -> json到gcs -> bq加载。在这个approach.Is中，需要很长时间才能以最快的方式加载gcs中的数据。requests
impor
浏览 14提问于2022-02-24得票数 1
谷歌BigQuery数据传输服务允许我自动传输特定的应用程序数据吗？我不太明白如何用那个例子来计算我的成本。
谢谢。
浏览 5提问于2022-06-22得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号