寻找一个等效的GoogleCloud工具，可以在解压前查询压缩的CSV。目前我们使用雅典娜来实现这一点，但正在寻求过渡到GoogleCloud。在GCP中，有没有等同于Athena查询压缩CSV的工具？
浏览 14提问于2020-02-11得票数 3
回答已采纳
我想从流中的api中摄取数据到bigquery。我想最好的选择是使用云数据流，以便将这些数据摄取到bigquery中，但是我不知道如何从https://developer.tomtom.com/traffic-api接口中提取数据 我是否可以在相
浏览 16提问于2020-04-17得票数 0
回答已采纳
从google存储中摄取数据(批量)到bigquery，使用数据流(beam，python)对这些数据执行一些转换，然后将它们加载到bigquery上是免费的还是被视为API并应用api成本？
浏览 1提问于2021-06-04得票数 1
我需要从第三方应用程序接口获取数据，并在谷歌BigQuery中摄取它。也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。我正在尝试使用Cloud Functions，但它需要一个触发器。我也读过关于App Engine的文章，但我相信不适合只有一个函数来发出拉取请求。另一个疑问是:我是否需要将数据加载到云存储中，或者是否可以直接将其加载到BigQuery？我应该使用
浏览 17提问于2019-08-24得票数 1
回答已采纳
我用python创建了一个flask api，并作为容器镜像部署在gcp云中运行，通过云调度器运行，在我的代码中，我从big query读取大数据(1500万行和20列)，我将系统配置设置为8gm ramproblem1:读取时间太长(读取数据需要2200秒) import numpy as npfrom pandas.io import gbq
query =""" SELECT * FROM TABLE_SALE
浏览 28提问于2021-10-04得票数 0
回答已采纳
我想上传数据到谷歌BigQuery从我的安卓应用程序在后台任务。我想，我可以用Java库做一个。但是说：
但这不是我想要的。我想上传背景数据。使用Google BigQuery存储我的安卓应用程序收集的大数据是
浏览 3提问于2012-10-08得票数 1
我使用的是不推荐的BigQuery Golang库。最近上传速度变慢了。我想知道将客户端更新到新库是否会提高性能。我在文档中找不到任何关于性能改进的东西。我目前使用的旧的废弃库：我应该期望通过新的库来提高性能吗？
浏览 4提问于2022-01-27得票数 0
谁能给我一些关于使用Dart/Flutter将数据流式传输到大型查询中的文档？ 我对所有这一切都是新手，而且在我的生命中找不到任何Flutter特定文档或优先权。 有人能帮上忙吗？
浏览 23提问于2020-07-24得票数 1
我想实时(或接近实时)地将HTTP请求流式传输到BigQuery中。理想情况下，我希望使用一个工具来提供一个端点来流式传输HTTP请求，并允许我编写这样的简单节点: 1.我可以添加适当的insertId，以便BigQuery可以在必要时删除重复请求；2.我可以对数据进行批处理，这样我一次不会发送一行(这将导致不必要的GCP开销)。我尝试过使用AWS Lambdas或Google Cloud Functions，但在这些平台上解决此问题
浏览 3提问于2019-06-14得票数 2
我们正在探索的用例中，我们可能不得不摄取SCADA/PIMS设备生成的数据。出于安全原因，我们不允许直接连接到OT设备或数据源。因此，该数据具有REST，可用于使用数据。请建议是否可以使用Dataflow或GCP的任何其他服务来捕获这些数据，并将其放入大型查询或任何其他相关目标服务中。如有可能，请分享关于此类要求的任何相关文件/链接。
浏览 2提问于2022-04-22得票数 1
我正在使用google cloud Dataproc Spark集群来运行Spark streaming作业，该作业从多个PubSub订阅中读取数据并写入BigQuery。每个元素的大小约为140字节，并且是Avro消息格式。
我已经在数据流中实现了每秒100万个元素的速度，但我想用Dataproc做同样的事情。我尝试了Dataproc的自动缩放选项，也尝试了在<
浏览 5提问于2019-07-22得票数 3
2回答
我有一个应用程序，从API发送数据给我。数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query，以便储存所有的信息。 但是，我不知道如何才能正确地做到这一点。到目前为止，我已经在自己的服务器上使用Node通过POST请求获取数据。 你能帮帮我吗？特纳克。
浏览 17提问于2019-10-15得票数 0
1回答
我想访问计算引擎VM中存在的文件。我必须从GCE中读取文件，并需要使用云数据流中的python SDK将文件转换为GCS。如果有人建议我做这件事，我会帮上大忙的。
浏览 0提问于2019-10-06得票数 0
在Google生态系统中构建是非常强大的。我非常喜欢您如何将文件摄取到Cloud，然后数据流丰富、转换和聚合数据，然后最终存储在BigQuery或Cloud中。
当前端web应用程序(可能是内置于React中)向云存储提交文件时，可能需要一段时
浏览 0提问于2018-05-11得票数 1
1回答
如本文所述，使用java存储api，。当一个不可重试的错误发生时，按照此，写流将保持较长的生存期并刷新它。
我坚持默认流。我有两个表和不同的代码部分，负责编写每个表，维护自己的流编写器。如果数据是流动的，一切都很好。没有错误。但是，我想测试刷新流写入器的工作，所以我等待默认的流超时(10分钟)，这将关闭流，然后再次尝试写入。我可
浏览 19提问于2021-08-02得票数 0
回答已采纳
我有一个大约200列的表，当我想得到这个表的DDL时，没有现成的选项可用。猫并不总是令人向往的。有些时候，我们没有要用猫创建的引用表，有些时候，我们只是想要一个简单的DDL语句来重新创建一个表。我想编辑bigquery模式的模式。以前的模式现在是可空的，现在它需要..(到目前为止，已加载列使用非空值加载该列)
看看所有这些场景和Google文档提供的冗长解决方案，也没有SQL语句<
浏览 3提问于2020-05-18得票数 0
回答已采纳
2回答
我正在尝试将一个表从Sever导入到Bigquery。这个表有一个DATETIME列，我已经用映射了它。我正在使用Dataflow来使用默认模板(JDBC到Bigquery)来摄取表。$ResultSetToTableRow.mapRow(JdbcConverters.java:157)
com.google.cloud.teleport.templates.common.JdbcConverters$ResultSetToTableRow.mapRow(JdbcConverters.j
浏览 9提问于2022-11-03得票数 0
回答已采纳
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
Google功能将数据解压缩并存储在Google包的Google BigQuery表中。我认为这是个好主意，直到我意
浏览 5提问于2022-06-28得票数 0
回答已采纳
我希望持久化来自可公开访问的API的数据，该API在被调用时返回一个JSON对象列表，每个对象对应于过去N个事件中的一个。JSON对象的结构简单且一致。不能指定n(据我所知)，因此需要足够频繁地轮询API，以便在数据中没有间隙。我需要检查一下这个频率，但它肯定不止一分钟一次。它看起来并不像BigQuery简单地接受RESTful应用程序接口作为流数据</e
浏览 0提问于2018-06-16得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
