是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
2回答
我有一个应用程序，从API发送数据给我。数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query，以便储存所有的信息。 但是，我不知道如何才能正确地做到这一点。到目前为止，我已经在自己的服务器上使用Node通过POST请求获取数据。 你能帮帮我吗？特纳克。
浏览 17提问于2019-10-15得票数 0
1回答
我们需要将标签应用于下面的GCP ServicesBigquery,Pubsub服务的数量将跨越多个GCP projects我们将一次将标签应用于所有资源，利用来自Python下面的PATCH方法实现APIs自动化。https://cloud.google.com/bigquery</
浏览 3提问于2020-09-06得票数 0
回答已采纳
每天我都会收到一封电子邮件，里面有一个链接，然后触发一个CSV文件的下载，我需要下载到Google Cloud存储中，以便最终包含在BigQuery表中。我正在尝试寻找一个进程，其中CSV可以直接传递给GCS (而不是本地保存)，或者可能将其保存在本地，然后从本地文件夹触发到GCS存储桶的同步。
提前感谢你能给我的任何帮助/你能给我指路。
浏览 1提问于2019-03-01得票数 2
我认为BigQuery是我的数据仓库需求。现在，我的数据在google (cloud和BigTable)中。我已经公开了REST以从这两个方面检索数据。现在，我想从这些API中检索数据，执行ETL并将数据加载到BigQuery中。我现在正在评估ETL的两个选项(小时数据的每日工作频率)：-
使用JAVA批处理并创建微服务，并
浏览 2提问于2017-08-11得票数 1
回答已采纳
我们如何通过编程找到关于GCP基础设施的详细信息，如各种文件夹、项目、计算实例、数据集等，这有助于更好地了解GCP平台。Neeraj
浏览 3提问于2018-12-29得票数 2
1回答
我正在学习如何从GraphQL API中提取数据，并每天将其加载到BigQuery表中。我是GCP的新手，并试图理解建立安全数据管道所需的设置。为了使常规数据提取和加载过程自动化，我将遵循以下步骤，
我首先使用BigQuery、Python库与熊猫和pyarrow创建了一个云函数。我使用下面所示的方法将数据加<
浏览 4提问于2022-04-29得票数 0
我有一个python Cloud函数代码，它从GCS读取.txt文件，解析它，并将行写入bigquery。当我尝试将这个云函数从我的MacOS部署到谷歌云中时，它给出了下面的错误
我已经验证了在我的GCP项目中启用了Bigquery API。/google/cloud/functions/worker.py", line 305, in check_or_load_u
浏览 1提问于2019-06-26得票数 1
我有一组<100 k行的记录，大查询不允许我以csv格式将它下载到我的计算机上，声称它很大，我必须先存储它--周围有什么工作吗？我想将输出加载到R中，最简单的方法是使用csv
浏览 2提问于2015-08-05得票数 3
回答已采纳
我在Google BigQuery上有大量的数据(几百千兆)，为了便于使用(许多查询后处理)，我使用了bigquery python包。问题是，每当我关闭笔记本电脑时，我必须再次运行所有查询，这是非常昂贵的，因为我的数据集大约是1Tera。我想到了Google Compute Engine，但这是一个糟糕的解决方案，因为如果我不停止它们，我仍然会为我的机器买单。所以我想知道是否有人为BigQuery挂载过docker
浏览 0提问于2018-08-06得票数 3
我正在测试Google云功能。目标是将超过10MB的数据传输到大型查询表中。我已经将数据分成块，然后使用该块将数据加载到大型查询中。分配的内存为2 2GB。然而，它不起作用。)
File "/env/local/lib/python3.7/site-packages/google/cloud
浏览 78提问于2019-11-12得票数 2
回答已采纳
根据these AWS Amazon RDS docs，看起来亚马逊网络服务提供了一个aws_s3 PostgreSQL扩展，用于将数据从S3传输到关系数据库中的Postgres。我们正在使用airflow来编排我们的数据摄取管道，如果这里有python解决方案就太好了。我几乎没有使用PostgreSQL的经验，也从来没有使用过任何PostgreSQL扩展，能够使用python移动数据</e
浏览 50提问于2021-11-15得票数 1
我想自动将数据从外部PostgreSQL数据库传输到我的GCP帐户中的Google Cloud Platform BigQuery数据库。到目前为止，我已经看到可以使用EXTERNAL_QUERY()函数查询外部数据库(MySQL或PostgreSQL)，例如：https://cloud.google.com/bigquery
浏览 26提问于2021-04-01得票数 2
1回答
我的主要问题是:是否有任何方法有效地管理GCP库和Google，从而避免出现依赖关系问题？目前，我在python上有以下GCP库：google-apitools==0.5.32google-cloud-bigquery==0.36.0
google-co
浏览 14提问于2022-10-21得票数 0
当涉及到联邦查询对Cloud SQL (MySQL)数据库的影响时，我很难找到关于BigQuery中联邦查询的内部工作原理的文档。 我见过here说联邦查询是只读的，这没有问题。我的问题是:联邦查询是否与使用MySQL工作台等管理工具时对数据库的常规查询一样，或者联邦查询是否有其他机制可用于读取底层表，而不会影响数据库的正常性能？我的用例是增量地将数据从Cloud SQL加载到BigQuer
浏览 14提问于2021-01-26得票数 3
6回答
许多BigQuery示例以以下几个开头：但是，每当我尝试运行这个程序时，我都会得到ImportError: No module named gcp.bigquery我正在使用python2.7开发一个虚拟环境。我试过pip install gcp，pip install gcloud和pip install google-api-pyth
浏览 9提问于2016-01-18得票数 2
回答已采纳
我试图从Composer 1迁移到Composer 2(从气流1.10.15迁移到气流2.2.5)，并尝试使用BigQuery将数据从GCS加载到GCS中。/lib/python3.8/site-packages/airflow/providers/google/cloud/transfers/bigq
浏览 9提问于2022-06-07得票数 2
回答已采纳
我正在尝试将csv文件从我的google存储桶加载到bigquery。没有额外的游行，只是简单的装载操作。但失败了。下面是代码片段： PROJECT = 'emerald-990'
浏览 10提问于2020-01-23得票数 1
尝试运行sql并将结果存储在BigQuery表中。请帮帮我。): args.func(args) File
浏览 12提问于2017-08-11得票数 4
回答已采纳
我想实时(或接近实时)地将HTTP请求流式传输到BigQuery中。理想情况下，我希望使用一个工具来提供一个端点来流式传输HTTP请求，并允许我编写这样的简单节点: 1.我可以添加适当的insertId，以便BigQuery可以在必要时删除重复请求；2.我可以对数据进行批处理，这样我一次不会发送一行(这将导致不必要的GCP开销)。我尝试过使用AWS Lambdas或Google Cloud Functions，但在这些平台上解决此问题
浏览 3提问于2019-06-14得票数 2
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
