我试图通过Google Cloud Scheduler执行一个自定义的数据流模板，但是当我执行作业时，我得到了一个UNAUTHENTICATED异常。如何授予Google Cloud Scheduler访问权限以使用Dataflow google API？
浏览 13提问于2019-03-15得票数 0
回答已采纳
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
1回答
我想使用PYTHON执行模板。实际上，我一直在使用Dataflow REST API或Cloud Functions集成执行数据流模板。这是我在邮递员中的数据流模板执行：
网址： https://dataflow.googleapis.com/v1b3/projects/{{my-project-id}}/templates:launchgcsPath=gs:/&#
浏览 0提问于2018-09-18得票数 2
回答已采纳
4回答
我只需要每天运行数据流管道，但在我看来，像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。
浏览 11提问于2017-05-06得票数 18
回答已采纳
我有一个使用Google Cloud Scheduler计划或触发的数据流模板。在开发过程中，我们经常更改工作，这也涉及到参数的更改。
浏览 17提问于2020-01-29得票数 0
我已经为数据流批处理作业创建了一个自定义模板。现在我需要使用云调度程序每5分钟运行一次。模板存储在云存储中。但是每当我从调度器的POST请求中传递模板的URI时，我就会收到401错误 URI - "https://dataflow.googleapis.com/v1b3/projects/project-idmytemplate 我不确定身体里应该装些什么 错误： jsonPayload: {
targetType: &quo
浏览 65提问于2020-12-17得票数 0
我正在尝试通过NodeJS后端服务器中的REST API执行Cloud Bigtable to Cloud Storage SequenceFile模板。我尝试按照google文档进行操作，但是我不知道如何授权HTTP请求运行数据流模板。我希望作为服务帐户进行身份验证，并且我成功地生成并下载了包含私钥的json文件。有没有人可以通过向发送HTTP POST请求的示例来帮助我
浏览 10提问于2019-08-09得票数 1
我想要一个数据流模板，其中一个PipelineOptions参数有默认值。ValueProvider<String> getMyValue();} 然后，当我的TestPipeline在需要参数的地方执行DoFn processElement方法时，我会得到 IllegalS
浏览 11提问于2020-07-23得票数 2
我有一个数据流模板，我可以使用它作为我选择的服务帐户运行数据流作业。PERMISSION_DENIED出错 "insertId": "1kw7uaqg3tnzbqu", "@type": "type.googleapis.com/google.cloud.scheduler.logging.AttemptFinished"ta
浏览 14提问于2021-12-16得票数 0
回答已采纳
我想将我的查询结果导出到Google Sheets。有没有什么方法可以直接做，或者使用谷歌工作表中的AppScript。
浏览 2提问于2018-12-20得票数 0
我是Google Cloud Platform的新手。我正在尝试使用Cloud scheduler安排一个作业，作业必须在其中运行，它将在我的数据流控制台中选择一个名为"pipleline.py“的脚本 我无法理解链接，也无法理解在创建云调度程序作业时URL
浏览 80提问于2020-12-10得票数 1
我得到了一个Cloud Run服务，然后执行一些后台任务，我需要它每15分钟执行一次。我使用Cloud Scheduler Job每15分钟调用一次HTTP端点，但我也希望设置身份验证以避免外部调用。我应该如何处理Cloud Scheduler - Cloud Run身份验证？
浏览 16提问于2019-06-16得票数 2
回答已采纳
我有一个Python脚本，它现在需要几分钟才能执行。然而，在接下来的几个月中，随着数据的处理，这个执行时间将从分钟到小时。这就是为什么我没有使用云函数或云运行来运行这个脚本，这两个脚本都有60分钟的执行时间。
Google最近出现了，我想探索这是一种可能的方法，以实现我正在寻找的，而不是，只使用计算引擎。然而，在互联网上文档很少，我无法找到一种方法来“触发”已经创建的批处理作业，使用Cloud。我已经成功地手工创建了一个批处理作业，运行我的码头映像。我看到了一篇文章，描述了如何使用GCP在Clou
浏览 23提问于2022-10-05得票数 0
回答已采纳
1回答
尝试使用Google Cloud function执行自定义数据流模板时出现以下错误。
错误：“运行数据流模板时出现问题，错误为：{错误:尝试检索计算引擎内置服务帐户的访问令牌时返回禁止的错误。
浏览 8提问于2018-02-02得票数 2
我们能不能运行local_exec来执行在Terraform中有多个命令的bash文件？我试过[google_cloud_scheduler_job][1] resource "google_cloud_scheduler_job" "job" { 366: resource "google_<e
浏览 27提问于2020-09-30得票数 0
如标题所述，我正在尝试运行基于本链接的教程中的调度程序数据流{ "status": "PERMISSION_DENIED", "jobName": "projects/my-project-id/locations/asia-south1/jobs/scheduler-demo"gcsPath=gs:&#x
浏览 1提问于2020-12-16得票数 0
回答已采纳
2回答
为了重现性，我希望能够构建包含数据流作业的jars，然后使用不同的参数运行它们(例如，通过不同的帐户提升它们)。这也将简化回滚，因为构建将是不可变的。如何从jar中直接运行数据流作业？
浏览 0提问于2017-04-26得票数 0
我已经部署了一个云函数来调用数据流管道模板，并试图通过将文件放在云存储桶中来触发该函数。作为node.js的先决条件，npm install --save googleapisconst google = require('googleapis');authClient.createScopedRequired()) { 'https:/
浏览 0提问于2018-03-18得票数 1
回答已采纳
1回答
我正在开发一个应用程序使用Firebase作为后端与flutter。我正在尝试添加通知功能的应用程序。我知道firebase有push_notification服务，我找到的大多数教程都在讨论如何为消息应用程序设置它。但是，我尝试根据数据库中的一个文档中的时间戳字段来通知用户。我不确定是否有一种方法可以在本地(客户端)或从firebase触发通知。有没有办法在firebase中设置此功能？如何安排触发推
浏览 3提问于2021-04-26得票数 0
2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流将csv数据从发布/订阅传输到bigquery。模板可能可以更改，但它是用Java实现的，我从未用过Java，所以实现起来需要很长时间。我也考虑过用python实现一个完整的自定义
浏览 27提问于2021-01-03得票数 0
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
