通过Google Cloud Scheduler执行数据流模板
提问于 2019-03-15 14:24:51
我试图通过Google Cloud Scheduler执行一个自定义的数据流模板，但是当我执行作业时，我得到了一个UNAUTHENTICATED异常。
如何授予Google Cloud Scheduler访问权限以使用Dataflow google API？
下面是我使用的URL和POST正文：
https://dataflow.googleapis.com/v1b3/projects/<<PROJECT>>/templates:launch?gcsPath=gs://<<GCS_BUCKET>>/template
{
"jobName": "job-name-scheduled",
"parameters": {
"param1" : "parmval1"
"environment": {
"tempLocation": "gs://<<BUCKET>>/temp",
"region": "us-east1"
}}
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-03-15 19:12:45
Cloud Scheduler文档指出“目标HTTP端点必须是可公开访问的”。
通常，为了创建这种数据流作业，您需要提交如下内容：
curl -X POST \
'https://dataflow.googleapis.com/v1b3/projects/<project>/templates:launch?gcsPath=gs://dataflow-templates/latest/Word_Count' \
-H 'Authorization: Bearer '$(gcloud auth application-default print-access-token) \
-H 'Content-Type: application/json' \
--data '{
"jobName": "scheduled_job",
"parameters": {
"inputFile" : "gs://dataflow-samples/shakespeare/kinglear.txt",
"output": "gs://<bucket>/output/my_output"
},
"environment": { "zone": "us-central1-f" }
}'但是，您不能通过Cloud Scheduler发送授权令牌。
对于调度数据流作业，您可以改为查看this answer。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55184759
复制相关文章
腾讯云开发者
