client.get_bucket()失败，但仅来自云数据流(计算引擎)

文章/答案/技术大牛

发布

1回答

python、google-cloud-storage、google-cloud-dataflow

应用程序一直工作正常，现在重新部署时，google存储出现奇怪的错误。 MissingSchema:无效的URL未提供架构。也许你指的是http://None/storage/v1/b/my-bucket-name?projection=noAcl File "/usr/local/lib/python2.7/dist-packages/lib/file_store.py", line 11, in __init__ File "/usr/local/lib/

浏览 22提问于2019-09-07得票数 1

回答已采纳

1回答

在上部署具有数据流调度功能的Spring云数据流，并且不使用K8s或cloud

google-cloud-platform、spring-batch、cloud-foundry、spring-cloud-dataflow

正如他们在中提到的，只有3种方法可以安装spring云数据流：而本地平台的意图是只用于开发，因此对于生产，您将被迫采用第二或第三种选择。问题是我有一个在Google计算引擎上托管的Spring批处理应用程序，我也想在计算引擎上托管带有调度功能的SDCF，因为在我工作的公司中，他们想在Google云平台上托管他们的所有项目。我已经搜索过是否可以使用Google云平台作为<

浏览 10提问于2022-09-03得票数 0

1回答

Composer DAG触发数据流作业并成功运行，但输出桶中没有显示结束文件

python、google-cloud-platform、google-cloud-dataflow、apache-beam、google-cloud-composer

我已经建立了一个DAG来运行一个数据流作业。Dag很好地触发它，并且它成功地运行，但是输出文件没有出现在输出位置。输出位置是另一个项目中的一个桶，所使用的SA有权写入该桶.知道为什么文件没有生成吗？

浏览 2提问于2022-02-21得票数 0

1回答

失败

google-cloud-dataflow、google-cloud-pubsub

.apply(ParDo.of(new ExtractEvents())); 当我试图执行这个管道时，我会得到以下错误：要运行数据流作业，项目必须启用以下：计算引擎API (Goog

浏览 2提问于2016-03-23得票数 1

回答已采纳

2回答

云运行服务调用

google-cloud-platform、google-cloud-run、service-accounts、google-iam

我想知道是否有一种方法可以在没有JWT令牌的情况下从计算引擎VM调用具有服务帐户的云运行服务。这样做的目的是限制云运行服务访问仅来自VM。从VM到云运行服务的请求不能有多个token.So，我不能在请求中使用服务帐户jwt。

浏览 3提问于2021-03-18得票数 1

1回答

权限问题

permissions、google-cloud-dataflow

除了无法删除数据流的问题外，我还遇到了以下问题：工作流失败。原因:刷新您的凭据存在问题。请检查: 1.为您的项目启用了数据流API。如果未指定控制器服务帐户，请确保默认计算引擎服务帐户PROJECT_NUMBER-compute@developer.gserviceaccount.com存在并具有足够的权限。，您的项目没有云服务机器人帐户。请确保为您的项目启用了Dataflow API。有趣的地方是： console.Dataflow

浏览 2提问于2021-04-10得票数 0

1回答

如何在GAE上处理大文件？

python、algorithm、google-app-engine、google-cloud-datastore、app-engine-ndb

我正在寻找一种强大而快速的方式来处理谷歌应用程序引擎中的大文件。客户发送一个CSV文件，我们的服务器将处理，逐行。如果没有，它认为Redis/已经失败，并执行与7相同的操作，而没有结果(相反，“error”)。如果我的数据存储不是最新的，并且同一个任务运行了两次，则由于相同的名称已经存在，所以创建健康检查将失败，让我知道存在并发问题，所以我忽略了该任务，因为它意味着datastore还没有更新。我最初考虑过在一个独立的进程中逐行运行文件，但这有一个很大的缺点，就是不

浏览 1提问于2016-12-07得票数 0

2回答

内部入口模式下从计算引擎运行的访问云

google-cloud-run

我们正在尝试从计算引擎访问云运行服务url。当前，它在访问服务url时给予“访问禁止”状态。然而，当入口模式被设置为我能访问的所有东西时，我只想通过我的计算引擎在google网络中访问它。有什么解决办法吗？更新项目设置--我有一个共享的vpc设置(目前只有us-central1 1子网共享)，主机项目的vm试图访

浏览 2提问于2020-12-31得票数 5

3回答

创建和转移GCP数据流模板时，无法验证GCS存储桶和PKIX路径构建失败错误

java、maven、google-cloud-platform、google-cloud-dataflow、pkix

我正在使用以下命令在云存储中创建和暂存gcp数据流模板：构建失败trus

浏览 3提问于2020-07-18得票数 1

1回答

GCP数据流批处理作业-防止工作人员在批处理作业中同时运行多个元素

python、google-cloud-platform、dataflow

我正在尝试在GCP数据流中运行批处理作业。作业本身有时会占用大量内存。目前，作业一直在崩溃，因为我相信每个worker都在尝试同时运行pcollection的多个元素。

浏览 2提问于2021-08-26得票数 0

1回答

如何调试Google数据流流引擎中断？

google-cloud-platform、google-cloud-dataflow、apache-beam、google-cloud-stackdriver

我们正在使用流引擎选项在中运行一些流处理。今天早上有些数据丢失了，所以我试着做一些故障排除。我发现的唯一一件事似乎是重新启动了工作人员(请参阅日志文件的屏幕截图)。

浏览 1提问于2019-12-11得票数 0

1回答

中的自定义机器类型

google-cloud-platform、google-cloud-dataflow

根据，可以通过将名称指定为custom-<number of cpus>-<memory in mb>来设置数据流操作的自定义机器类型 "(4092fe7df5a10577)：无法创建工作流原因：(4092fe7df5a10596)：无法获取计算机类

浏览 1提问于2017-07-20得票数 1

回答已采纳

2回答

在Google上安装pypi包google- Cloud -datastore失败

google-cloud-datastore、google-cloud-composer

要从Composer环境启动数据流作业，我需要有PyPi包。当我试图通过接口或云shell添加此包时，构建失败。它会引发以下错误： i 2020-03-04T14:36:23.939075607Z [0 0mgoogle cloud-datastoreI 2020-03-05T08:13:18.539878367Z谷歌-云-bigtable

浏览 3提问于2020-03-05得票数 0

回答已采纳

1回答

欧盟应用的火源定位最佳实践

firebase、google-cloud-firestore、google-compute-engine

我的应用程序的当前设置：数据流:美国用于轻工的计算引擎上的VM : US菲查德美国大部分网站流量将来自德国/欧盟，我们目前的页面加载时间约为1秒。

浏览 1提问于2018-09-23得票数 1

回答已采纳

1回答

谷歌云存储-签名的urls对A每小时的发布数量有上限吗？

google-cloud-platform、google-cloud-storage

getSignedUrl的发行数量有上限吗？

浏览 1提问于2020-12-06得票数 3

1回答

不使用谷歌的CloudTasks访问Google

google-cloud-platform、google-api、google-cloud-tasks

我正在尝试使用来自Cloudflare员工的谷歌云任务。这是一个仅限于web工作者标准的JS环境，除去Cloudflare没有实现的一些东西。底线-我不能使用谷歌提供的SDK在那个环境。我试图使用简单的fetch调用API，但身份验证部分总是失败。"parameters": { "key": { "description": "API key.key=MY_API_KEY查询param调用api，但

浏览 0提问于2021-05-21得票数 0

回答已采纳

3回答

GoogleCloud DataFlow未能将文件写入临时位置

python、google-cloud-storage、google-cloud-dataflow、gcloud、apache-beam

我正在谷歌云数据流上构建一个波束管道。这是令人困惑的，因为明显的数据流有能力写入桶，它创建了一个暂存文件夹。请您提供完整的错误信息。"8d8bc4d7fc4a5f8f)：工作流失败</em

浏览 6提问于2017-06-29得票数 5

回答已采纳

3回答

与Google容器引擎共享VPC网络

google-kubernetes-engine、google-cloud-networking、gke-networking

基本上，我希望在服务项目中构建容器引擎集群，但在托管项目中使用来自共享vpc的网络。这与计算引擎配合得很好，因为容器引擎利用了计算引擎，我看不出它有什么不能工作的，但配置它的选项不在那里。最终目标是在混合云场景中使用它，对于每个容器项目，我们宁愿利用单个vpn隧道，而不是为每个项目构建新的隧道。这是不能扩展的。

浏览 2提问于2017-07-22得票数 3

1回答

google云数据流跨项目访问大表

google-bigquery、google-cloud-platform、google-cloud-datastore、google-cloud-dataflow、google-cloud-bigtable

我想运行数据流作业，将数据从1表迁移到2表。(从一个读到另一个)。我在做这件事的时候得到了许可。我已将"GOOGLE_APPLICATION_CREDENTIALS“设置为指向项目-1的凭据文件。

浏览 0提问于2016-10-13得票数 0

3回答

Gensim安装问题

python、pip、gensim

我试图使用以下方法在google云实例上安装gensim： Traceback (most recent call last

浏览 6提问于2016-11-22得票数 8

点击加载更多