修改和删除GCP数据流作业
stream was reset: CANCEL
相关·内容
1回答
权限问题
、
这里是GCP的初学者。我正在测试GCP数据流，作为IOT项目的一部分，以便将数据从Pub/Sub转移到BigQuery。我从主题的页面“”按钮中创建了一个数据流作业。除了无法删除数据流的问题外，我还遇到了以下问题：工作流失败。原因:刷新您的凭据存在问题。请检查: 1.为您的项目启用了数据流API。2.确保数据流服务帐户和控制器服务帐户都具有足够的权限。如
浏览 2提问于2021-04-10得票数 0
1回答
我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：
当从用户帐户运行数据流作业时，Dataflow当从服务帐户运行Dataflow作业时，我设想使用设置的服务帐户将被传播到Dataflow在后台使用的辅助VM。没有提到任何这一点，但是他们确实提到了凭据用于对GCP服务进行身份验证。在我们的大多数Dataflow用例中，我们在项目A中运行Dataflow作业
浏览 0提问于2018-12-05得票数 3
6回答
AWS批量模拟在GCP？
、、、
我用的是AWS，是GCP的新手。我经常使用的一个特性是AWS批处理，它在提交作业时自动创建VM，并在完成任务时删除VM。有GCP对应的吗？根据我的研究，最近的是GCP数据流。GCP数据流文档让我找到了Apache。但是，当我浏览这里的示例()时，感觉与AWS批处理完全不同。
对在GCP中提交批处理工作有何建议？
浏览 0提问于2018-07-06得票数 16
回答已采纳
2回答
我们目前正在使用Google的(1.6.0)在GCP中运行数据流作业，但是，我们正在考虑迁移到Apache (0.1.0)。我们仍将使用数据流服务在GCP中运行我们的作业。这里是否存在兼容性问题，GCP是否鼓励这一举措？
浏览 2提问于2016-07-22得票数 5
回答已采纳
我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。但是，我注意到，如果在数据流作业仍在运行时手动删除BigQuery中新创建的表，则Dataflow将被卡住，不会重新创建该表。(StreamingWriteFn.java:143) at如果
浏览 1提问于2020-03-21得票数 0
回答已采纳
我有一个巨大的数据库存储在GCP的Bigtable中。我正在使用DataFlow将bigtable数据从一个帐户迁移到另一个GCP帐户。但是，当我创建一个从bigtable创建序列文件的作业时，它已经在目标存储桶上创建了3000个序列文件。因此，无法为每个3000序列文件创建单个数据流，因此，是否有办法减少序列文件或在GCP的数据流作业模板中一次提供整个3000序列文件 我们有两个序列文件想要依次上传数据(10行和1列)，但实际上得到的是
浏览 16提问于2021-09-07得票数 2
回答已采纳
这是函数中的代码(删除了一些不相关的部分)。
const filePath = object.name?.但是，当函数试图创建第五个作业时，API返回了许多不同类型的错误。Please check the quota usage via GCP Console.我知道我可以腾出开始的作业，以避免错误2和3。然而，我不知道如何以一种不会填满地址的方式开始作业。那我该怎么避免呢？如果我不能，那我应该用什么方法呢？
浏览 7提问于2020-04-16得票数 1
回答已采纳
1回答
在我的数据流(beam)工作流中，我使用来自Python的datetime包(在gcp上使用jupyter notebook )。当我用pip安装缺少的包时，一切都很好。现在我想在gcp上运行我的转换为数据流作业。我总是得到错误的"NAME ERROR“，因为datetime是未知的(当我使用Apache beam SDK for Python时得到这个错误)，有人能给我一个提示如何将Python包添加到数据流作业吗
浏览 1提问于2020-11-16得票数 0
使用MySQL疾病预防控制中心的此https://github.com/GoogleCloudPlatform/DataflowTemplates并发布到google发布/订阅主题。在属性文件中，有一项针对whitelistedTables=的规定，其中您必须提供一个逗号分隔的列表，其中包含您想要监视更改的所有表。 有没有什么简单的方法可以将整个数据库以及其中的所有表列入白名单？
浏览 11提问于2021-02-01得票数 0
2回答
目前，我正尝试在GCP中设置警报策略，以便将我的数据流作业的当前运行时间与前一个数据流作业的运行时间进行比较，并在当前作业的运行时间延长50%时发出警报。有可能这样做吗？ 谢谢
浏览 39提问于2020-07-02得票数 1
1回答
当我通过命令行运行我的束流管道时，使用直接流道或数据流流道，它工作得很好.示例：但是当我尝试使用气流时如果我使用本地运行程序，它也可以正常工作，但是当我将它更改为数据流运行程序时，在使用此错误在GCP数据流上创建作业后，它将失败。ImportErr
浏览 3提问于2019-01-28得票数 0
我正在使用google云数据流来执行一些资源密集型数据流作业。在给定的时间内，我的系统必须并行执行最多不超过两个作业。由于每个作业都是相当资源密集的，所以当超过2个数据流作业正在运行时，我正在寻找一种触发警报的方法。
我尝试实现一个custom_count，它在每个作业开始后递增。但是，custom_couter只在作业执行后显示。到那时触发警报可能为时已晚。
浏览 15提问于2022-09-28得票数 1
基于该文档，https://cloud.google.com/dataflow/docs/resources/faq 但是，一旦您的作业完成或失败，云数据流服务将自动关闭并清理VM实例。但是对于流，发布/订阅消息将会不断到来，数据流如何处理这一点？持续关闭和清理VM实例效率不高。而且保持VM实例一直运行也不符合成本效益。 谢谢
浏览 21提问于2019-04-24得票数 0
回答已采纳
我在处理多个数据流工作。要求在欧洲地区(欧洲-西部1)运行应用程序的数据流批处理作业。这些欧洲地区的数据流工作花了大约7-10分钟完成整个过程(开始-处理-停止)。现在亚洲地区也提出了同样的要求。因此，我将所有相关的管道参数和其他GCP组件的区域改为亚洲(亚洲-东南1)。但这一次，数据流作业需要更多的时间开始，更多的时间处理和更多的时间来停止工人。我比较了所有的设置、配置和必要的日志。所有组件都在亚洲地区。但在亚洲地
浏览 3提问于2021-10-03得票数 0
谷歌数据流-如果从数据流写入本地服务器，如何指定TextIO？(前提是本地服务器通过云VPN连接到GCP )在运行数据流作业时，是否可以像上面那样提供本地IP和目录？我试过了，作业成功完成，并在步骤摘要
浏览 2提问于2018-09-14得票数 0
1回答
GCP中的服务帐户功能
、、、
我的组织正在使用GCP，我们为我和我的同事创建了服务帐户。我们需要使用BigQuery存储传输服务、云数据流和其他Google资源。2)如果是通过我的组织提供的服务帐户进行的，那么当我离开该组织而我的服务帐户被删除时会发生什么。作业和管道是否继续在该项目下运行，还是停止了资源？
浏览 4提问于2022-01-06得票数 -1
2回答
我正在尝试将我们组织的hadoop作业迁移到GCP…我对GCP数据流和数据处理感到困惑…… 我希望重用我们已经创建的Hadoop作业，并尽可能减少对集群的管理。
浏览 12提问于2019-02-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
