1回答
我有一个数据流作业，它无法启动工作进程，错误如下：ImportError: No module named dependency
然而，我可以在另一台机器上用完全相同的代码(也是相同的setup.py文件)成功地运行相同的作业，我怀疑数据流
浏览 8提问于2018-08-08得票数 0
1回答
收到以下消息：The Dataflow appears to be stuck. Please reach out to the Dataflow team at http://stackoverflow.com/questions/tagged/google-cloud-dataflow.作业ID: 2017-09-25_09_27_25-5047889078463721675编辑:在从2.0.0更新到用于Python 2.1.1的Apache光束SDK后，问题似乎
浏览 0提问于2017-09-26得票数 2
我的应用程序当前使用RabbitMQ对消息进行排队和处理，以启动数据流，并将流数据传递到处理区域。
因为我们只希望一个客户端使用数据流，并且只希望一个客户端处理流数据，所以我目前使用的是推送消息。我发现的问题是，如果我确认推送消息以启动数据流，而该过程失败，则该消息将不会重新排队。如果我没有确认该消息，则直到我确认数据流消息或进程终止之后，才会收到任何其他推送消息。我已经看过请求/回复消息，但是我认为同样的问题可能也适用于这里，如果进
浏览 0提问于2015-12-18得票数 0
1回答
简短描述:数据流多次处理相同的输入元素，甚至同时并行处理(因此这不是数据流的失败-重试内置机制，因为以前的进程没有失败)。
长描述:管道获取存储GCS文件路径的pubsub消息。我看到它是基于日志消息的，第一个进程已经加载了500 k行，另一个300 k行和第三行刚刚开始，它们都与同一个文件相关，它们都基于相同的pubsub消息(相同的message_id)。我要强调，这不是一个与失败和重试进程有关的问题。如果第一个进程失败<
浏览 0提问于2022-10-24得票数 1
在我的数据流作业中得到一条错误消息。
(606330f83ab2470f)：工作流失败。原因：(606330f83ab24c58)：数据流似乎卡住了。请联系的数据流团队。
浏览 2提问于2017-11-13得票数 0
当数据流任务失败时，如何在SSIS中终止excel.exe进程？可能有多个Excel.exe实例从其他完全有效的包中运行，所以我不想遍历所有实例来杀死它们。我的问题是，在数据流任务期间，该过程有时会因为工作表命名不正确或缺少列而失败。这使excel.exe的一个实例保持运行，该实例现在是一个消耗资源的孤立任务，因此需要终止它。同时，还有其他正在运行的SSIS包正在访问它们自己的excel.exe进程，并且没有任何问题。
那么，如何在不影响其他excel.exe进
浏览 1提问于2012-05-10得票数 0
0回答
在最近的事件中，整个AZ都会因为停机而丢失，我想更好地了解数据流故障转移过程。当我手动删除数据流作业(流式处理、PubSub到BigQuery)的工作节点时，它们已成功重新创建/重新启动，但数据流进程本身尚未恢复。即使我理解手动删除不是有效的测试，我们也不能忽视人为错误的因素。
我的理解是，工作流程应该已经自动重新启动，但这里观察到
浏览 8提问于2016-07-07得票数 1
回答已采纳
2回答
我需要几个，以保持每个工作简单，易于维护。我希望在收到新消息之前，数据流的比例为0 worker。因此，每项工作的最低价格为一天: 24 vCPU小时…所以每个月至少50美元/份工作。(月度使用不打折)
我计划每天通过api运行和耗尽我的作业几次，以避免一个全职工作人员。
浏览 0提问于2018-09-12得票数 4
2回答
数据流流式作业未缩减规模
、、、
我有一个数据流作业，它处理从pubsub主题使用的数据，并将数据转换/写入到bigtable实例。在2020年12月11-12日之前，它运行正常，即自动扩展工作正常，吞吐量更高( CPU利用率更高)，更多的工作线程被利用，当吞吐量下降(相应的CPU利用率)时，它会缩减到1个工作线程。然而，自12月11-12日以来，数据流工作者的数量一直在持续增加，达到最大数量(15个)，这导致我们的数据流使用成本很高。正如文档中提到的(参考：)：如果流管道积压低于10秒，并且
浏览 1提问于2020-12-21得票数 2
我在servlet中打包了一个数据流作业(在BlockingDataflowPipelineRunner模式下运行，每天由CRON作业(在AppEngine中)触发)。它在使用Jetty在本地启动时工作，但在使用AppEngine部署时不起作用。javax.net.ssl.SSLHandshakeException: Remot
浏览 7提问于2017-08-03得票数 0
回答已采纳
对我来说，使用这种类型的文件将允许工作人员直接从官方pip注册表中提取依赖项，而不是从我的GCS中提取依赖项，对吗？你能解释为什么会发生这种情况吗？
浏览 19提问于2019-08-07得票数 2
回答已采纳
2回答
在Google Cloud Dataflow上运行机器学习算法的最佳方式是什么？我可以想象，如果它是基于Java的，那么使用Mahout将是一种选择。-Girish
浏览 1提问于2015-10-14得票数 2
这与SSIS中的数据流任务相关。
我已经开发了一个DFT来处理带有标题和详细记录的参差不齐的平面文件。所有的脚本任务都工作得很好，有2个记录流，一个用于标题，另一个用于详细信息。首先处理标题记录并将其加载到Invoice_header表中，然后使用详细记录更新Invoice_line表。
浏览 2提问于2017-02-16得票数 0
我很难让最新版本的bigquery在数据流工作者上工作。有没有人能建议一下，怎样才是更简单的方法呢？使用google-cloud-bigquery==0.28.0的setup.py将无法在工作进程启动时安装工作流。从这个链接可以看到：，google-cloud-bigquery0.25.0，这是目前数据流支持的最新版本，它非常笨重，效率也很低。如果你有什么建议，请告诉我。
非常感谢，伊拉兰
浏览 0提问于2018-07-14得票数 1
回答已采纳
1回答
我正在尝试运行数据流作业，具有以下setup.py文件： import setuptools
name='Some-Name',它将在1小时后停止，并显示以下错误： 工作流失败。原因:数据流作业似乎被卡住了，因为在过去的1小时内没有看到任何工作进程活动。
浏览 12提问于2019-03-18得票数 1
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
我在使用从CircleCI启动的GCP Dataflow runner运行python Apache光束管道时遇到了严重的问题。基本上，我运行的是在数据流中运行并使用google-api-python-client-1.12.3的python Apache光束管道。如果我在我的机器(python3 main.py --runner dataflow --setup_file /path/to/my/file/setup.py)中运行该作业，它就能正常工作。如果我从CircleCI中运行相同的
浏览 10提问于2020-10-13得票数 2
回答已采纳
1回答
我的问题是：2)是否丢失了存储在窗口中但仍未超时的所有数据？
3)数据流提供了哪些恢复机制？我的问题是，如果70次数据流失败会发生什么？我想，在第70秒之前收到的3条消息已经被加到Pub/Sub上了，所以它们不会被重传。当Dataflow重新启动时，它会以某种方式用键7恢复窗口的状态，以便在120秒时它可以生成一个7 -> 140对，还是只生成一个7 -> 60对？还有一个相关的问题--如果我取消
浏览 2提问于2016-02-15得票数 4
回答已采纳
但是，在运行云数据流作业时，它无法创建工作进程，并显示以下错误：在运行数据流作业时，是否可以请求将ShieldedVm用于工作人员计算？
浏览 0提问于2020-03-11得票数 1
我有一个谷歌云发布/订阅和云数据流处理架构，我需要保证消息排序。是否可以将订阅消息流设置为每个主题固定数据流工作进程，以便消息通过相同的数据流工作进程路由，因此应该实现消息排序。
谢谢
浏览 0提问于2018-06-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
