1回答
使用Cloud functions安排数据流作业的一些最佳选项是什么？我想安排数据流作业在某个时间启动和停止。
数据流作业可能正在从无限源读取，并且可能会连续运行，因此希望将其安排为停止。
浏览 0提问于2018-08-16得票数 1
问题
选项1似乎不可行，因为DataflowTemplateOperator只有一个选项来指定在称为在启动作业之后，wait_for_finish似乎被执行(参见)，这归结为一个“不完整”的作业
浏览 3提问于2020-01-25得票数 0
当我提交任何查询时，控制台上会显示以下日志消息：
在编译时确定的1项裁减任务中，有1项是启动作业:1为了改变减速器的平均负载(以字节为单位)：设置file=/tmp/root/hive_job_log_root/bin/hadoop Kill Command =作业-kill job_201203062223_0004 Hadoop作业信息，第1阶段:映射者数量: 1；减速器数量:1 2012-03-06= job_201203062223_0004 MapReduce
浏览 2提问于2014-01-27得票数 1
1回答
自动重新启动作业
、、
我的工作可能需要几个小时。可能由于某些原因(如内存不足或集群重新平衡)，它只是失败了。问题是，作业通常在夜间运行，需要有人在早上检查它，并手动重新启动它(大多数时间是足够的)。我想知道这个问题是否可以使用spring云数据流来解决。 理想情况下，我希望SCDF在作业完成(失败或成功)时发送电子邮件(或调用webhook)，如果失败则重试整个作业。这样做有可能吗？
浏览 17提问于2021-02-05得票数 0
回答已采纳
在我们运行映射数据流并在所有数据流中使用相同运行的集群之前，是否有一种方法重用由web活动启动的databricks集群，而不是让所有数据流实例旋转它们自己的集群，这需要大约6分钟的时间来设置每个集群？
浏览 5提问于2020-02-03得票数 4
回答已采纳
我使用带有模板的Google : CI服务器(连续集成)将模板部署到GCS，然后使用gcloud dataflow jobs run命令从该模板启动批处理作业。现在，在管道本身中，我想知道这个确切管道的启动时间(用于输出文件的名称)。
这种反思是否可以在光束/数据流中进行？是否有可能从作业本身的内部获取作业名称和作业启动时间？
浏览 0提问于2019-05-14得票数 0
1回答
这几天，当我试图取消一个数据流作业时，我已经两次遇到这个问题:取消它需要花费很长时间。上周四几乎花了9个小时才取消，现在另一个作业被卡住了2分钟。难道不能直接杀死一个工作吗？什么可以解释这种行为呢？
浏览 0提问于2016-12-16得票数 1
我已经创建了一个标准的PubSub到BigQuery数据流。然而，为了确保我不会在离线时增加巨额费用，我取消了数据流。在GCP控制台中，似乎没有重新启动它的选项--这是通过控制台还是通过shell (如果是，如何实现的)进行的吗？
浏览 11提问于2018-01-03得票数 12
回答已采纳
1回答
我在试着理解TPL数据流。我有两个街区inputBlock och nextBlock。inputBlock使用MaxDegreeOfParallelism = 2.我有这样的情况:完成并行作业可能需要不同的时间。我不希望数据流停止，因为一些并行工作需要很长时间才能完成。我只想让每个并行作业从队列中取出一个项并处理它，然后将它传递到下一个块。
当第一个块“nextBlock”中的一个并行作业进入睡眠
浏览 1提问于2019-04-04得票数 0
回答已采纳
我有一个系统，它将启动一个数据流模板作业，然后几个小时后，可能会尝试使用相同的请求启动相同的作业。对于第一个之后的所有启动模板请求，我不想启动另一个数据流作业或替换现有的作业。我想接收第一个数据流作业，否则会失败。
起初我认为作业name将提供幂等性，但是如果第一个作业在请求被重新发送之前完成，那么具有相同name的第二个<em
浏览 0提问于2020-12-30得票数 1
2回答
Azure数据工厂在10毫秒内以Db传输数据，但我面临的问题是，等待几分钟才能触发下一条管道，并以40分钟结束--所有管道传输数据的时间都不到20 ms。我们想要从SSIS转移到数据流，但是有时间问题，40分钟是那么多，在下一步我们有数百万的记录。
浏览 1提问于2019-09-04得票数 1
回答已采纳
我希望安排数据流，它有来自PubSubIO.readString主题订阅的PubSub。如何使作业在已配置的间隔后终止？我的usecase不是让作业一整天都在运行，所以要计划开始，然后在任务内配置的间隔之后停止。
浏览 0提问于2018-08-05得票数 1
回答已采纳
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
我正在使用viewmodelScope启动作业，以便与ViewModel中的数据库进行交互。其中一些作业可能需要很长时间，并且在作业进行时，可能会从活动/片段中导航。
无论如何我都希望工作能完成。
浏览 0提问于2019-05-24得票数 1
回答已采纳
我们正在运行多个数据流数据流管道，这些管道最终总是挂起，需要在运行25天后重新启动。
管道是否有某种最大的运行时间？是否有任何建议的最佳做法来重新启动流式作业的频率更频繁，即使没有代码更改(即，我们是否应该每两周重新启动管道?1周？)
浏览 0提问于2019-03-22得票数 1
我有一个波束/数据流流水线。每次重新启动/重新启动光束拓扑时，我都需要更新正在处理的元素的元数据，以便我可以识别每个元素的拓扑版本。例如，假设我可以将拓扑开始时间作为元数据插入，但希望以一种不需要将date作为作业启动参数的方式来执行此操作。在这种情况下，拥有statefulDoFn可能会有所帮助，但是，是否存在对这种行为的本机支持？
浏览 23提问于2019-01-10得票数 0
我是这个工具的新手，我想更多地了解在使用触发器或调试选项运行ETL后看到的执行时间。 ? 我的问题是，为什么在过程结束时会有差异？Debug几乎是另一个的25%。当我执行一个带有触发器选项的ETL时，与调试相比，这会增加处理时间。
浏览 21提问于2020-06-18得票数 1
回答已采纳
有人能告诉我如何从windows服务(在C#中)运行长时间运行的进程吗？该过程可能需要几个小时才能完成。该服务应检查数据库中是否有要执行的任何挂起作业。每项工作都可能需要很长时间才能完成。如果没有挂起的作业，那么它应该休眠2分钟(可配置)，然后重新启动。如何使用windows服务执行此操作？提前谢谢。
浏览 3提问于2010-10-08得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
