如果我们有多个并行运行的流文件，我们如何知道一个流何时完成？

文章/答案/技术大牛

发布

1回答

apache-nifi

我有一个要求，我们有一个模板，其中使用SQL作为源和SQL作为目标，每个表的数据将超过100 so，所以这里的模板将被实例化多次根据要迁移的表，也每个表被分区为多个流文件。我们如何知道这个过程何时完成？由于这里将有多个流文件，我们无法得出结

浏览 15提问于2020-09-04得票数 0

2回答

高吞吐量和Windows Workflow基础

workflow、workflow-foundation

WWF能否处理高吞吐量的场景，在任何时候都会有几十条记录被“主动”并行处理？我们想要建立一个每小时处理几千条记录的工作流流程。每条记录都需要长达一分钟的时间来处理，因为它会进行外部web服务调用。我们正在测试Windows Workflow Foundation来实现这一点。但我们的演示程序显示，当我们使用并行活动在一个工作流实例中同时处理<e

浏览 1提问于2009-01-23得票数 3

回答已采纳

1回答

ADF映射数据流-重用单个正在运行的spark集群并行执行映射数据流

azure、apache-spark、azure-data-factory

我们在ADF中有一个复杂的ETL，通过数据流活动运行多个管道，以基于表依赖关系在数据仓库中加载多个表。作为运行具有相互依赖关系的多个管道的结果，几个数据流被作为一些顺序运行和一些并行运行的混合来执行。看起来每个并行运行的数据流都会产生<em

浏览 11提问于2020-08-28得票数 0

回答已采纳

2回答

如何并行地对多个火花作业执行多个Kafka主题

apache-spark、flink-streaming、apache-spark-2.0

我不清楚是否只有一个火花流作业运行或多次在任何给定的时间。假设我有不同的分析，我需要对卡夫卡的每一个话题或每一个流进卡夫卡的源进行分析，然后把这些结果推到下游。是否允许您并行运行多个流作业，以便为每个流保持聚合分析分离，或者在本例中为每个Kafka主题保留聚合分析。如果是这样的话，那是怎么做到的</em

浏览 9提问于2017-01-12得票数 4

回答已采纳

6回答

基于Java的工作流解决方案

java、workflow

我们目前使用顺序工作流来处理文档。我们总共有10个不同的工作流步骤。我们对工作流进行了重新分析，实现了对工作流进行重构，并行处理多个工作流步骤。基本上，我们能够并行地处理步骤1,2,3,4，直到步骤1-4完成，然后处理步骤5，然后并行地处理步骤6,7,8,9，直到步骤6-9完成，最后是处理步骤10。如果我们能够实现这个新

浏览 17提问于2010-12-20得票数 3

回答已采纳

1回答

如何在会话失败时立即停止工作流？

unix、informatica、informatica-powercenter

--我有一个工作流，它有许多会话，它们彼此并行运行。当其中一个会话失败时，工作流等待另一个会话完成，然后整个工作流失败。我们选择了选项“如果此任务失败”则为。但是我们希望工作流失败，并在没有等待其他会话完成的情况下立即停止。ps:我们有一个unix脚本，它逐个调用所有工作流。

浏览 7提问于2022-12-02得票数 0

回答已采纳

2回答

Java8流().map().reduce()实际上是映射缩减

java、java-8

我在某个地方看到了使用stream().map().reduce()的代码。有人能给我举个例子，说明在什么地方不使用parallelStream()吗？下面的代码只是从tName中提取tCode并返回逗号分隔的字符串。

浏览 1提问于2017-06-28得票数 1

回答已采纳

2回答

并发工作流不是从PMCMD命令启动的

concurrency、informatica、informatica-powercenter

我需要与多个实例并发启动工作流，所有实例都需要并行运行。当我运行一个实例时，它正在运行，并且相关的参数文件正在被拾取。但是当我启动另一个实例与前一个实例并行运行时，它给出了下面的错误。“启动工作流高级:错误:工作流wf_name:无法开始执行此工作流，因为此集成服务上的当前运行尚未完成

浏览 0提问于2018-07-12得票数 0

2回答

通过PMCMD命令并行提交Informatica工作流

java、multithreading、unix、informatica、informatica-powercenter

如何提交Informatica工作流以同时运行..？我们开发了一个文件，其中包含了每个工作流的所有PMCMD命令。我们打算在脚本中调用这个文件，该文件最终将命中工作流管理器，用于执行Infa工作流。我们面临的问题是，工作流是按顺序运行的。任何工作流之间都不存在依赖关系，可以

浏览 5提问于2017-07-03得票数 0

1回答

Informatica-在工作流中运行并行映射

mapping、workflow、informatica

我需要在单个工作流中并行运行多个映射。我有大约60个表，我需要它们并行运行。我想知道如何修改此工作流以并行运行映射？有没有人可以给我介绍一下可以帮助我完成工作流程的示例工作流程？谢谢

浏览 7提问于2018-12-19得票数 0

1回答

Apache NiFi -泛型执行流？

apache-nifi

我正在试图找出以下情况是否可行：如果需要并行加载多个集群(每个表不同

浏览 2提问于2019-11-07得票数 0

回答已采纳

1回答

Mule 4可重复流处理

csv、stream、mule

我想读取一个CSV文件从SFTP的~8 8gb的。什么是最好的方式来流的CSV文件也做并行转换？我们可以并行地做流媒体和转换吗？如果是这样的话，我们如何确保转换所需的数据在流中可用呢？注意:我使用的是Mule4.1.2运行时。任何关于这方面的帮助都会很好。提前感谢！

浏览 16提问于2018-05-29得票数 0

1回答

多个流，1个文件？

objective-c、ios、grand-central-dispatch、nsoperationqueue、nsoutputstream

我想使用多个NSOutputStreams (每个都在不同的线程中)将文件写入磁盘。我知道如何处理线程问题，但我不知道用什么来同时向单个文件写入不同的字节范围。例如，假设写入过程完成时，目标文件在磁盘上的大小为100MB。我有4个线程和4个流(我们称它们为s0、s1、s2和s3)，它们想要将25MB写入目标文件。我希望每个<em

浏览 2提问于2012-05-31得票数 0

回答已采纳

2回答

工作流版本化

versioning、persistence、workflow-foundation

我相信当涉及到工作流引擎时，我有一个基本的误解，如果你能帮我理清的话，我会很感激。我不确定我的误解是特定于我正在使用的工作流引擎，还是一个普遍的误解。因为如果是这样的话，您必须同时执行多个版本的工作流。对我来说，这似乎是一个基本的设计错误，但与此同时，我似乎更有可能误解了一些东西。对我们来说，

浏览 0提问于2013-10-08得票数 5

1回答

从失败的会话运行工作流

informatica

可能重复：这是一个已经提出的问题..。在工作流中，有以并行和顺序连接的会话。假设某些处于并行和顺序模式的会话失败，如何使用仅失败的会话重新启动工作流。我如何在Informatica中设计这个？我看到了这样的答案:我们将用状态更新数据库，然后当我们启动工作流时，在每个会话之前，我们将检查状

浏览 5提问于2012-02-15得票数 0

1回答

在Git-Flow中同时测试多个特性

git、version-control、integration-testing、git-flow

我们在当前的项目中处理git流，并同时添加多个特性。我们只有一个QA环境，一次只能容纳一个构建。如果有多个特性等待测试，并且我们的QA成员可以并行测试它们，那么我们需要(如已回答的)创建一个integration分支，以便上传到QA环境并进行测试。或：在成功地获得一个或多个特性的

浏览 2提问于2017-02-22得票数 5

回答已采纳

1回答

在SWF中创建FIFO队列以控制对关键代码段的访问

amazon-swf

目前，我们有一个Amazon Simple Workflow应用程序，它有几个任务可以在流程开始时并行执行，然后是通过一个关键区域的一条路径，在那里我们只能允许一个流程继续进行。我们已经将关键区域建模为子工作流，并且一次只允许一个进程在子工作流中运行(尽管我们的代码中存在一个尚未引起问题的竞态

浏览 2提问于2014-12-12得票数 0

1回答

有没有一种克隆B2C用户流的方法？

azure-ad-b2c

我们正在将AD B2C作为我们的sso来实现，并且在测试期间必须通过多个版本的用户流。它们将在不同的环境中使用，有些在测试中并行使用，因此我们不能简单地更改现有版本。我们希望为我们的登录和多个注册建立一个基本流，作为我们创建新版本时可以克隆的起点。是否有任何方法直接或通过下载

浏览 6提问于2022-06-20得票数 1

1回答

运行并行作业并获得聚合结果

jenkins-workflow

关于工作流插件，我有一个简短的问题。我试图看看这个插件是否能够满足我的用例：我们希望派生出一套测试任务，它将在新构建的应用程序(单元、集成等)上执行各种测试。由于性能原因，这些需要并行运行，我们希望在多个jenkins节点上运行它们。<

浏览 0提问于2016-03-03得票数 0

4回答

SSIS控制流与数据流

ssis、control-flow

我不完全理解SSIS包中控制流的用途。在我创建的所有包中，我只需添加一个数据流组件来控制流，然后逻辑的其余部分就位于数据流中。我见过更复杂的控制流的例子(例如:在Excel文件中遍历各行的foreach循环容器)，但我正在寻找一个不能在数据流中实现的例子。我可以很容易地在数据流中创建到exce

浏览 3提问于2010-12-16得票数 17

回答已采纳

点击加载更多