为什么流不能在并行模式下工作？
流（Stream）是一种数据传输的方式，它将数据分割成连续的小块，通过管道传输。在并行模式下，多个任务可以同时执行，每个任务处理流中的不同部分。然而，流在并行模式下不能正常工作的原因如下：
- 数据依赖性：流的数据是按顺序传输的，后续的数据可能依赖前面的数据处理结果。在并行模式下，多个任务同时处理流的不同部分，可能导致数据处理的顺序混乱，无法保证正确的依赖关系。
- 状态共享：流的处理可能涉及到状态的共享，例如累加器或计数器。在并行模式下，多个任务同时访问和修改共享状态可能导致数据不一致或竞态条件的问题。
- 数据分割和合并：在并行模式下，流需要被分割成多个部分，并行处理后再合并结果。这个过程涉及到数据的分配和合并，需要额外的开销和复杂性。
- 并行调度和同步：在并行模式下，需要对任务进行调度和同步，确保任务按照正确的顺序执行和合并结果。这增加了系统的复杂性和开销。
虽然流在并行模式下存在一些限制，但在串行模式下仍然是非常有效和常用的数据传输方式。流适用于大规模数据处理、实时数据传输、网络通信等场景。在云计算领域，腾讯云提供了多个与流相关的产品和服务，例如腾讯云消息队列 CMQ（https://cloud.tencent.com/product/cmq）、腾讯云流计算 TDSQL（https://cloud.tencent.com/product/tdsql）、腾讯云数据传输服务 DTS（https://cloud.tencent.com/product/dts）等，这些产品可以帮助用户实现高效的数据传输和处理。
相关·内容
来自
由于性能的提高，给定适当数量的核和问题大小来证明开销是合理的，并行流总是更可取的。假设这些假设是有效的(一点元假设都没有错)，在api中公开执行模式的价值是什么？当然，假设并行</e
浏览 8提问于2014-04-09得票数 21
回答已采纳
1回答
new HashSet<Form20Row>(); return o.stream();
}).collect(Collectors.toList()); 它不工作(返回零行)，但当我删除"parallel()“调用(相同数据上的14行)时，它工作得很好。有人能告诉我为什么吗？请?
浏览 19提问于2020-08-26得票数 0
1回答
我试图理解reduce()方法是如何准确地与并行流一起工作的，我也不明白为什么下面的代码不返回这些字符串的级联。(sb1, sb2) -> sb1.append(sb2));
}
代码仅适用于顺序流，但对于并行流则不返回级联。有人能解释一下那里发生了什么吗？
浏览 0提问于2019-05-07得票数 4
我有一个Spring作业，它在内部使用“splits”并行运行一系列步骤。例如："A“分为两个平行流动： 2) C1 -> C2 -> C3 -> C4
B1、B2、B3和B4是在一个弹簧批"flow
浏览 3提问于2019-09-29得票数 0
我正在读这一系列关于流的优秀文章。一个很好的模式：(流可以连续地并行计算) HashSet::new,HashSet::add,反<em
浏览 0提问于2017-05-23得票数 -6
回答已采纳
我有一个ETL，用于在完全刷新模式/截断加载模式下加载几个表。有一些元数据可以跟踪哪些表已加载，哪些表处于挂起状态。下图更好地解释了这一点。
问题是，尽管这些表被设计为并行加载，但更新元数据步骤会等待其他数据流任务完成(这些任务处于其他并行执行线程中)。一旦所有数据流完成，更新步骤将在一次执行中执行。我不确定幕后发生了什么，以及为什么在数据流任务之后没有立即执行这些步骤。如果你有任何线索请回复。
浏览 2提问于2012-10-21得票数 2
static InheritableThreadLocal<SomeType> instancesomeStream.parallel().forEach(this::instance.get(); // sometimes value is null sometimes not除了AOP执行方法之外，InheritableThreadLocal在任何地方都工作得很好有时实例不包含值。你知道为什么吗？这与并行
浏览 0提问于2021-04-10得票数 1
我有一个用例，它有一个潜在的大映射，我想要在几台机器上分发它的值，以便执行流处理。是否可以使用Apache Flink在集群模式下使用MapState来实现这一点？或者只能在同一台机器的多个线程上并行计算？KeyedStream是否提供了实现这一点的方法？
浏览 16提问于2019-07-17得票数 0
回答已采纳
1回答
我们在单个节点开发服务器中配置了Storm，其中大多数配置设置为默认(不是本地模式)。仅在单个节点中运行的风暴式nimbus、主管和工作人员也配置了UI。我们的拓扑处理来自HDFS目录的xml文件流。有一个喷口(平行度总是1)和四个螺栓。多名工人
但是在这个完整的拓扑被重新启动之后，没有任何错误跟
浏览 1提问于2015-03-13得票数 0
我发现在Stackoverflow和其他网站上有关这个问题的很多问题都有相当长的历史，或者是关于不推荐的API，或者没有完全回答这个问题。Flink有两个APIs - DataStream和Table --它们可以在batch或streaming执行模式下运行。不建议使用DataSet API。如果我想在批处理模式下对有界数据进行全局排序，orderby的并行性是否仅限于1? flink如何处理大型数据?它是否溢出到磁盘？流执行
Table ：如果
浏览 17提问于2022-04-27得票数 0
回答已采纳
3回答
在工作流中，有并行和顺序连接的会话。假设一些并行和顺序模式的会话失败，我如何重新启动仅失败的会话的工作流。我如何在Informatica中设计它？
浏览 7提问于2011-09-15得票数 1
1回答
当我按下按钮时，唯一有反应的应用程序是CD上的本机相机程序。所以我的想法是做一个简单的windows服务，它可以监听usb流量，如果它看到来自摄像头的usb中断，它应该向vixw
浏览 1提问于2017-01-27得票数 0
2回答
如何提交Informatica工作流以同时运行..？我已经在使用如下：
./pmcmd启动工作流-sv
浏览 5提问于2017-07-03得票数 0
2回答
我使用QSerialPort在Qt5.5 (windows)中发送接收数据，所有操作都按预期进行，只有一种情况下，发送回的数据包含0x11。
浏览 1提问于2015-12-30得票数 1
回答已采纳
乍一看，#参数中的签名是不同的，而Java collect似乎是在并行块中运行的。
，概念上的实际差异是什么？ Vavr foldLeft似乎更容易使用。
浏览 3提问于2020-10-23得票数 4
回答已采纳
当我使用SSIS数据流任务插入目标表和使用task语句插入相同任务的S(共享)锁时，为什么会遇到源表上的(意图共享)锁？为什么会这样呢？
浏览 0提问于2018-05-29得票数 0
2回答
显而易见的解决方案是创建并行流，进行慢调用，使流重新顺序，并进行快速调用。问题是，所有在单线程中执行的代码都没有实际的并行性。e.printStackTrace(); return Thread.currentThread().getName();如果删除sequential，代码将按预期执行，但显然，非并行操作将在多个线程中调用
浏览 7提问于2016-03-02得票数 18
回答已采纳
1回答
List<MyObject> myList = new ArrayList<>(); .map(MyObject::getName)在上面代码中，我可以期望nameList中的MyObject名称的顺序始终与myList的顺序相同吗
浏览 0提问于2015-05-15得票数 57
回答已采纳
它工作正常，但性能比单独调用更差，即为每个状态调用一个流。 有没有人能给我解释一下为什么批量注册比单独调用慢？ 我打算使用Corda Enterprise，它将允许我并行调用流。在同一事务中，并行流解决方案是否比批处理状态更受推荐？
浏览 7提问于2020-08-06得票数 1
回答已采纳
我需要在单个工作流中并行运行多个映射。我有大约60个表，我需要它们并行运行。我想知道如何修改此工作流以并行运行映射？有没有人可以给我介绍一下可以帮助我完成工作流程的示例工作流程？谢谢
浏览 7提问于2018-12-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
