1回答
使用流处理接收到的数据
、、、
我正在接收来自套接字的消息。套接字被打包在报头(基本上就是消息的大小)和作为crc (一种检查消息是否损坏的代码)的页脚中。totalDataReceived.remove(accumulate(begin(messages), end(messages), 0, sizeToRemove);};
因此，基本上，我们接收数据，我们将其插入到接收到的数据的总数组中。然而，我不确定这是不是一条好的路。实际上
浏览 20提问于2020-02-25得票数 0
回答已采纳
我将使用pyspark进行流处理，并使用Kafka作为数据源。
我发现Spark Python API不支持Kafka 0.10连接器。我可以在Spark 2.3.0中使用Kafka 0.8连接器吗？
浏览 14提问于2018-03-02得票数 4
我有一个SslStream，我可以从它接收自发的XML消息。我想使用XmlTextReader来处理来自该流的XML消息。不幸的是，它只允许我读取第一个XML。当我在收到第一个xml之后调用Read时，该方法抛出一个异常: XML文档中的多个根("Xml_MultipleRoots")。我认为这是一个问题，流一个接一个地提供xml消息，而XmlTextReader只能处理一个。如
浏览 0提问于2012-02-01得票数 3
回答已采纳
Flink初学者-需要一个接一个地处理数据流，而不是并行处理。我需要维护processing.But流的顺序，都是在parallel.Datasets中处理的，也没有帮助。
浏览 0提问于2019-07-30得票数 0
回答已采纳
我正在开发C#中的客户端服务器应用程序.它们之间的通信是与TCP套接字进行的。服务器侦听特定端口上的收入客户端连接。新客户端到达后，他的套接字将保存在套接字列表中。我定义了每个接收超时为1ms的新客户端套接字。为了在不阻塞服务器的情况下从客户端套接字接收，我使用线程池，如下所示： {，当客户端一个接一个地发送2条消息时，服
浏览 3提问于2014-03-30得票数 0
回答已采纳
我要做的是在sql server和sqlite.While之间同步，这样做我得到了OutOfMemoryError.Please，告诉我如何避免或从我的代码中有任何不想要的或获得更多内存语句吗？在哪里可以使用System.gc()？这是一次recored.Real -
浏览 2提问于2011-08-11得票数 0
我正在使用spring batch创建批处理作业的工作流。单个批处理作业需要2小时才能完成(要处理的数据约为100万)，因此决定以分布式方式运行，其中一个任务将分布在多个工作节点上，这样它就可以在较短的时间内执行。工作流中的其他作业(都是分布式的)需要一个接一个地按顺序运行。作业是多节点分布式作业(主/从架构)，需要一个接一个地运行。
浏览 88提问于2021-11-23得票数 0
回答已采纳
1回答
背景
我有一个火花流应用程序，它从->读取数据，对其进行窗口化，->将数据保存到外部系统(通过执行foreachRDD)。最近我观察到，我的窗户是由foreachRDD一个接一个地消耗的.这意味着如果我的应用程序中有突然的数据突发(因此窗口的foreachRDD需要很长时间)，那么在处理之前，这些窗口将堆在队列中(而我的集群中的大多数机器都是空闲<em
浏览 3提问于2016-03-02得票数 0
目前，我想知道Alpakka的Slick (JDBC)连接器是如何工作的--我无法使用Docs找到真正的答案。
考虑一个用例，其中我想处理从数据库中选择的大量记录。我可以简单地在单个流中使用SELECT * FROM [TABLE]吗，或者为每个页面(一个接一个)启动多个流(一个接一个)像SELECT * FROM [TABLE] LIMIT 0,1000那样是否有意义我希望&#x
浏览 0提问于2018-02-08得票数 1
回答已采纳
我有一个有100万条记录的文件，其中我必须一个接一个地传递记录以进行弹性搜索，并将结果数据保存到数据库中。但问题是，这样做需要很长时间，因为记录一个接一个地流式传输到elasticsearch，然后将数据保存到PSQL数据库中。我想要一些建议，我可以如何改进这一点，或者应该使用一些其他工具。现在我正在使用Nodejs和一些包： 我将文件上传到nodejs应用程序中，并使用const csv=require('
浏览 22提问于2020-06-12得票数 0
1回答
因此，为了获得用户的详细信息(名字、姓氏等)，还有另一个API调用。当您传递用户ID时，它会给出该用户的详细信息。这是它的JSON响应。这就引出了我的问题。问题是因为用户详细API调用是异步的，所以它发生在不同的线程中，并且需要时间来接收结果。但是将笔记加载到表视图中是单独进行的，所以当用户的详细信息到达时，我不知道如何映射每个笔记<em
浏览 0提问于2015-07-30得票数 1
我正在开始使用Akka；我正在尝试创建一个流，该流读取web服务中的数据，然后将它们保存在S3中。我想知道，如果我使用Sink.fold方法(为了收集持久化元素的信息)来定义Sink，那么发送到接收器的元素是将一个接一个地处理，还是并行处理？
这是一个基本的问题，但我无法在文档中找到明确的答案。
浏览 0提问于2016-04-06得票数 3
回答已采纳
在合并内容处理器nifi中，Bin打包算法和碎片合并策略的区别是什么？
浏览 4提问于2018-01-09得票数 1
回答已采纳
我需要能够将http 302重定向与使用.net远程处理的代码区分开来。
为了连接到适当的url，我们按顺序尝试它们，直到其中一个有效为止。在大多数环境中，第一个url会正确地失败，并显示状态为WebExceptionStatus.NameResolutionFailure的System.Net.WebException。但是，对于使用OpenDNS的客户，这将作为HTTP302响应返回，并重定向到他们的指南页面。因为我使用的
浏览 1提问于2009-05-28得票数 0
1回答
使用igmp窥探，在接收到多播数据包时，它将查找表并决定转发该数据包的端口。我想知道的是，如果表中没有那个多播地址的条目，它应该采取什么行动？我最初的反应是包应该被丢弃，因为这就是igmp的全部要点。但是，在igmp表已满的情况下会发生什么呢？这将导致某些地址不在表中，此时，我希望数据包会被淹没到所有端口。对吗？如果表已经满了，那么它应该直接丢弃不匹配的数据包吗？
浏览 0提问于2018-02-27得票数 2
回答已采纳
1回答
假设我将我的应用程序拆分为50小捆绑文件，以利用多路通信。以下是
因为每个浏览器(来自5个用户)将发出50个请求(针对50个小型捆绑文件)，因此总共有250个请求。在同一连接上发生多路通信的事实是否改变了任何事情？它怎麽工作?
这是否意味着我的云运行将接收到</e
浏览 6提问于2021-01-19得票数 1
回答已采纳
问题：for (int i = 0; i < 100; i++) SendMessage( sometSocket, i.ToString());}0，1，2，34，5,678，9.我的
浏览 2提问于2010-08-17得票数 3
回答已采纳
1回答
我使用TPL数据流在Azure worker角色中处理队列中的项。我应该有一个长时间运行的数据流，还是为我收到的每条消息生成一个新的流？我需要能够承受像无效队列输入这样的异常，而不需要锁定数据流。我
浏览 3提问于2014-05-30得票数 5
回答已采纳
0回答
我有成百上千的XML文件一个接一个地被处理。我希望将其他现有代码应用于文件中的数据。然而，编写代码是为了期望单个文件或表示单个文件的流。我看了一眼
然而，Marc答案中提出的StreamEnumerator要求一次打开所有有问题的文件的流。考虑到我的例子中有大量的文件，这似乎不是一个好的方法。现有代码使用流<
浏览 1提问于2017-01-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
