我是大数据处理方面的新手。我正在使用apache beam Java SDK来处理它。尝试了解多线程/并行数据处理在apache光束管道中是如何工作的。关于多线程，数据是如何从一个PTransform处理到另一个的？
浏览 9提问于2020-07-23得票数 0
我是在接受Crypto公司采访时被问到这个问题的。有一个子系统A将数据作为文件in.txt发送到另一个子系统B。子系统B然后处理该文件并生成一个输出，并将其写入out.txt文件，然后由子系统C读取该文件，子系统C自己执行一些任务。但是这个处理必须在固定的时间x(例如一分钟或几分钟)内完成
浏览 0提问于2020-12-14得票数 1
在这些数据处理程序之间共享连接的最佳方式是使用单例，还是创建另一个类来管理连接并将其传递给每个数据处理程序？如果应用程序是多线程的呢？
提前谢谢。
浏览 0提问于2011-07-21得票数 0
回答已采纳
我开始学习一些Hadoop/MapReduce，主要来自PHP背景，以及一些Java和Python。我已经看过了，看起来PHP中有一些Hadoop/MapReduce，但绝大多数文献似乎都致力于这四种语言。如果这是任意的--如果PHP和Python一样擅长处理这些操作，那么我应该研究哪些
浏览 0提问于2010-06-25得票数 3
回答已采纳
我有一个基于列表的应用程序。为了支持向列表添加新元素，我所做的是在操作处理程序中创建一个新对象，并将其传递给详细信息视图。如果用户取消了详细信息视图，我想删除对象-当我这样做时，我会得到一个EXC_BAD_INSTRUCTION。如果我在创建笔记后立即删除它(作为测试)，它可以工作： self.newNote = NoteDataManager.makeNote(moc: self.moc, folder: self.savingFolder)
浏览 2提问于2020-06-22得票数 0
1回答
我想建立REST API，这将与MYSQL数据库通信，应用程序将有一些沉重的处理后，我从数据库中提取数据并返回。单线程的Node.js可能会有一些问题。
浏览 4提问于2019-07-09得票数 0
1回答
我有一个使用coredata的多线程应用程序。当应用程序启动时，有许多cloudkit NSoperations同时运行。在每个操作的完成块中，我都在做一些核心数据处理。由于核心数据处理是通过不同的操作同时在后台进行的，因此正在创建重复的托管对象。
我使用Coredata的背景上下文，并使用performAndWait()方法进行核心数据处理。
浏览 0提问于2019-04-12得票数 1
回答已采纳
2回答
我有一个多线程套接字服务器，它为每个连接的客户端创建一个单独的线程来进行一些数据处理。实际上，我可以从所有连接的客户端接收数据，并对每个客户端执行相同的数据处理。
浏览 1提问于2013-09-12得票数 0
1回答
我正在寻找一种合适的设计模式来实现以下目标：通过几个步骤从ComplexDataObject中提取部分信息。一个步骤的输出可能需要在稍后的步骤中作为输入。由于输出和输入可能属于不同的类型，我不知道是否可以使用一些现有的模式，如“管道和过滤器”、“责任链”或类似的模式？NiceDataObject ProcessingMethod1(ComplexDataObject cdo) {
浏览 0提问于2014-01-20得票数 0
我继承了一个使用AutoFac进行依赖注入的多线程数据处理系统。系统本质上是一个多线程的Windows服务，因此没有HTTP请求或相关的作用域.
浏览 3提问于2019-11-13得票数 2
回答已采纳
6回答
现在，我使用Python和R的组合来满足我所有的数据处理需求。但是，我的一些数据集非常大，并且会从多线程处理中受益良多。对于这种类型的数据处理，最好的语言/实现是什么？
浏览 0提问于2010-08-18得票数 6
回答已采纳
4回答
在客户端和数据处理实体之间进行接口的Java the服务器。
( a)在java (com.sun.net.httpserver)中使用httpserver类并创建多线程进程。缓存是在not服务器上完成的，如果数据处理实体没有将数据标记为脏的，则从not服务器本身提供请求。
谢谢。罗恩。
浏览 2提问于2009-09-21得票数 1
回答已采纳
1回答
背景:我为一些非常专业的数据处理创建了许多小型实用程序。通常，我是唯一的用户。我甚至不考虑多线程编程，因为运行时性能对我的用例来说已经足够了。关键的资源是我的编程时间。因此，我希望避免多线程编程所需的额外工作。
注意:有许多例子表明，在多线程程序中“已知”永不运行的代码是作为多线程程序的一部分运行的。通常是几年后。通常，这样的程序会导致删除数据竞赛的痛苦努力。因此，不打算在多线程</
浏览 0提问于2018-04-24得票数 9
回答已采纳
我想在2个线程的帮助下读取一个500Mb的文件，这样读取文件将会更快。有人请给我一些使用java核心概念的任务代码。
浏览 0提问于2011-10-03得票数 1
1回答
这个类子类QThread类和重写运行，没有信号和插槽，它基本上在线程中运行数据处理功能。它的构造函数是movetothread(this)方法。要使这两个函数形成队列并实现多线程，我可以在写函数中调用movetothread(secondthread)吗？
浏览 2提问于2011-03-07得票数 0
回答已采纳
我是一个新手，用Java对csv文件做一些数据处理。为此，我使用Java (线程池)的多线程功能对csv文件进行批处理，并对它们的每一行进行一些操作。在我的四核上，多线程大大加快了进程。
浏览 3提问于2011-11-03得票数 22
回答已采纳
1回答
当同时飞行超过100次时，多个数据处理机的并行操作似乎是一个合适的解决方案。但是我认为多路复用数据设备没有意义，因为它们都将以相同的方式并行处理相同的消息(主题)。替代解决方案。使DataReader多线程。但这一次只有一个数据处理机。我们将面临一个限制。
在dds中可以创建什么样的方法来创建多个数据表，并并行地处理它们来分配工作负载。
浏览 4提问于2022-01-29得票数 0
1回答
我正在寻找一个简单的(我想是的) spring batch问题的帮助。我的任务是从数据库中读取事务列表，按帐号和日期对它们进行分组，然后为特定帐户number.Once的事务集做一些处理。我读取数据并按帐号进行分组，我可以并行处理这些块。每次这样的操作都会更新账户余额。我是spring batch的新手，正在寻找spring配置的示例。你能帮帮我吗?
浏览 0提问于2011-03-31得票数 1
1回答
OS多线程差异
、、
他们通过创建一个具有“普适多线程”的内核来管理这个问题。对于开发人员来说，不同的多线程系统意味着什么？我发现了一个关于BeOS多线程的有趣网站.
浏览 3提问于2009-01-20得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
