1回答
我目前有数以千计的json文件需要处理并加载回云存储(可能还有BigQuery)。目前，我们使用运行在计算引擎上的Python应用程序来实现这一点。这些文件不需要分组或聚合，只需要单独处理(添加时间戳、排序条目、为BigQuery添加换行符等)。我只是想要一些简单的方法来并行化这个进程，而不是处理Python子进程和/或启动更多的机器。这是数据流的好用例吗？如果是这样，我是不是更好地将其视为流解决方案，并将所有文件发送到Pu
浏览 10提问于2017-08-08得票数 0
回答已采纳
我们本质上是使用SSIS将数据从一个数据库批量加载到另一个数据库。我的同事创建了一个数据转换对象，在其中，他为每个表都有一个转换。我为每个表创建了一个transform对象。我们都是SSIS的新手。
浏览 0提问于2009-09-06得票数 1
回答已采纳
1回答
三个副本任务中的每一个都由一个数据流表示，因此我的控制流中有3个数据流任务，所有这些任务都并行运行。如何使控制流任务等待3个并行任务完成，并将每个任务的集体成功评估为流程1，流程2和流程3是成功，并将集体失败评估为流程1或流2或flow 3失败？
浏览 0提问于2016-08-12得票数 2
回答已采纳
目前，使用Python的Google进行批处理。这很好，不过，我有兴趣在不需要处理Java的情况下，从我的数据流工作中获得更快的速度。使用Go SDK，我实现了一个简单的管道，从Google (使用textio.Read)读取系列100-500 Go文件，并根据结果进行一些聚合和更新CloudSQL。正在读取的文件数量可以从几十个到数百个不等。
当我运行管道时，我可以从日志中看到文件被串行地读取，而不是并行地读取，因
浏览 1提问于2018-09-19得票数 0
回答已采纳
在中，我使用一个查找活动获取要下载的文件列表，然后将其传递到ForEach，其中数据流正在处理每个文件这是
浏览 0提问于2021-10-05得票数 0
回答已采纳
1回答
您好，我是Azure数据工厂的新手，并不完全熟悉后台运行的后端处理。我想知道，与将所有转换都放在一个数据流中相比，并行运行两个数据流是否会对性能产生影响。我正在尝试使用not exists转换暂存一些数据。我必须对多个表执行此操作。当我测试并行运行两个数据流时，两个数据流的集群同时出现。但我不确定这是否是将表的加载分布在两个数据流之间的最佳方法，还是将所有转换都放在一个数据流中的最佳方法
浏览 20提问于2019-10-18得票数 0
我想在解密设备上的加密视频文件后播放这些文件。我想对数据流进行预处理，并使用videoview并行播放它，就像从互联网上流式播放视频一样。有没有办法可以像网络流一样将处理后的数据缓存到videoview？
浏览 2提问于2015-04-29得票数 0
当使用控制流时，可以使用GetMetadata活动来检索blob存储帐户中的文件列表，然后将该列表传递给每个活动( Sequential标志为false )，以便根据for循环中定义的活动并发(并行)处理所有文件但是，当阅读以下来自微软()的文章中有关数据流的内容时，它们指出如下：
当源转换迭代多个文件时，映射数据流将执行得更好，而不是通过每个活动循环。建议在源转换中使用通配符或文件列表。例如，如果
浏览 2提问于2020-05-19得票数 1
回答已采纳
我有一个带有数据流任务的SSIS包，其中包含一个OLEDB源和一个OLEDB目标。同样，我有一个批处理文件(.bat文件)来使用dtexec命令执行SSIS包。在批处理文件中，我设置了oledb目标的连接管理器的ConnectionString属性。我需要使用目标ConnectionString的不同值并行执行SSIS包，因为我必须同时填充多个目标表。如何更改批处理文件命令，以便可以同时并行
浏览 1提问于2013-01-21得票数 0
回答已采纳
我正在处理Google Cloud Dataflow中的信息，我们试图使用JPA将数据插入或更新到mysql数据库中，但这些查询占用了我们的服务器。所以我们决定改变我们的路径...我想生成一个mysql或.sql文件，这样我们就可以写入通过数据流处理的新信息。我想知道是否有实现的方法，或者我必须自己做这件事？让我再解释一下，我们有一个来自XML的输入，我们将信息处理成java类，我们有一个数据库的json转储，所以我们可以在不进行太多调用的情况下在线查看我们拥有的信息，考虑到这一点，我们
浏览 3提问于2016-01-26得票数 0
我有一个Excel文件，需要在集成服务中处理三次，一次用于项目，一次用于人员，一次用于时间跟踪数据。我开始考虑将它导入到SQL服务器的临时表中，这当然是可以的，但如果我能跳过这一步就好了。
浏览 3提问于2009-03-09得票数 1
回答已采纳
从数据流管道中的数据存储区读取数据时，作业似乎没有分布在我为作业设置的可用工作线程的数量上。Dataflow是对数据存储区数据的读取进行并行处理，还是使用单个工作进程进行并行处理？
浏览 1提问于2017-03-28得票数 0
Flink初学者-需要一个接一个地处理数据流，而不是并行处理。我需要维护processing.But流的顺序，都是在parallel.Datasets中处理的，也没有帮助。
浏览 0提问于2019-07-30得票数 0
回答已采纳
1回答
我有各种各样的日志文件，其中包含数百万条记录。我想将记录从这些文件推送到mongodb，我必须在插入MongoDb之前将数据规范化，并使用ID上的筛选器，这是文件中每一行/record中常见的变量。}]我已经编写了Python脚本，但是它消耗了大量的内存，或者如果我用脚本限制内存的使用有人能建议使用APACHE、APACHE或任何东西来满足这种类型的需求吗？在卡夫卡和风暴之前我从未用过它
浏览 2提问于2017-07-31得票数 1
回答已采纳
1回答
我想知道GPU的数据流结构。针对CUDA和DirectX分别提出了并行编程模型和图形流水线。但是，我想知道数据流结构(比如8086处理器的数据流结构)。
浏览 0提问于2012-09-09得票数 2
2回答
从多个R文件中采购
、、、、
目前我在我的本地机器上使用R，在那里我可以有条件地获取多个R脚本(因为它们被放在我的本地驱动器中)。
然而，当我需要在Google数据流中的RENJIN上使用相同的脚本来实现并行性时，我无法源文件。我有多个扩展名为.R的R脚本文件。我需要读取主R脚本文件，并且需要在运行时传递到数据流中，但是主R文件必须引用其他R脚本文件的源标记。当从java读取主R文件内容并将其传递给google数据流</
浏览 0提问于2017-05-24得票数 0
我使用Aapche Beam (带有数据流运行程序)下载二进制文件(天气预报，大约300个文件)，然后解码它们，然后将结果存储为CSV，然后将CSV加载到BigQuery中。BigQuery |迁移到Dataflow的原因之一是，并行化容易影响到工作人员在日志中，我似乎遗漏了对数据流的总体理解中的一些部分。
我认为，一旦完成了来自上游的元素
浏览 0提问于2018-02-13得票数 2
回答已采纳
我使用的是一个有3个节点的MapR (YARN)集群。我正在尝试在集群上部署6个Samza作业，以便对数据流进行一些处理。所有作业都是正确的。我尝试并行部署2-3，它们都有效。但是，当我并行部署所有6个Samza作业时，我看到以下日志。任务将继续运行，并且不会产生预期的输出数据流。
我认为可能应用程序没有足够的资源来并行运行所有这些应用程序。我可以试一下什么变化？
浏览 2提问于2016-06-10得票数 1
有没有人比较过并行单个写入和并行批量写入与Firestore之间的性能？ 我每天都在尝试使用数据流导入作业将数据写入Firestore，并且能够在10分钟内写入大约250万条记录。目前，写入是以批处理模式完成的，批处理大小为400。 只是好奇单个写入是否可以提供比批量写入更高的性能？
浏览 19提问于2021-04-16得票数 0
1回答
所以我所知道的是，有一些Mappers在几台计算机上并行运行，然后创建一个结果集，然后由在多台机器上并行运行的还原器使用它来创建预期的数据集。
如果不是，那么我们如何处理可能来自不同来源的数据流，比如Twitter提要等等？
浏览 1提问于2013-10-02得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
