Powershell并行或多线程作业
是指使用Powershell脚本语言中的并行或多线程技术来同时执行多个任务或作业。这种技术可以提高任务的执行效率和速度，并且可以更好地利用计算资源。
Powershell是一种跨平台的脚本语言，可以在Windows、Linux和macOS等操作系统中使用。它结合了命令行界面和脚本编程的优点，提供了丰富的功能和强大的扩展性。
在Powershell中，可以使用以下方式来实现并行或多线程作业：
- PowerShell Jobs：PowerShell Jobs允许将任务提交到后台进行并行处理。可以使用
Start-Job命令来创建一个后台作业，并使用Receive-Job命令来获取作业的结果。 - Runspace：Runspace是Powershell中的一种执行环境，可以创建多个Runspace并行执行任务。每个Runspace都拥有独立的内存空间和上下文，可以在不同的线程中同时执行任务。
- Workflow：Powershell Workflow是一种可以并行执行的脚本语言，可以将任务定义为工作流程，并在不同的计算资源上执行。可以使用
workflow关键字来定义一个工作流程，并使用Parallel关键字来指定需要并行执行的任务。
并行或多线程作业在以下场景中具有优势：
- 大规模数据处理：并行或多线程作业可以将一个大型数据集拆分成多个子任务，并在多个处理单元上同时执行，从而提高数据处理的速度和效率。
- 网络通信：并行或多线程作业可以同时处理多个网络请求或连接，提高网络通信的并发性能。
- 多媒体处理：并行或多线程作业可以同时处理多个音频、视频或图像文件，提高多媒体处理的速度和效率。
- 批量作业处理：并行或多线程作业可以同时执行多个批处理作业，例如文件复制、数据导入导出等，提高作业处理的效率。
在腾讯云中，可以使用以下产品来支持Powershell并行或多线程作业：
- 腾讯云云服务器（CVM）：提供了强大的计算资源，可以创建多个虚拟机实例来并行执行Powershell作业。
- 腾讯云容器服务（TKE）：基于Kubernetes容器编排技术，可以灵活调度和管理多个容器实例，支持Powershell作业的并行处理。
- 腾讯云函数计算（SCF）：无服务器计算服务，可以自动弹性扩缩容，根据任务负载自动调度并行执行Powershell作业。
通过以上腾讯云产品的组合和配置，可以实现Powershell并行或多线程作业的需求。详细产品介绍和使用指南可以参考以下链接：
- 腾讯云云服务器（CVM）产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务（TKE）产品介绍：https://cloud.tencent.com/product/tke
- 腾讯云函数计算（SCF）产品介绍：https://cloud.tencent.com/product/scf
相关·内容
我可以使用powershell创建Azure VM。
我必须创建4个虚拟机的并行。
powershell中是否有创建多个虚拟机并行的功能？像后台作业或者使用线程为所有不同的虚拟机调用相同的函数之类的事情？
浏览 17提问于2017-07-05得票数 0
回答已采纳
我想用PHP做一个脚本。我的脚本必须激活客户帐户。
我的第一个函数将从管理面板中获取客户端的所有登录详细信息，大多数是100个登录或更多。
下一步，我必须去第三方网站，登录后，我的客户用户名和密码，他们会给我一个链接，我必须抓取该链接，并获得激活码。
之后，我必须放置激活码和提交。
我只想知道如何让这件事变得自动化和基于队列。我可以制作脚本，但我希望在这个脚本中有一个队列系统。
在得到no之后。从管理面板的作业，它开始做作业，但我必须同时运行10个或更多的作业(并行)，如果任何作业完成，它启动另一个类似于IDM (互联网下载管理器)。完成所有作业后，它将从admin抓取新的登录并启动作业，依此
浏览 1提问于2011-04-17得票数 0
回答已采纳
我们通宵处理大量文件(大约500个)，这些文件每隔几分钟就会出现一次。但是当他们来的时候，他们是30-50人的一组。为每个文件启动作业，或者将它们分组并使用多线程步骤进行处理，这是一个好主意吗？
浏览 3提问于2015-07-09得票数 1
1回答
我正在使用Pandas0.18/Python3.5在英特尔i3 (四个核)上编写代码。
我读过这样的文章：
我还做了一些工作，即IO绑定(将CSV文件解析为dataframes)。我需要做大量的计算，主要是将数据乘以。
我的代码目前是使用concurrent.futures ThreadPoolExecutor并行的。
我的问题是：
一般来说，我应该使用线程并行运行熊猫作业，还是熊猫可以有效地利用所有核心，而不需要我明确告诉它呢？(在这种情况下，我将依次执行我的作业)。
浏览 4提问于2016-09-15得票数 4
回答已采纳
我需要扫描CIFShare并获取共享中所有文件和文件夹的文件属性和ACL属性。我知道在get-chilItem中有一个-recursive选项，但在非常大的共享中，使用-recursive选项真的很耗时。我知道这可以通过多线程实现。
假设层次结构如下：
Root
Root\FolderA
Root\FolderA\FolderA1\FolderA2\FolderA3\FolderA3\FolderA4
Root\FolderB\..
..
我已经管理了一个脚本，它获取根目录中所有文件和文件夹的文件属性和ACL，并为根目录中的每个文件夹(文件夹A、文件夹B等)启动一个作业，该作业运行时没有任何错
浏览 1提问于2013-11-01得票数 1
9回答
我有一个powershell脚本，可以对一堆图像进行批处理，我想做一些并行处理。Powershell似乎有一些后台处理选项，如启动作业、等待作业等，但我发现用于并行工作的唯一好资源是编写脚本文本并运行这些选项()。
理想情况下，我希望在.net 4中实现类似于并行foreach的功能。
一些看起来不太像的东西：
foreach-parallel -threads 4 ($file in (Get-ChildItem $dir))
{
.. Do Work
}
也许我直接去c#会更好。
浏览 3提问于2010-10-26得票数 134
回答已采纳
3回答
我正在尝试模拟网格环境中的调度。我不知道该用什么算法。我正在考虑Job Shop调度算法，但不知道它是否用于网格。在网格环境中，通常使用哪些算法来将传入的作业调度到资源？任何帮助都将不胜感激。谢谢。
浏览 10提问于2011-03-19得票数 1
回答已采纳
我有一个lambda，它必须调用很多乔布斯(所有的任务都是调用另一个lambda)，一旦所有的任务都成功地完成了，我必须向另一个系统发送通知，这就是为什么我要同步和顺序地调用它们，这将导致lambda超时。
我有两个解决方案
使用Step函数或任何其他工作流系统，一旦所有作业到达其终端状态，工作流就会知道并通知其他系统。
I以多线程方式调用所有作业，因为所有作业都将在网络I/O上被阻塞，因此处理速度大大加快，并且能够在约束条件内处理所有请求。
我知道这是一个经典的工作流问题，问题是为什么或者为什么不使用多线程或step函数？
多线程会导致未知的问题吗？
谢谢
浏览 3提问于2021-05-05得票数 0
我在一个只有两个核心的小型测试服务器上使用Jenkins。 我注意到jenkins将每个构建绑定到一个核心，也就是说，如果启动一个作业，它将只使用一个核心。 我的测试本质上是矩阵运算，我需要jenkins在每个构建中使用几个核心。 是否有插件可以启用此功能？
浏览 38提问于2020-06-23得票数 1
回答已采纳
1回答
基于堆表的非聚类索引在线重建
、、、、
最近了解到，在中联机重新构建堆是单线程的，并且不并行。
我的问题是:如果您尝试在线重建堆表上的非聚集索引，这些索引也是单线程的，还是可以并行的？
背景
我试图找到最好的地方来真正测试它，但现在我有有限的硬件可供我使用。我是公司的新手，我不提倡堆，我试图引导它们走向聚集索引，但是它们到处都是随机的GUID，许多开发人员认为聚集索引会损害性能。我试图教育他们使用聚集索引而不是堆的优点，其中一个组件是索引维护。
我们有一个存储过程，它的逻辑读取量超过2700万。我进去查看了一个关键表扫描上的碎片，重新构建了堆，逻辑读取下降到56万。只要查看转发的记录和碎片，我甚至不会通过脚本作业重建该表。试图让他们
浏览 0提问于2020-09-03得票数 1
在2014年升级到2016年之后，我需要帮助解决一个一直在讨论的问题。重做线程导致二级副本上所有select查询的阻塞。所有长时间运行的select查询都会被特定数据库的重做线程阻塞。所有DBs都已同步。当我运行SQL作业从辅助数据库获取数据时，重做线程将被阻塞。在运行作业之前，重做队列大小也是0，DB也是同步的。读取路由URL也已配置。有没有人遇到过这样的情况？请帮个忙。
我尝试过多种方法来解决死锁问题，并启用了Is_Read_Commited_Snapshot选项，但仍然阻止了重做线程( DB )。
浏览 0提问于2019-05-28得票数 1
回答已采纳
1回答
如何在控制台应用程序中实现并行性
、、、、
我有一个.net web应用程序，假设A和一个.net控制台应用程序，假设B.In A，我有一个由B.Once执行多个任务的队列，我从A中选择作业，创建一个队列。队列中的每个作业都由控制台应用程序B在FIFO中顺序地获取，并执行/处理。如果我假设队列中有10个作业，B将捡起第一个作业，完全处理它，然后捡起第二个作业，然后执行第三个作业，等等……应用程序使用MSMQ (Microsoft消息队列)。应用程序A将向其添加作业，应用程序B将不断侦听队列。如果A将任何作业添加到队列中，则B将捡起它并执行它，如果有任何作业，则执行next。
我想要的是从控制台应用程序实现这些作业的并行性。我是否可以为此
浏览 0提问于2020-08-21得票数 -2
回答已采纳
1回答
我有火花作业，在其中我处理一个文件，然后执行以下步骤。
1. Load the file into DataFrame
2. Push the DataFrame to elasticsearch
3. Run some aggregations on dataframe and save to cassandra
为此，我编写了一个火花作业，其中我有以下函数调用
writeToES(df)
writeToCassandra(df)
现在这两个操作一个接一个地运行。然而，这两者可以并行运行。
我怎么能在一个火花工作中做到这一点。
我可以做两个火花工作，每一个给ES和Cassandra写信。但是
浏览 0提问于2018-04-04得票数 9
可能是一个重复的问题，但需要一些切中要害的答案，因为我还在学习。我想同时在所有远程服务器上运行PowerShell脚本，以安装应用程序。我尝试了下面的cmdlet，但它正在一个接一个地执行，并且还想知道状态或作业输出文件。任何帮助都是非常感谢的。谢谢 $servers = Get-Content "C:\Dumps\Scripts\servers.txt"
foreach ($server in $servers) {
Invoke-Command -ComputerName $server -Filepath C:\Dumps\Scripts\CompleteSi
浏览 41提问于2021-09-08得票数 0
谁知道org.apache.hadoop.mapreduce.Job是否是线程安全的？在我的应用程序中，我为每个作业创建一个线程，然后执行waitForCompletion。我还有另一个监视器线程，它用isComplete检查每个作业的状态。
这样安全吗？作业是线程安全的吗？文档似乎没有提到任何关于它的内容……
感谢Udi
浏览 0提问于2011-07-24得票数 2
回答已采纳
我有一个多租户网站。我的一些客户在这里和那里发送一封电子邮件，其他客户可能一次发送1000封。
我使用作为我的邮件服务器，作为我的PHP代码。
问题是，每封电子邮件需要一秒钟左右的时间才能发送。我猜它需要连接到SendGrid.com进行身份验证等。所以如果你发送1000封电子邮件，它实际上需要大约1000秒超时。
我认为最好的方法是将电子邮件存储在数据库中，然后cron作业将它们发送出去。
这是最有效的方法吗？我应该一次只发送一定数量的电子邮件吗？例如，每个cron作业100个？
当我谈到cron作业的时候，cron作业可以在大腿上运行吗？因此，如果我让它每分钟运行一次cron作业，页面需要
浏览 1提问于2012-08-09得票数 1
2回答
我有一个关于变量及其作用域的问题。我想要设置一个包含多个作业的管道，每个作业包含相同的任务，并且我想为它们使用一个模板。我还在它们中有作业变量，我想在作业运行时操作它们。由于Job是在模板中定义的，因此所有变量名都是相同的。我通常使用下面的命令来设置变量的新值。 Write-Output ("##vso[task.setvariable variable=job_variable1;]$newValue") 我真的不知道这是否会导致所有作业中的所有变量都设置为$newVariable内容，或者该日志记录命令只设置当前作业中的变量。 所有作业都是并行运行的，如果这也会设置其他作
浏览 14提问于2020-12-08得票数 0
回答已采纳
我现在的任务是连续运行Python程序，它将是一种cron作业，在内部它会有对象，每24小时更新一次，然后将细节写进一个文件中。
需要关于内存管理的一些建议
我是使用单进程还是多线程。因为程序中有一个可以并行完成的范围。由于它将持续运行，需要对这些线程的内存消耗进行一些澄清，我也需要在每次执行之后清理线程的资源。对python中的线程是否有可用的清理方法。
当我用Python进行对象分配时，是否也需要考虑析构函数，还是Python将执行gc。
请分享你对此的想法，以及什么是最好的方法。
浏览 4提问于2012-09-06得票数 0
我有一个Spark 2.1工作，我维护多个Dataset对象/RDD，这些对象/RDD代表对底层Hive/HDFS数据存储的不同查询。我注意到，如果我简单地迭代数据集列表，它们会一次执行一个。每个单独的查询都是并行操作的，但我觉得我们没有通过不并行运行不同的数据集来最大化我们的资源。
关于这一点，似乎没有太多的问题，因为大多数问题似乎都是关于并行单个RDD或数据集，而不是在同一个作业中并行多个。
出于某种原因，这是不可取的吗？我能使用executor服务、线程池或未来来做这件事吗？
谢谢!
浏览 5提问于2018-02-17得票数 2
回答已采纳
1回答
工人们很难选择最好的技术
、、、
我想创建一个微服务，用于并行处理一些通过push通过Azure服务总线获得的任务。此微服务将通知Azure服务总线，如果任务完成是否成功.见下图：
我已经有三种选择要考虑：
托管服务
Azure Web作业
天青批次
既然其中一个必要条件是这个微服务需要在.NET核心3中，那么使用Web而不是托管服务有什么正当的理由吗？哪些选项可以保证健壮性和可伸缩性？
浏览 0提问于2019-09-05得票数 0
回答已采纳
1回答
多线程中分裂的gnu并行单作业
、、、、
我想要启动一个单一的作业，它接受两个参数，并将它的执行分割到使用GNUparallel的CPU 128个线程之间。我解释了我做了什么和我是怎么做的，并寻求帮助。
我有一个bash脚本"job.sh“，其中我定义了两个变量并启动了一个作业
#!/bin/bash
first=70
second=10
./executable $((first-1)) $second
echo "$first $second"
现在，我想使用GNU并行的方式，在服务器的CPU的128个线程中拆分这个密集的工作。
在阅读了文档之后，我尝试用./executable $((first-1
浏览 3提问于2021-12-23得票数 1
回答已采纳
我有一个powershell脚本，它将调用其他两个powershell脚本来运行。它运行一个脚本，然后完成另一个脚本，但这会使它花费更长的时间。我可以强制脚本执行其他脚本并继续循环吗？当我过去手动运行这些脚本时，我会让20-30个会话运行，然后在运行过程中离开。我写的东西单调乏味，只需手动点击它们。
下面是父脚本：
$List = Get-Content C:\archive\${env:id}.txt
$Batch = New-Object System.Collections.ArrayList
foreach ($Data in $List){
if ($Data -eq &
浏览 2提问于2018-02-07得票数 0
我们可以让表A保存行(表A中的一列将是分区键)，对于表A中的每一行，我们都会有表B，它包含表A中给定的外键/分区键的许多子记录。我们需要运行一个查询，根据一个查询从表A中筛选出分区键，并且对于每个分区键，处理表B中的所有子记录(在这里，我们同样在表B中有几百万条记录，因此我们需要并行处理记录，从而实现远程分块)
对于这样的事情，思考spring批处理作业设计的正确方式是什么？
浏览 2提问于2020-03-16得票数 0
2回答
我对多线程有一个总体的想法，但不确定它是如何在Hadoop中使用的。
根据我的知识，Yarn负责管理/控制Spark/Mapreduce作业资源，这里不能想到多线程。不确定它是否可以在Hadoop Eco系统中的任何其他地方使用。
如果有人能提供一些关于这方面的信息，我将不胜感激。
非常感谢，
浏览 14提问于2016-11-16得票数 2
我正在使用Talend Open Studio for Big Data，我想知道如何同步在多线程执行的作业中执行的两个子作业。
我想并行执行两个子作业，只有在这两个作业完成执行后，我才想执行第三个作业。基本上，只有在Job1和Job2完成执行之后才执行Job3。
我知道我可以使用tParallelize和Synchronize来实现这一点，但我没有使用Talend Enterprise edition。
在这个话题上似乎没有什么亮点，所以任何帮助都将不胜感激。
谢谢!
浏览 4提问于2018-02-09得票数 1
回答已采纳
6回答
我现在正在看我以前的学校作业，想找出一个问题的解决办法。
哪种排序方法最适合并行处理？
气泡分类
快速排序
合并排序
选择排序
我猜快速排序(还是合并排序？)就是答案。
我说的对吗？
浏览 4提问于2009-11-23得票数 10
回答已采纳
1回答
我试图使用多线程步骤和并行作业的组合，在Spring批处理中获得一个复杂的作业流。
现在，我已经设置了3个作业(1，2，3)，其中第一个(1)在其他作业之前运行(如预期的那样)，并完成了对问题的处理。另外两个(2,3)应该并行运行，有一些自己的并行步骤。我试图运行的所有这些作业都封装在JobSteps中，然后在主作业(0)中运行。
问题只发生在作业2& 3中，其中一些JobStep失败，不总是在同一点，也不总是相同的JobStep。这是此类异常的堆栈跟踪：
2019-01-07 17:35:57,513 ERROR: o.s.b.c.s.AbstractStep [SimpleAsyn
浏览 1提问于2019-01-08得票数 0
我正在考虑创建一个SpringBatch作业，它使用表中的行来创建事件并将事件推送到PubSub实现中。这里的问题是事件的顺序应该与表中用作事件创建过程源的行的顺序相同。
在我看来，SpringBatch似乎不是为这样的订单毅力而设计的，因为批次被处理，然后并行编写。解决这个问题的唯一丑陋但可能可行的解决方案是在读取器中完成所有的处理(这样读取器就可以对reading+processing+writing进行PubSub处理)，这有助于保持分页批内的顺序，但根据的说法，即使这样也不能保证批顺序。
对于如何使用ordered rows->ordered events或至少使用SpringB
浏览 6提问于2021-04-15得票数 1
回答已采纳
2回答
我在mongoDB中有4000万个数据。我正在并行地阅读这些数据，从收集、处理和转储到另一个集合。
用于作业初始化的示例代码。
ExecutorService executor = Executors.newFixedThreadPool(10);
int count = total_number_of_records in reading collection
int pageSize = 5000;
int counter = (int) ((count%pageSize==0)?(count/pageSize):(count/pageSize+1));
for (int i = 1; i
浏览 5提问于2016-08-12得票数 1
回答已采纳
我正在尝试将Azure PowerShell脚本转换为Azure Automation，但是在使用“开始作业”命令时遇到了一个问题。调用内联脚本后，作业在启动后不久就会失败。在我看来，这些参数并没有很好地通过。
在Azure自动化中，有什么是我缺少的，可以正确地传递参数吗？
正在失败的命令：
$CreatevNetGateway = { param($vNetName) New-AzureVNetGateway -VNetName $vNetName -GatewayType DynamicRouting } <#Start the jobs#> Start-Job
浏览 3提问于2014-11-11得票数 0
回答已采纳
3回答
我有一个活动表，它获取系统的所有表事件。所有系统表上的新订单、插入/删除等事件都将插入到此表中。因此，对于活动表来说，事件/秒的大小是非常大的。
现在，我希望根据业务逻辑处理传入事件，这取决于负责引发事件的表。每个表可能有不同的处理过程。
我使用了相同的链接
作为一种解决方案，我创建了多个dbms_scheduler作业，这些作业将同时被调用。为了实现并行处理，所有这些作业(JOB1, JOB2--- - -JOB10)都将具有与JOB_ACTION相同的过程JOB_ACTION。
begin
dbms_scheduler.run_job('JOB1',false);
浏览 5提问于2016-01-22得票数 1
1回答
我已经用PHP/cURL写了一个刮板，它工作得很好，但在cURL上有瓶颈。AFAIK没有办法提高cURL的速度，但我读到过其他速度更快的语言/库。任何人都有这方面的经验，我能期望多少%的改进？对于低于25%的任何东西，可能都不值得这么麻烦。
另一种选择可能是并行cron作业？
浏览 2提问于2011-02-17得票数 0
回答已采纳
我正在尝试从PowerShell workflow runbook重新创建一组虚拟机(基于现有的OS磁盘)。我遇到的问题是，我需要在并行执行块中创建安全上下文，而这总是失败。我收到运行"Login-AzureRmAccount“的消息，我已经尝试使用
$Conn = Get-AutomationConnection -Name AzureRunAsConnection
Add-AzureRMAccount -ServicePrincipal -Tenant $Conn.TenantID -ApplicationId $Conn.ApplicationID -CertificateTh
浏览 0提问于2017-05-18得票数 0
我在Powershell (7)中有一个解决方案，其中我有一个模块，其中包含一个类，如
test.psm1
class TestClass {
[string]$Test
TestClass(
[string]$_test
) {
$this.Test = $_test
}
[void] TestMethod() {
xxx
}
}
在主脚本中，我可以成功地导入模块，包括它的类，并使用它。
在主脚本中，我还希望使用作业并行地处理某些步骤，如
using module .\test.psm1
浏览 1提问于2022-07-29得票数 1
回答已采纳
我有一段python代码，它在一台装有multiprocessing.Pool的机器上运行，用于许多独立的作业。我想知道是否有可能在SGE网格上使其更加并行，例如，网格的每个节点为这些独立的作业运行多个线程。
最初，我有：
# function def
# some_function(param1, param2, param3, process_index)
func = functools.partial(some_function, file_list, param1, param2, param3)
pool = multiprocessing.Pool(processes=s
浏览 1提问于2017-03-30得票数 3
我想向我正在使用的集群网络提交一个多线程作业-但是关于qsub的手册页并不清楚这是如何完成的-默认情况下，我猜它只是将其作为一个普通作业发送，而不考虑多线程-但这可能会导致问题，例如将多个多线程作业发送到同一台计算机，减慢速度。
有谁知道如何做到这一点吗？谢谢。
批处理服务器系统为sge。
浏览 2提问于2011-11-30得票数 4
为了并行化spark作业，可以同时增加内核数量和执行器实例数量。这里的权衡是什么?应该如何选择这两个配置的实际值？
浏览 1提问于2020-06-01得票数 0
我面临多线程问题，整个流程流程应该在30秒内运行。
第一来源:200个工作的一般清单第二来源: splitter通过从源1作业id中获取单个呼叫第二来源
拆分后，我将把它传递给一个队列，调用服务激活器，然后在那里调用http出站网关。但是，由于它是当前的单线程，它将面临一个问题，在30秒内它无法完成所有200个作业。
<int:splitter input-channel="AdapterCollectTransformJobChannel" output-channel="AdapterCollectTransformJobChannelSplit" r
浏览 1提问于2018-08-08得票数 0
回答已采纳
2回答
我正在研究如何使用C#异步特性(TPL/异步/等待)以递归方式处理分层结构。以下是我想要做的事情的概述
我有一个要处理的作业集合，如下所示。每个工作都有一些事情要做，也可以有一个或多个孩子，这也有一些事情要做。所有父作业和子作业都调用相同的函数来执行“异步”中的实际“工作”和此函数(下面的代码)
/*
* Jobs Collection
* |
* |__ Job1
* | |__ Job4
* | | |__ Job7
* | |
* | |__ Job5
* |
* |__ Job2
* | |__ Job6
浏览 3提问于2015-06-11得票数 3
回答已采纳
2回答
我已经成功地设置了一个教程Spring Batch项目。我真的很想知道它是否有可能在"Spring级别“上实现多线程。
我想要的基本思想是创建一个任务或任务步骤的列表，并让它们由独立的线程拾取和处理，理想情况下是从限制为'n‘个线程的池中提取和处理。
这个是可能的吗？如果是这样的话，是怎么做的？有没有人能带我到我现在所在的位置？
我有一个简单的项目来自这个教程。它基本上有不同的任务，打印一条消息到屏幕上。
以下是我当前的simpleJob.xml文件，其中包含作业详细信息：
<import resource="applicationContext.xml"
浏览 0提问于2010-02-24得票数 14
回答已采纳
1回答
使用实例组，可以组合多个处理器，然后在它们之间分配一个分布式计算。
如何将计算作业分配给实例组？
这与多处理器的一个实例有什么不同？
浏览 1提问于2015-02-09得票数 0
回答已采纳
有人问我这个问题，我的人也有点困惑。
问:你将如何处理比我的处理速度快一倍的数据？
我想到以下几点：
使用队列来处理这个问题。但是，如果我使用简单的队列，那么所需队列的大小就会不确定地大，而且我仍然会落后。随着时间的推移，我将有一半以上的数据，我可以处理。我会继续成倍增长。
我使用一个线程来读取数据，另外两个线程用于处理。但是，假设我的数据必须按顺序处理，那么会发生什么。
我仍然感到困惑，对类似问题的任何帮助都将受到欢迎。我知道可能有一个标准的解决方案，但我不知道同样的。
我想在c/c++中实现。
浏览 3提问于2015-02-26得票数 0
1回答
我正在加载powershell脚本中定义特定类型的powershell dll，以便创建一个带有正文的F#请求，以将其发送到用F#制作的web服务。其中一种类型如下：
type Resource =
| VM of VMResource
| Unit of UnitResource
使用
type VMResource = {
ComputerName: string
Ip: string
Attributes: string[]
}
type UnitResource = {
UnitName: string
Ip: string
User
浏览 0提问于2017-08-10得票数 1
回答已采纳
5回答
这是一个普遍的问题，但我在.NET世界工作，所以我想知道是否有任何关于.NET框架/核心平台的特别的怪癖，我在这里应该关注。
我认为可以肯定地说，通常情况下，将长时间运行的作业分解到线程中比在长时间运行的进程中中断作业稍微快一些。然而，业绩差异的数额将是微不足道的。我还没有在这方面做过任何基准测试，但这个回答似乎表明，至少就.NET而言，在这个问题上存在共识。
然而，我仍然经常听到“由于性能原因，它被分割成不同的进程”的论点。我对此感到困惑，我想知道这个论点是否站得住脚。请记住，这个讨论与可维护性无关。我要问的问题是:在单个进程上运行的多个任务是否比运行在一个进程中的单个线程上的多个作业更快？
浏览 0提问于2020-02-20得票数 6
1回答
多线程与集群
、、、
我正在研究这两个概念之间的区别，并没有找到以下情况的明确答案：
您可以在计算机上的不同端口上拆分4个节点服务器。这些服务器都在处理一个请求。
我认为这在理论上是多线程的。一个请求委托给4个不同的节点服务器进行处理。
但是，由于节点是异步运行的，而且我还没有定义这4台服务器将如何相互交互(节点1中的作业会转到节点2处吗？)，我认为如果没有某种主节点，这种场景是不可能的。
这就引出了我的下一个问题：
多线程也可以是异步的吗？对我来说，这不是一种常见的编程模式，但我还没有说出一个能证实这一点的例子。
非常感谢!我通常会问一些编程问题，但我开始更多地研究系统设计
浏览 2提问于2016-05-18得票数 2
1回答
多cpu作业中用户时间的增加
、、、、
我正在运行以下代码：
当我用一个子进程运行这段代码时:我得到了以下计时信息：
(我使用/usr/bin/time./job 1运行)
5.489u 0.090s 0:05.58 99.8% (1个作业正在运行)
当我使用6个子进程运行时：
74.731u 0.692s 0:12.59 599.0% (6个作业并行运行)
我正在运行实验的机器有6个核心，198 GB的RAM，其他任何东西都没有在这台机器上运行。
我期望在6个作业并行运行的情况下，用户时间报告为6次。但它远不止于此(13.6倍)。我的问题是，用户时间的增加是从哪里来的？是不是因为在6个作业并行运行的情况下，多个内核会更频繁地从一个
浏览 0提问于2016-03-08得票数 1
3回答
我有大约60k的文件存储在HDFS中，每个文件大小在4kb-70 4kb的千字节范围内。我正在试图通过对我所知道的特定文件执行regex搜索来处理它们，处理过程太长，而且似乎不正确.
火花作业在纱线上运行
硬件规格:3个节点，每个节点有4个核心和15G内存。
targeted_files = sc.broadcast(sc.textFile(doc).collect()) # 3 files
#hdfs://hadoop.localdomain/path/to/directory/ contains ~60K files
df = sc.wholeTextFiles(
"hd
浏览 1提问于2019-07-31得票数 1
在学校，我正在做一个曲奇的翻拍。基本上，每一秒，我都需要把1分加到球员的分数上。我找到了一种方法，但我的问题是，它只关注计时器，然后我不能运行程序的任何其他部分，因为计时器需要不断地运行。我假设有一些方法可以让计时器始终在后台运行，同时仍然运行我的其他代码。我的计时器设置方式可能不是最好的(我只是研究了计时器方法，并将一些东西拼凑在一起)。以下是代码：
x = 1
while x == 1:
score += 1
time.sleep(1)
我仍然是非常新的，我是有点学习，因为我这样做。谢谢!
浏览 0提问于2018-11-19得票数 0
回答已采纳
在并行中多次调用powershell函数或脚本并等待数据返回才能继续吗？我已经在Linux中这样做了，我的伪代码更像是在linux中所做的例子。
假设我们有一个名为‘’的函数，它作为结果字符串返回最近的重新引导。与其按顺序运行它，不如并行运行它吗？
正规串行法
$Result = @()
ForEach ($pcname in $pclistarray) {
$Result += Get-OSRebootDates -Target $pcname
# call it one at a time and wait before moving on to the next
浏览 6提问于2021-12-14得票数 1
回答已采纳
2回答
可以在多个处理器或线程上运行作业以加快avconv的速度吗？
是否有一个正在进行的功能，如果没有，我想知道为什么？
浏览 0提问于2014-05-24得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
