目前正在致力于提高一些查询的效率。在查看了查询计划之后，我发现当使用top子句时，SQL不会执行并行操作，这会将查询时间从1-2秒增加到几分钟。
问题中的查询使用的是具有各种连接和联合的视图，我正在寻找一个关于为什么会发生这种情况的一般答案/理解-谷歌到目前为止让我失望了。
谢谢
浏览 1提问于2011-11-17得票数 1
假设我有4个写查询，并且我使用的代码如下：
Parallel.Invoke(
() => TheID1s = SomeQuery1(TheData1),
() => TheID2s = SomeQuery2(TheData2),
() => TheID3s = SomeQuery3(TheData3),
() => TheID4s = SomeQuery4(TheData4));
Server是否也在内部并行工作，还是编写并行代码来处理查询最终会在数据库中创建一个队列，该队列每次只处理一个查询？
浏览 3提问于2014-06-25得票数 1
回答已采纳
2回答
我只是写了一个在Numba上使用list和parallel的例子，如bellow Parallel and No Parallel：
并行
<code>A0</code>
无并行
<code>A1</code>
并比较评估的时间
<code>A2</code>
结果: 333332833333500000流逝时间为0.233338秒。
<code>A3</code>
结果: 333332833333500000流逝时间为0.195136秒。
<code>C4</code>
浏览 34提问于2021-03-13得票数 0
2回答
从Java-8开始，我们可以使用并行流(java.util.stream包) 根据理论，众所周知，与Java的(顺序)流相比，Java的并行流适合于需要并行执行操作的情况。 此外，并行流在管理并行性时存在比特开销，因此需要更加小心。 可以使用它的实际用例有哪些？此外，在这样的实际用例中，它是如何智取并行的成本的？
浏览 37提问于2020-04-23得票数 0
1回答
关于在Numpy中生成随机数的问题。
我有一个代码，它执行以下操作：
import numpy as np
for i in range(very_big_number):
np.random.randn(5)
# other stuff that uses the generated random numbers
不幸的是，由于very_big_number可能真的是一个非常大的数字，所以我想将这个循环分成几个块，例如，以相同的方式调用10 times
for i in range(very_big_number/10):
np.random.randn(5)
浏览 1提问于2018-05-19得票数 3
2回答
在理解FPGA对并行处理的好处方面，我遇到了一些问题。每个人都认为它是平行的，但在我看来，它并不是一成不变的平行。让我们看看这个例子：
我的数据信号出现在某个引脚上，每时钟周期1位。FPGA将接收这些数据，并且由于它已经在集成电路中得到数据，所以它可以立即开始处理。但这叫做串行处理，而不是并行处理。如果FPGA等待数据积累，然后并行处理，则可以说FPGA处理是完全并行的，但是等待大量数据到达有什么好处呢?如果我们等待8位数据，我们就会损失7个周期。那么，FPGA并行化的好处是什么？我搞不懂。
如果数据是并行的，就像您使用旧的DB-25并行口连接器时一样，它将是并行的。但是，由于并行口不能支持高
浏览 9提问于2016-02-10得票数 2
回答已采纳
3回答
并行和分布式计算
、、
并行计算和分布式计算的区别是什么？当涉及到可伸缩性和效率时，通常会看到解决方案在计算机集群中处理计算，有时被称为并行处理或分布式处理。
在某种程度上，计算似乎总是并行的，因为有些事情是并发运行的。但是，分布式计算仅仅是与多台机器的使用有关，还是有更多的特性来区分这两种处理？例如，说一个计算是并行的和分布式的，难道不是多余的吗？
浏览 0提问于2014-05-15得票数 16
回答已采纳
1回答
我对Flynn分类法已经了解了一段时间(SIMD、MIMD等)，以及并发模型(参与者模型、petri网等)。然而，我现在想知道它们是如何重叠和相互关联的。如果某些并发模型可以以某种方式封装在Flynn分类模型中，反之亦然。
浏览 0提问于2018-07-20得票数 2
回答已采纳
我正在运行一个ABAP程序来处理大量的数据。SAP文档给出了我应该使用远程函数模块()的信息，添加启动新任务来处理数据。
因此，我的程序首先选择所有数据，将数据分解为包，然后调用一个函数模块，其中包含一个数据包，以供进一步处理。
这是我的伪代码：
Select KEYFIELD from MYSAP_TABLE into table KEY_TABLE package size 500.
append KEY_TABLE to ALL_KEYS_TABLE.
Endselect.
Loop at ALL_KEYS_TABLE assigning <fs_table> .
浏览 1提问于2017-09-26得票数 3
回答已采纳
到目前为止，我已经使用RapidMiner完成了一些数据/文本挖掘任务，但随着数据量的增加，存在着巨大的性能问题。AFAIK RapidMiner并行处理扩展只适用于企业版--不幸的是，我仅限于社区版。
现在我想使用MATLAB (学术许可证)将任务转移到一个高性能集群上。我没有找到并行计算工具箱支持的任何信息，例如SVM或KNN。
MATLAB或其他库是否支持数据挖掘算法的并行化？
浏览 0提问于2015-06-12得票数 0
我正在尝试使用 (基本上是编辑一个2D数组)并行化OpenMP算法，但是我怀疑我是否正在以最好的方式来处理它，下面是我到目前为止得到的结果：
#pragma omp parallel for private(i, j, k) shared(g)
for ( i = 0; i < n; i++ ) {
for ( j = 0; j < n; j++ ) {
for ( k = 0; k < n; k++ ) {
g->A[j][k] = imin( g->A[j][k], g-&
浏览 3提问于2011-07-22得票数 1
回答已采纳
我们正在调优一台服务器，客户端可以在该服务器上创建查询并将其发送到Oracle。此服务器可以创建池并使连接处于备用状态。备用连接的数量是我们可以控制的，也是我们试图调整的。因此，当我们调优这个最小数量的待机连接时，我们检查了V$SESSION表，以查看待机连接以及它们何时处于活动状态。当查询执行时，当我们开始看到这个“连接”数量增长到70或80的时候，就是处于活动状态的时刻。我的猜测是，这些本身并不是连接。看起来像是它正在读取数据的位置？？我不确定，这就是为什么我想知道。那些是什么?它们仅在查询执行时显示。下面是我用来在oracle中检查我的连接在做什么的查询： select TO_CHAR
浏览 20提问于2020-07-10得票数 0
回答已采纳
我所处的情况是，SFTP传输中的加密过程使一个CPU核最大。然而，我的IO带宽(磁盘、总线和网络)远远没有被耗尽。
尽管如此，所讨论的系统有多个核心:我想在加密/解密过程中利用它们。
这有可能吗？如果是这样的话，是怎么做的？
注:如果有可能的话，我想避免补丁集的修改，认为不够好，包括在上游OpenSSH。
浏览 0提问于2016-10-01得票数 3
回答已采纳
2回答
我目前正在上几门涉及这些概念的课程，在某些情况下，“并发”和“并行”这两个术语似乎可以互换使用，在某些情况下似乎是有区别的。这些术语是同义词吗？如果不是，并发性和并行性的定义是什么，概念有何相似/不同？
浏览 0提问于2013-04-12得票数 1
回答已采纳
2回答
单片机真的能做并行处理吗？
让我们简单地说，我的倒计时，发送数据通过另一个接口，并做了更多的工作，如照明LED在同一时间。
这可能吗？
浏览 2提问于2014-02-23得票数 0
回答已采纳
我需要写一些关于PL/SQL并行执行的东西作为家庭作业，但我找不到一个好的教程来谈论这一点(我只需要关于PL/SQL的parallel执行的材料)。如果你知道一些资料，请分享它们。提前感谢！
浏览 0提问于2011-01-09得票数 1
潮流库PyPSA使用Pyomo。我试图降低每一个线性最优潮流模拟的成本。
我读过Pyomo 。还没有什么能突出我的地方。也许，在解决线性优化问题时，不可能分割处理。
Ubuntu19.04，i5-4210U 1.70 GHz，8GB内存
浏览 1提问于2019-06-26得票数 0
我有一个用例，我调用了四个独立的下游端点，它们都可以并行调用。每次调用完成后，我从lambda函数返回一个容器对象，其唯一目的是包含来自下游调用的原始响应。从那里，容器对象将被转换为消费者所需的模型。 粗略地说，下面是代码的结构： Observable.zip(o1, o2, o3, o4,
(resp1, resp2, resp3, resp4)
-> new RawResponseContainer(resp1, resp2, resp3, resp4)
).toBlocking().first(); 有没有更好的方法来做这件事？我100%需要每个可观察对象完成；否则，消费者模
浏览 26提问于2021-01-30得票数 0
是否有可能在单个多核机器上并行迭代单个文本文件？对于上下文，文本文件的JSON输出在250-400MB之间。
编辑：
以下是我一直在使用的一些代码示例。令我惊讶的是，并行处理并没有获胜--只是基本的lapply --但这可能是由于我的用户错误。此外，当尝试读取大量大文件时，我的机器卡住了。
## test on first 100 rows of 1 twitter file
library(rjson)
library(parallel)
library(foreach)
library(plyr)
N = 100
library(rbenchmark)
mc.cores <- det
浏览 0提问于2012-11-27得票数 6
回答已采纳
5回答
PLINQ到底是什么？
、、、
.NET 4.0框架中添加了PLINQ作为对LINQ的扩展。
那是什么？
它解决了哪些问题？
什么时候合适，什么时候不合适？
浏览 8提问于2009-11-02得票数 41
回答已采纳
1回答
我正在尝试读取具有并行流的文件的内容，我需要知道每行的编号，可以吗？我见过其他与计算索引相关的帖子在流上迭代，但它们不使用并行流。 try (Stream<String> stream = Files.lines(myFile, myCharset).parallel()) {
stream.forEach(line -> {
// calculate index
});
} catch (IOException e) {
// handle exception
} 谢谢。
浏览 20提问于2020-12-02得票数 1
我正在尝试将doMC与foreach和%dopar%一起使用。下面是函数：
doTheMath_MC <- function(st, end, nd) {
print(getDoParWorkers())
if (st > end) stop("end must be larger than st")
# Helper function from stackoverflow.com/a/23158178/633251
tr <- function(x, prec = 0) trunc(x * 10^prec) / 1
浏览 3提问于2015-03-18得票数 3
1回答
我希望运行一个R脚本来使用计算机集群上插入符号包中的。理想情况下，我希望在多个核心上并行运行它。在一个同事的脚本中，我发现了doMC包的用法。我读到这个包和foreach包一起使用。但是在我得到的脚本中，只是导入了库，在rfe命令前面的行中有一个registerDoMC(5)。在整个脚本中，没有一次使用foreach。
doMC是在这里做任何事情还是只与foreach一起工作？
是否有一种方法在多核上分发资源消耗的rfe过程？
浏览 2提问于2014-03-21得票数 0
回答已采纳
1回答
在我的项目中，我定义了称为单元的Actor组。这些单元对message进行处理，并进行一些不同类型的基本计算，其中一种是小Actor类型。
这样做的好处是，在完成工作后，先生长这些小Actor，然后再将它们杀死，而不是在我的单元初始化时创建它们，漫游到system关闭为止。
浏览 1提问于2015-06-16得票数 1
回答已采纳
我曾经在客户端应用程序中使用过.NET4的Parallel命名空间。似乎做了一个相当不错的工作，真的很容易加速循环，而不用担心线程。但是，在ASP.NET支持的网站上，在服务器环境中的建议是什么？如果我想象一个有四个CPU核心的服务器，并且我使用一些基于并行命名空间方法的代码，我可以非常快地循环我拥有的任何列表。同时，我可能会阻塞所有四个CPU核心。如果我只使用一个线程来做循环，其他用户可能会访问我网站的同一页面并获得响应-只是速度更慢。那么并行命名空间、ASP.NET和IIS是如何协同工作的呢？它是以某种方式管理的吗？
浏览 0提问于2011-04-18得票数 2
回答已采纳
1回答
我想在CRM工作流中派生多线程。我最初使用IOrganizationService来检索实体的集合。基于集合，我希望对其他实体执行多个操作。
问题是，我无法得到任何相同的例子。我得到的例子，但不是任何CRM自定义工作流。我尝试使用单一的Parallel.ForEach，创建多个IOrganizationServices，但在所有情况下，我的工作流都会立即进入等待状态，并引发错误。
是否可以在工作流中拆分多个线程。如果是的话，我可以得到一些关于这方面的建议。
吉里亚
浏览 3提问于2016-11-05得票数 1
回答已采纳
我有3个文件夹，包含三个不同模式的csv文件，在HDFS.All中，3个文件是巨大的(几个GBs)。我希望并行读取文件，并并行处理其中的行。我如何实现这是在一个纱线集群使用星火？
浏览 2提问于2017-10-03得票数 1
回答已采纳
1回答
C#多线程并发算法
、、、
我有一个列在列表中的对象列表。这个列表可能只有一个或多达500个条目。我还有一个线程，它以顺序的方式处理这些对象。
为了加快速度，我需要将这个列表分成多个线程进行并发处理，同时控制同时运行多少个线程。
拆分这个列表并将较小的列表传递给线程以进行并发处理和控制活动线程总数的最佳方法是什么？
浏览 5提问于2016-03-05得票数 2
回答已采纳
1回答
我有一个corei7处理器，有8个逻辑处理器。
我试图使用parallel.For在DotNetCore2.2中运行一个并行任务。当我测量开始时间时，有9个任务是并行开始的。不是应该只有8岁吗？
在下面你可以看到：
I => ThreadId，ProcessorNumber ==开始-结束时间
并行任务结果
浏览 0提问于2018-12-28得票数 7
回答已采纳
1回答
我们知道，在多核系统上运行的程序的并行效率可以计算为加速比/N，其中N是核数。因此，为了首先使用这个公式，我们需要在多核系统上执行代码，并且需要知道加速比。
我想知道如果我没有多核系统，那么是否有可能仅仅通过在单核处理器上执行就可以估计给定代码在多核系统上的加速比？
我可以访问性能计数器(每个周期的指令、缓存错误数、指令数等)，而且我只有代码的二进制文件。
注意:我估计了parallel_running_time (T_P) =串行_ but _time/N，但是这个估计有不可接受的错误
谢谢
浏览 2提问于2014-02-17得票数 0
回答已采纳
有没有一种方法可以创建一个SOLR sql查询，其中cursorMark字段可以是where子句的一部分，nextCursorMark可以作为结果集的一部分？
我想是这样的：
SELECT nextCursorMark, field1, ... fieldn limit 100 FROM collectionName WHERE cursorMark='something'
浏览 0提问于2017-11-11得票数 0
2回答
什么时候并行执行任务是过度的呢？
、、、、
我有一段java代码，它从xml构造一个对象，并根据对象的大小从纳秒到毫秒不等。有时我不得不调用这个方法1-2次，有时在循环中调用70-80次来构造一个对象列表。
我试着并行地构造对象，但有时它比顺序的时间要长一倍，而其他的时间则要花一半。现在，我的问题是，是否有任何指南或性能比较指标来指导何时应该使用多任务处理，以及何时使用多任务处理只是一种过度呢？
我使用的示例代码是：
List<Callable<Integer>> tasks = new ArrayList<Callable<Integer>>();
for (final
浏览 14提问于2015-04-14得票数 1
回答已采纳
有人问我这个问题，我的人也有点困惑。
问:你将如何处理比我的处理速度快一倍的数据？
我想到以下几点：
使用队列来处理这个问题。但是，如果我使用简单的队列，那么所需队列的大小就会不确定地大，而且我仍然会落后。随着时间的推移，我将有一半以上的数据，我可以处理。我会继续成倍增长。
我使用一个线程来读取数据，另外两个线程用于处理。但是，假设我的数据必须按顺序处理，那么会发生什么。
我仍然感到困惑，对类似问题的任何帮助都将受到欢迎。我知道可能有一个标准的解决方案，但我不知道同样的。
我想在c/c++中实现。
浏览 3提问于2015-02-26得票数 0
Wilkinson和Allen的并行编程中的简单问题:使用网络工作站和并行计算机的技术和应用。在第一章的最后完成练习，并确保我在正确的轨道上。问题是：
1-11多处理器由10个处理器组成，每个处理器的峰值执行率为200 (每秒数百万浮点运算)。如果10%的代码是连续的，90%是可并行的，那么在MFLOPs中，系统的性能如何？
我假设问题是要我找到串行处理器每秒的操作数，这将花费与多处理器相同的时间来运行程序。
我认为我认为10%的程序在200 MFLOPs下运行，90%在2000 MFLOPs上运行的想法是正确的，我可以平均这些速度来找到MFLOPs中多处理器的性能：
1/10 * 200 +
浏览 1提问于2015-01-01得票数 1
回答已采纳
1回答
Gustafson定律与Amdahl定律背道而驰，后者声称，大多数并行处理应用程序在增加对并行处理的访问权限时实际上会增加工作量。因此，Amdahl定律假定恒定的工作量来测量加速比是确定并行处理效益的一种很差的方法。
然而，我对古斯塔夫森到底想要争论什么感到困惑。
例如，假设我采用Gustafson定律并将其应用于顺序处理器和两个并行处理器：
我生成一个在并行处理器#1上运行的工作负载，在并行处理器上执行需要1秒，在顺序处理器上执行需要10秒。
我生成一个更大的工作负载，并在并行处理器#2上运行它。在并行处理器上执行它需要1秒，在顺序处理器上执行需要50秒。
对于每个工作负载，都有一个相对于顺
浏览 8提问于2021-10-13得票数 0
回答已采纳
3回答
我的任务是编写一个高性能、高可用性的服务，该服务将在多核盒上运行。
我需要使用任务并行库()来真正利用多核服务器吗?或者，如果我将更多的硬件(核心)抛到其中，服务会自动运行得更快吗？.NET框架在幕后为我提供了魔力吗？
作为推论，对于不使用TPL的.NET应用程序，通过使用更多内核(保持每个单独核心的规范相同)来升级服务器，会提高性能吗？
根据我的理解(仔细阅读乔·达菲的书和他的博客)，你确实需要为多核进行编程。我的结论准确吗？
浏览 13提问于2009-07-02得票数 5
回答已采纳
1回答
我有一个用例，在这个用例中，我需要读取文件的内容，并通过合并从数据库中提取数据。
示例
文件内容：
"This is an example text from a file"
表内容：
LOADDATE|20221001
EXTRACTDATE|20221001
COUNT|10
我的输出应该像
This is an example text from a file
LOADDATE|20221001
EXTRACTDATE|20221001
COUNT|10
我已经采取了2 PCollection和使用扁平组合他们。
问题是，我没有得到正确的序列总是。有时，我会在文本文件内容
浏览 3提问于2022-10-21得票数 0
2回答
我有两种配置，我的webpack和我希望一个只能运行后，另一个，这可能吗？
我找到了，但想知道是否有一种比特定用例解决方案更常见的方法？
module.exports = [
{
...webpackConfig,
...{
entry: customEntry,
output: customOutput
},
externals
},
{
...webpackConfig,
...{
entry: entry,
plugins: enhancedPlugin,
module
浏览 0提问于2019-09-20得票数 0
回答已采纳
问题
Tensorflow/Keras顺序神经网络(NN)中的每一层都能一直工作吗？在CPU中，有多个流水线阶段，每个阶段都保持工作，而不是等待前一阶段。
假设有一个网络：
[matmul(0) -> batch-norm(1) -> activation(2) -> matmul(3) -> loss(4)].
在批处理规范(1)层中处理批处理i时，可以在matmul(0)中处理下一个批处理i+1，就像CPU中的阶段一样。我想知道这样的并发执行是否正在发生，或者所有的GPU/CPU在同一时间专用于一个层。
我看到Tensorflow使用来执行，假设并行/并发执
浏览 6提问于2021-04-10得票数 2
我有一个表格Model表，其中包含由year管理的多个分区。所有分区都是通过执行相同的存储过程并向存储过程提供年份参数来加载的。存储过程在开始返回数据之前有一些数据处理步骤。开始返回数据大约需要10分钟。
如果我们尝试并行处理5个分区(年份)，我们会看到SSAS在移动到下一个分区之前等待存储过程开始返回一个分区的数据。它不是并行运行的。
我正在尝试确定这是否是SSAS表格的正常行为。我知道它支持分区的并行处理，只要配置查询立即开始返回数据，这似乎就可以工作。但是，如果分区是使用存储过程提供的，并且该过程有工作要做，则SSAS不会尝试并行执行。
我已经在SSMS中确认我的表格数据库数据源连接启用
浏览 2提问于2020-02-25得票数 0
1回答
基于变换的解码
、、、、
transformer模型中的解码器可以像编码器一样并行化吗？据我所知，编码器有序列中的所有令牌来计算自我注意分数。但对于解码器来说，这是不可能的(在训练和测试中)，因为自我注意力是基于先前的时间步输出计算的。即使我们考虑一些技术，比如教师强迫，我们将预期输出与获得的输出连接在一起，这仍然是前一个时间步的顺序输入。在这种情况下，除了在捕获长期依赖项方面的改进之外，当纯粹基于并行化进行比较时，使用转换器-解码器是否比使用lstm更好？
浏览 35提问于2019-05-23得票数 1
我有一个ASP MVC控制器联系了一堆http-站点在一个for-循环.比如：
foreach(string provider in providers){
// get data from asomehttp URL
}
这需要大约4秒的时间.
我试过：
Parallel.ForEach(providers, (provider) => {
// get data from some http URL
});
而且我没有看到任何表现上的提高！
为什么会这样呢？
浏览 1提问于2016-12-22得票数 0
2回答
我希望使用shell脚本(和tshark)将pcap转换为json文件。一旦一个或多个新的pcap被复制到一个文件夹中，就应该执行命令t鲨，并将得到的json数据存储在另一个文件中(以不同的顺序)。一旦转换完成，就应该删除pacap文件。
这个想法看起来是这样的：
while(true){
wait_for_IN_folder_changed
tshark -T ek -x -r \in\in.pcap > \out\out.json
rm \in\in.pcap
}
最好是启动多线程的tshark进程，以增加并行性，从而提高吞吐量。但是不同的线程可能会在这里互相阻碍吗
浏览 0提问于2019-05-15得票数 1
2回答
我们能否以并行方式调用存储过程以提高执行速度。对于示例:我有三个存储过程从三个主表中提取数据，并将其加载/插入到单个源table.Currently中，我有三个过程：
CALL sp_1();
CALL sp_2();
CALL sp_3();
并按顺序运行以插入记录，这需要更多的时间。有没有任何方法可以并行地运行所有这些过程，以提高执行时间和加快process..Kindly，帮助我解决这个问题。
浏览 3提问于2016-01-07得票数 2
回答已采纳
我读到了关于的文章，因为它们一般都是
对于异步成功/失败来说，非常有用，因为您对某件事情出现的确切时间不太感兴趣，更感兴趣的是对结果的反应。
为了获得一定程度的并行性，我不记得处理器是如何“流水线”它们的指令执行的。总之
处理器芯片可以并行执行指令。但是，如何将打算串行执行的机器指令流划分为有意义的并行流？处理器这样做是非常聪明和相当复杂的，但从本质上讲，它们通常会到达这样的点，即它们能够有效地“猜测”单独执行管道中的操作的结果，并根据该猜测的假设开始执行。如果后来发现猜测是错误的，那么基于它的流的结果就会被简单地转储。没有收获，但也没有损失。然而，如果猜测是正确的话，那么处理器在执
浏览 3提问于2014-10-13得票数 0
回答已采纳
2回答
“平行粉丝”是什么意思？
上下文：
并行约简以并行方式执行此操作，通常是通过执行并行扇入，假设条目可以按任何顺序生成和缩减。
领域:并行计算
谢谢
浏览 1提问于2011-05-05得票数 0
回答已采纳
1回答
我们目前正在使用Server 2012标准版。SSAS不支持并发处理多个分区。确实支持这一点。
我有两个问题: 1. SSAS一次处理多个分区的能力的术语是什么? 2. Server是否支持此功能？
提前谢谢。
浏览 3提问于2015-10-30得票数 0
回答已采纳
我已经实现了一个长时间运行的进程，它是一个由队列消息触发的WebJob。我的理解是，只有在当前作业完成并返回之后，JobHost.RunAndBlock()才会开始执行。但是，如果当另一个队列消息到达时，我的第一个进程仍在运行，则第二个进程将开始执行并破坏第一个进程(该进程具有一些静态数据结构)。
浏览 3提问于2014-11-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
