腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
为什么没有人谈论.Net的
并行
编译?
、
、
我们可以让MSBuild对它们进行
并行
化,但只能在一台机器上,而不是在
集群
上。为什么没有人在.Net空间中提出
集群
构建解决方案?有人知道这其中是否有什么无法解决的技术
难题
吗? 只是好奇而已。
浏览 0
提问于2011-04-22
得票数 8
回答已采纳
1
回答
VPN处于打开状态的本地服务交换矩阵不工作
、
、
我有一个包含1个节点的本地Service Fabric
集群
,当VPN打开时,该
集群
不能正常工作。我遇到了一个
难题
,在调试模式
下
运行
集群
时,我需要VPN连接到外部服务。如果我在没有VPN的情况
下
启动
集群
,然后在
集群
启动后打开VPN,那么它就可以工作了。这会工作一段时间,但一旦我停止运行
集群
(即当我需要重新编译/调试时),它就不会重新启动。有没有办法打开VPN,这样我就可以像在任何其他普通应用程序开发中那样启动/停止<
浏览 17
提问于2021-10-08
得票数 1
1
回答
请求
集群
计算框架以获得高性能
、
、
我想构建一个
集群
来获得高性能,并在志愿者计算的情况
下
使用。我正在寻找一些志愿者计算平台,比如BOINC L,Beowulf
集群
。我对Apache Hadoop和Spark
集群
比较熟悉。其中一些
集群
平台将不得不使用MPI和其他
并行
处理库。然而,我没有任何
并行
编程的经验。此外,我不能为
集群
编写
并行
程序,因为我想在我的
集群
上进行网络模拟、图像处理、编程测试等。因此,我正在寻找一个
集群
框架,它可以运行分布在
浏览 2
提问于2019-05-17
得票数 0
1
回答
ADF映射数据流-重用单个正在运行的spark
集群
并行
执行映射数据流
、
、
作为运行具有相互依赖关系的多个管道的结果,几个数据流被作为一些顺序运行和一些
并行
运行的混合来执行。看起来每个
并行
运行的数据流都会产生一个新的spark
集群
,这导致我们每天的ETL运行成本飙升!理想情况
下
,如果可能的话,我们希望spark
集群
能够重用于所有
并行
数据流的执行。有没有办法指定应该为
并行
数据流执行创建的spark
集群
的数量上限? 我们已经启用了10分钟的TTL。
浏览 11
提问于2020-08-28
得票数 0
回答已采纳
2
回答
在构建Beowulf
集群
时遇到的问题
我在非常有限的预算上创建了一个贝奥武夫
集群
,它将用于模拟流体流动问题。我以前从未创建过beowulf
集群
,我正在寻找我将要遇到的建议和
难题
。
浏览 0
提问于2009-04-30
得票数 3
1
回答
指定要在doSNOW
集群
中加载哪些对象
、
、
我有一个关于R中doSNOW
集群
的基本问题,当我们在R中注册
并行
集群
时,它会将全局环境中分配的所有变量(数据)加载到
并行
集群
中。有没有办法,我们可以指定在
并行
集群
中加载哪些对象? foreach(x=x, .combine=c) %do
浏览 0
提问于2015-12-18
得票数 3
回答已采纳
1
回答
Flink: Jobmanager中的
并行
设置与任务槽有什么关系?
、
、
、
如果我使用Jobmanager提交一个作业,并将
并行
性设置为8,我是否只使用8个任务插槽? 如果我有8个任务管理器,有8个槽,并且提交相同的任务,
并行
性为8,该怎么办?是完全一样的事吗?
浏览 0
提问于2018-11-26
得票数 3
回答已采纳
1
回答
以独立模式提交多个spark应用程序
、
、
、
、
如何
并行
运行不同的火花应用程序?如何将每个火花应用程序分配给单个核心?
浏览 0
提问于2017-06-15
得票数 0
1
回答
量子与分子动力学包与排队系统
、
从量子和分子动力学软件包的扩展列表中,哪些软件包可以轻松地“互连”到与排队系统PBS和Sun Grid Engine一起工作的
集群
?
浏览 0
提问于2009-12-21
得票数 0
回答已采纳
1
回答
星火是否在内部节点间分发数据?
、
、
我正在尝试使用Spark处理
集群
上的csv文件。我想了解是否需要显式读取每个工作节点上的文件来
并行
处理,还是驱动节点读取文件并在
集群
中分发数据以便内部处理?(我正在使用Spark2.3.2和Python) df=df.filter("date>'2010-12-01' AND date<='20
浏览 0
提问于2019-04-03
得票数 5
1
回答
AWS ECS Fargate上的Jenkins工作人员:
并行
运行几个作业
、
、
我在Fargate模式
下
的AWS ECS
集群
仅供Jenkins工人(从属)使用。群集由一个名为jenkins的服务组成,该服务的Desired tasks值设置为5如何设置
并行
执行?
浏览 3
提问于2018-08-12
得票数 1
回答已采纳
1
回答
ContainerRequestState [信息]队列中不再有挂起的请求
、
、
、
、
我使用的是一个有3个节点的MapR (YARN)
集群
。我正在尝试在
集群
上部署6个Samza作业,以便对数据流进行一些处理。所有作业都是正确的。我尝试
并行
部署2-3,它们都有效。但是,当我
并行
部署所有6个Samza作业时,我看到以下日志。任务将继续运行,并且不会产生预期的输出数据流。 我认为可能应用程序没有足够的资源来
并行
运行所有这些应用程序。我可以试一
下
什么变化?
浏览 2
提问于2016-06-10
得票数 1
1
回答
将运行多少个映射器?
、
、
、
假设我有3个
集群
(datanode+nodemanager)。我们的复制因子为3。在第一个
集群
中,我们有4个数据块,因此默认情况
下
,4个映射器将在第一个
集群
上
并行
运行。
浏览 0
提问于2016-07-24
得票数 0
回答已采纳
1
回答
在
集群
环境中使用Spring的Quartz + Workmanager
、
、
、
我们希望在
集群
WebLogic环境中执行作业。Quartz (在
集群
模式
下
运行)用于持久化作业,WorkManager用于创建运行作业的线程。但是,第一个Quartz实例会立即锁定所有作业,这会阻止另一个节点/服务器执行
并行
执行。return 1;除了提供这个类的另一个实现之外,有没有更好的方法来使用Weblogic WorkManager在
集群
环境中
并行
执行作业?
浏览 4
提问于2011-11-21
得票数 0
1
回答
如何获得大型矩阵的特征值(大小: 2x10^5)
、
、
我有一个大小为200000 x 200000的矩阵,.I需要找出这个矩阵的特征值,到目前为止,.I一直使用matlab,但由于矩阵的大小无法用matlab处理,我已经转到perl了,现在甚至perl也无法处理这个巨大的矩阵,这说明内存不足。我想知道是否可以使用其他编程语言来找到这个矩阵的特征值,这些语言可以处理如此庞大的数据。这些元素大多不是零,所以没有选择稀疏矩阵。请帮我解决这个问题。
浏览 0
提问于2011-04-17
得票数 5
1
回答
Java中的高性能
集群
计算(及MPI)
、
、
、
、
我正在尝试使用Java和Windows操作系统来实现
集群
计算系统。我在找一个解决办法 然后,我了解到一个名为( )的项目,它可以与Microsoft一起使用。我通过亚马逊EC2联
浏览 2
提问于2014-06-12
得票数 0
1
回答
在EMR中运行
并行
作业时触发提交配置
、
、
、
我们目前正在使用Datapipeline中的HadoopActivity任务在EMR
集群
上运行
并行
Spark作业。默认情况
下
,较新版本的EMR
集群
将spark dynamic allocation设置为true,这将根据负载增加/减少所需的执行器数量。那么,我们是否需要在spark-submit中设置任何其他属性,例如内核数量、执行器内存等,或者最好是让EMR
集群
动态处理它?
浏览 2
提问于2017-11-27
得票数 1
2
回答
在星火上使用
集群
与在本地进行
并行
操作有什么区别?
、
、
、
例如,据我所知,星火取决于它的RDD选项,自动进行
并行
化。那么,除了使用本地
并行
化之外,我们为什么还要使用
集群
呢?还是对大数据使用
集群
模式(我不是说部署模式,我只说2或3或4个奴隶)?实际上,我想象这样的
并行
化,例如,我的计算机有12个核,所以我认为这12个核是单个的计算机,所以我有12个计算机。因此,由于这种想法,我似乎没有必要使用
集群
,例如,在emr中,一个主节点和两个从节点。当我有两个奴隶的时候,
并行
化也会持续下去。例如,我有两个奴隶,每个都有12个核心,就像我的
浏览 1
提问于2021-12-03
得票数 1
回答已采纳
1
回答
如何对星火数据进行逐行
并行
计算?
、
、
、
、
我想知道是否在多个执行程序上执行withColumn操作以实现
并行
性?谢谢你的洞察力。
浏览 2
提问于2021-02-04
得票数 2
回答已采纳
2
回答
数据流是否可以为GPU编译代码
由于dataflow已经创建了一个高度
并行
的框架,我想知道是否有办法让我们的数据流作业只在google GPU(理想情况
下
是不同节点上的GPU
集群
)上“运行”,而不是在CPU
集群
上运行?
浏览 0
提问于2017-03-20
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
OpenCL环境下的并行化编程
Centos下搭建MariaDB集群
并行计算、分布式计算、集群计算和云计算,大科谱!
组队训练 AI,MLX 项目亮相:苹果 Mac 集群化驾驭并行计算任务
解读一下“产业集群”与“产业链集群”的概念
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券