腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
跨
集群
同步文件处理
、
、
、
我运行一个
集群
,其中包含同一个微服务的两个或多个实例。它们每个都访问
共享
数据
共享
上的文件,
共享
数据
共享
在两个运行微服务的服务器上作为本地
文件夹
挂载。每个文件只能处理一次(在整个
集群
中)。我希望通过节点以
并行
方式处理这些文件,因此在整个
集群
中不会有超过一次的文件。我已经考虑过一个节点读取文件并将它们的文件名放入队列中,这样节点就可以从队列中读取它。
浏览 1
提问于2019-04-17
得票数 0
回答已采纳
5
回答
Python中的
并行
性
、
、
、
在Python中实现
并行
性的选择是什么?我想在一些非常大的栅格上执行一些CPU绑定计算,并希望
并行
化它们。来自C背景,我熟悉三种
并行
处理方法: 在Python中,有哪些方法可用,它们的特点是什么?有一个可
集群
的MPI克隆吗?实现
共享<
浏览 11
提问于2010-06-07
得票数 26
回答已采纳
1
回答
在群集上运行多个
共享
作业
、
、
、
我试图在
集群
上运行一些MATLAB作业。由于MATLAB在~/.MATLAB /.中保存了每个
共享
池作业的状态和日记,所以当我在
集群
上运行多个作业时(每个作业都使用自己的parpool),那么MATLAB尽管每次使用一个都关闭每个打开的parpool,它还是给出了与“找到5个预先存在的
并行
作业”相关的错误.是否有一种方法可以更改MATLAB的每个实例的首选项
文件夹
,这样就不会产生冲突?
浏览 2
提问于2016-04-23
得票数 1
回答已采纳
2
回答
使用one命令或shell程序将NFS
文件夹
装载到节点上
、
、
我正在开发一个有10个节点的
并行
系统(Bewoulf
集群
)。启动NFS服务器后,我对每个节点执行ssh操作,然后使用以下命令在每个节点上分别挂载NFS
文件夹
通过ssh连接到每个节点并运行该命令,这会有点耗时 有没有其他方法可以运行一个命令或shell脚本,以便在每个节点上自动执行"mount command“并挂载
共享
文件夹
?
浏览 0
提问于2015-05-06
得票数 3
2
回答
用于databricks可伸缩
集群
的星火再分区逻辑
、
、
、
数据库火花
集群
可以按负载进行。那么,自动可伸缩星型
集群
的分区逻辑应该是什么呢?编辑1:
文件夹
不断增长,gzip文件不断地出现在其中,gzip文件的大小为10 it,未压缩大小为150 it。我知道可以
并
浏览 1
提问于2019-12-24
得票数 0
回答已采纳
1
回答
MIMD/MPMD
并行
、
、
假设
集群
中的一组机器正在使用一个全局
共享
数据块。
集群
中的每个节点
并行
地对
共享
数据块的各个部分执行不同的操作。我的问题是:由于整个数据块由
集群
中的每个节点
共享
/传输到
集群
中的每个节点,它是否可以被识别为多指令、多数据(MIMD)模型?
浏览 2
提问于2013-12-22
得票数 0
回答已采纳
2
回答
在什么工作负载下需要
并行
(网络)文件系统?
、
、
、
、
对于计算机
集群
上运行平均HPC中心作业的工作负载(例如同时运行HPC中心作业的活动用户),任何硬数字或规则都会使
并行
网络
共享
文件系统(如Lustre、GPFS、Ibrix或Panasas )成为需求?...that是,什么时候NFS
共享
SAN存储还不够,您需要某种
并行
NAS吗? 编辑:在"SAN“之前添加"NFS
共享
”。
浏览 0
提问于2011-09-13
得票数 1
1
回答
如何在DASK中批量调度dask_jobqueue作业而不是并发?
假设您有999个作业要运行,一个
集群
有100个节点或插槽;更糟糕的是,假设其他人
共享
该
集群
,其中一些人可能有长期运行的作业。管理员有时需要对一些节点进行维护,因此他们会添加和删除节点。你永远不知道你能得到多大的
并行
性。您希望
集群
调度程序只接收999个作业(在slurm中,这些作业将通过sbatch提交),在任何可用节点上以任何顺序运行它们,将结果存储在
共享
目录中,并在所有999个作业完成后让一个依赖作业(在slurm中为sbatch --dependency=)处理
共享
浏览 30
提问于2019-05-15
得票数 0
1
回答
如何在
集群
中高效地将大量小数据写入单个文件?
、
、
假设1000个CPU中的每一个都向
集群
中的
共享
文件写入一个整数。这1000个CPU位于群集中的不同节点上。快速完成这些写入的有效方法是什么?
集群
中有GPFS
并行
文件系统。
浏览 0
提问于2015-01-21
得票数 0
1
回答
如何静态编译X11?
、
、
、
我正在
集群
()上编译
并行
C代码。你能建议我是否可以做些什么来静态编译X11吗?罗斯
浏览 1
提问于2010-07-02
得票数 1
回答已采纳
1
回答
如何使用新的.net 4
并行
编程API将通过以太网电缆连接的多台机器(在一个NAT中)连接到一个计数资源中?
、
、
、
如何使用新的.net 4
并行
编程API将通过以太网电缆连接的多台机器(在一个NAT中)连接到一个计数资源中?有可能吗?
浏览 0
提问于2010-08-20
得票数 0
2
回答
并行
与分布式计算-分界线
、
、
我正在研究b/w
并行
和分布式系统的区别。有人告诉我,这一界限正在变得模糊。此外,
集群
既可以看作是
并行
系统,也可以是分布式系统(取决于上下文--无论这意味着什么)。 这怎麽可能?
集群
不应该只是分布式系统吗?
浏览 1
提问于2014-03-01
得票数 1
2
回答
共享
内存中用于
并行
计算的data.table
、
、
、
我有一个包含4百万行14条观测的data.table,并且希望在一个公共内存中
共享
它,这样就可以通过使用带有parLapply 的“
并行
”-package来
并行
化对它的操作,而不必为
集群
中的每个节点(目前,移动data.table的成本要大于
并行
计算的好处。1)将data.table放在
共享</
浏览 8
提问于2015-09-22
得票数 8
2
回答
如何在TFS 2015中创建与
共享
查询
文件夹
并行
而不是在该
文件夹
下的自定义
文件夹
、
是否有方法创建类似于TFS 2015更新2中“
共享
查询”
文件夹
的自定义查询
文件夹
?我们能够在“
共享
查询”下创建子
文件夹
,但无法找到与其
并行
创建子
文件夹
的选项。
浏览 2
提问于2016-05-24
得票数 0
回答已采纳
2
回答
使用200+扩展Kafka主题
、
、
我希望我的应用程序
集群
共享
所有200+主题的负载。例如,当新的应用程序节点添加到
集群
中时,它应该“窃取”旧节点的一些主题订阅,这样负载就会再次均匀分布。据我所知,Kafka partinions/consumer group有助于
并行
化一个主题,而不是在多个主题之间
共享
负载。
浏览 2
提问于2017-11-26
得票数 3
4
回答
使用Spark,如何
并行
读取HDFS中不同
文件夹
中的多个文件?
我有3个
文件夹
,包含三个不同模式的csv文件,在HDFS.All中,3个文件是巨大的(几个GBs)。我希望
并行
读取文件,并
并行
处理其中的行。我如何实现这是在一个纱线
集群
使用星火?
浏览 2
提问于2017-10-03
得票数 1
回答已采纳
1
回答
找不到spark独立
集群
jar
我有一个spark独立
集群
,包含一个主节点和两个工作节点。(希望我没有弄错术语)。所有的都是centos,我有一个包含文本文件的
共享
文件夹
和一个用于所有结果文件的
共享
文件夹
。我没有使用hdfs...我在主服务器上还有一个包含wordcount.jar文件的
文件夹
...我想对
共享
文件夹
中的一个文件运行字数统计...当我使用部署模式客户端运行spark-submit时,指向主机上的wordcount.jar,一切正常,但是当我使用部署模式
集群</e
浏览 7
提问于2017-02-09
得票数 2
2
回答
共享
内存设置中的MPI开销
、
、
、
我要
并行
化一个程序。线程在
共享
内存中处理一个大数据结构并不困难。但是我希望能够在
集群
上使用分布式技术,我必须选择一种技术来做到这一点。MPI是一个想法。问题是,如果我跳过
共享
内存专用版本的实现并让MPI处理所有情况,那么MPI (或其他技术)会有什么开销?我想在许多计算机上同时生长一个大的数据结构(游戏树)。它的大部分部分将只位于一个
集群
节点上,但其中一些部分(树的不规则顶部)将不时地被
共享
和同步。 在
共享
内存机器上,我希望通过
共享
内存来实现
浏览 1
提问于2009-10-09
得票数 1
1
回答
使用Elasticluster在Google计算引擎上指定
并行
环境
、
、
、
、
我最近使用Elasticluster ()在计算引擎上创建了一个网格引擎
集群
。我想知道在运行Grid Engine的Compute Engine虚拟机
集群
上运行
共享
内存多线程批处理作业的合适命令是什么。 qsub -cwd -l h_vmem=800G -pe omp 6 run.sh Unable to run job: job rejected:请求的
并行
环境"omp
浏览 5
提问于2016-02-02
得票数 0
2
回答
使用R的doParallel包进行多核计算是否需要更多的内存?
、
、
repeats=5 )我在没有
并行
后端注册的情况下运行它但是第一个占用了3.3GB内存(由Sun
集群
系统报告),第二个占用了22.9GB。我有30 got的内存,任务从这里开始变得更复杂了。 问题: 1)这是
并行
计算的一般性质吗?我以为他们分享记忆..。
浏览 5
提问于2013-10-05
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
共享文件夹怎么避免数据泄露?共享文件夹怎么加密?
局域网共享文件夹加密、企业共享文件夹权限怎么设置
Win11怎么设置共享文件夹?Win11共享文件夹设置方法
局域网共享文件夹怎么加密?局域网共享文件夹加密方法介绍
如何更高效的共享文件夹
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券