我想让Snakemake为单个规则设置绑定内存限制。根据snakemake文档，mem_mb参数似乎可以工作，但作业使用的内存比我分配的要多。 touch a
&quo
浏览 101提问于2020-02-26得票数 4
回答已采纳
1回答
在Snakemake，我有5条规则。对于每个选项，我都设置了resources mem_mb选项的内存限制。pythonscript.py -i {input.file1} -v {input.file2} -q {input.file3} --cores 5 -o {output.foldr} "snakamake --snakefile mysnakefile_snakefile --resources m
浏览 1提问于2018-01-31得票数 5
回答已采纳
所以我在snakemake中使用了一些基本步骤，比如对齐，标记复制，重新对齐，基本重新校准等等。我使用的机器有多达40个虚拟核和70G内存，我这样运行程序。snakemake -s Snakefile -j 40
这很好，但是当它沿着其他程序运行标记复制时，它就停止了，因为我认为它重载了70个可用的giga并崩溃了。对于所有运行的程序，是否有一种方式将内存限制设置为60G？我希望snakemake少跑一些工作，才能保持在60G以下，其中一些步骤需要大量内存</e
浏览 3提问于2021-12-06得票数 1
回答已采纳
2回答
我正在创建一个Snakemake工作流，它将结束一些。由于这些工具在GPU上运行，它们通常一次只能处理一个示例，否则GPU将耗尽内存。然而，Snakemake将所有的样本一次性推到Parabricks --似乎不知道GPU的内存限制。一种解决方案是告诉Snakemake一次处理一个样本，因此问题是：
如何让Snakemake一次处理一个样本？{input.R2} --knownSites dbsnp_138.b37.vcf --out-bam {output.bam}
浏览 0提问于2020-09-04得票数 1
回答已采纳
Snakemake的调度程序忽略我的mem_mb声明，并在并行作业中执行，其加起来的要求超过可用内存(例如，在128 GB系统中有三个带有mem_mb=53000的作业)。此外，即使连续运行，它也会运行声明为需求(当我运行snakemake -T10时超过1TB )的作业。尽管Snakemake分配的内存比它声明的要多，但它似乎也能保持作业的运行。我想的是告诉Snakemake期望分配到一定数量的内存，相应地规划工作流并强制声明的内存
浏览 9提问于2021-08-09得票数 1
回答已采纳
使用特定于SLURM的Snakemake配置文件，我的规则成功地作为SLURM作业提交，因此我继续将Snakemake指令resources添加到每个非本地规则中，以优化队列调度。这些设置都采用了，我的管道也按预期完成了。问题：我的管道有许多小的单CPU作业，我用Snakemake规则指令group绑定了这些作业。以下是错误：Failed to group jobs together.我想，每个组应该只有一个resource设置，但是我找
浏览 5提问于2021-11-12得票数 0
回答已采纳
我们试图在前提基础设施上运行Kubernetes上的Snakemake工作流。我们在OpenShift文件系统上更精确地使用MapR OKD。$PREFIX此外，正式文件指出：
在这种模式下，Snakemake将假设所有输入和输出文件存储在给定的远程位置，方法是将$REMOTE设置为您
浏览 7提问于2019-11-01得票数 2
1回答
--max-status-checks-per-second是对snakemake每秒对每个作业的查询数量的限制，还是对snakemake在每秒钟所有作业中的查询总数的限制？也就是说，如果--max-status-checks-per-second设置为默认值10，并且有500个作业正在运行，那么是否需要至少50秒的时间才能对每个作业进行检查？
浏览 8提问于2022-02-18得票数 1
在snakemake中，是否可以限制特定规则运行的作业数量？--jobs可以全局地控制一次允许运行的作业数量，但我想通过特定的规则来限制。
这是因为，我有一个特殊的规则，最多只能用于两个并行作业。但是，如果我将--jobs设置为20，则会导致该特定规则中工具崩溃。我在LSF集群中使用的是snakemake v5.2.0。
浏览 2提问于2018-08-23得票数 6
回答已采纳
编辑，在尝试任何操作之前，请确保安装Snakemake之前：如广告所示：。/Snakefile.snakefile: source activate /rst1/2017-0205_illuminaseq/scratch/swo-406/snakemake这是我的蛇形：from glob imp
浏览 2提问于2018-11-15得票数 0
回答已采纳
我想在大约300个文件上运行我的snakemake流水线。不幸的是，它需要太多的内存，而不是我的系统实际拥有的。所以我想知道是否有一种设置，或良好的做法，允许我一次(按顺序)在一个文件上自动启动我的snakemake管道，而不是一次在一个文件上手动启动我的snakemake。
提前感谢！
浏览 4提问于2021-09-16得票数 1
这是我对群体限制的理解..。
那么，当您将进程绑定到特定的cpuset、cpu和内存时会发生什么呢？一些例子..。如果NUMA节点绑定到总8GB，但我将内存限制设置
浏览 1提问于2018-03-03得票数 1
rule bar: output: "file.out" "echo blah > {output}"
节点:1作业计数：1个all1 foo输入: foo.tx
浏览 3提问于2020-06-18得票数 1
2回答
CGroups存储子系统
、、、
我想知道是否可以对cgroup中的内存子系统设置动态限制。目前，我禁用了OOM和一个虚拟进程来测试控制组，当达到内存限制时，进程就会冻结(正如预期的那样)，但是当我试图设置更大的限制(比如2倍多的内存)时，echo命令将失败，进程将保持冻结状态。如何在不将进程移动到另一个设置了新限制的cgroup的情况下，在cgroup中设置动态内存</
浏览 0提问于2014-07-07得票数 2
用于云运行的文档()中的内存使用情况
我们打算使用可能已经接近内存限制的图像，因此我们想知道服务本
浏览 1提问于2019-06-12得票数 4
回答已采纳
我正在与SLURM调度程序在共享计算空间上使用snakemake。我的大多数规则只需要很少的资源/CPU，而有几个规则需要很多资源。我想设置snakemake为每个规则使用最少的资源，除了需要大量资源的规则。根据我的测试，在集群模式下提交每个规则作为子作业时，snakemake将始终使用config.yaml中的核心计数和内存请求。当我在每个规则中定义线程和mem_mb时，它在将规则作为作业提交时不会考虑这些值。下面是我的config.yaml (在代码<em
浏览 25提问于2021-09-18得票数 0
当前的工作人员设置是-pool=prefetch和--max-memory-per-child 5120000。最大内存阈值很重要，因为我们的任务正在泄漏内存。现在，我们在最近的一项分析中发现，我们的任务是I/O绑定的，在基于线程的执行池(如gevent )中工作会更好，例如，我们可以获得更高的吞吐量。但是，基于线程的执行池既不支持max-memory-per-child参数，也不支持max-tasks-per-child设置。文档显示()：
浏览 1提问于2020-03-29得票数 2
回答已采纳
3回答
在snakemake规则中有没有完整描述配置数据使用的地方？此表单不起作用：如果我在yaml文件中定义复杂的结构化数据，我正在寻找语法指导-我如何在snake规则中使用它？什么时候使用Python语法，什么时候使用SnakeMake语法？
yaml和JSON配置文件受到严重限制，因为它们不能使用文件中先前定义的值来定义新值，对吧？这是在设置配
浏览 0提问于2017-08-04得票数 1
我在EC2-small上运行web服务，它有2gig内存。我将soft限制设置为1G，当负载较高时，我的服务器一直在崩溃。然后我发现了这样的帖子，说，如果我是内存绑定的，最好使用硬限制。
那么，我应该为我的2gig内存EC2机器设置多高的2gig限制？
浏览 3提问于2021-02-09得票数 1
回答已采纳
我有一个绑定到存储队列Azure函数。我正在处理一条内存超过2 2GB的消息，以结束任务。但是Azure函数只允许每个实例1.5 to来处理任务。
如何在Azure函数中增加允许的内存限制？
浏览 1提问于2017-02-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
