snakemake temp()导致不必要的规则重新运行
snakemake是一个用于构建和管理数据分析工作流的工具，它基于Python语言开发。在snakemake中，temp()函数用于创建临时文件，这些临时文件在工作流执行完毕后会被自动删除。
然而，使用temp()函数可能会导致不必要的规则重新运行的问题。这是因为snakemake会根据规则的输入和输出文件来判断是否需要重新运行规则。当一个规则的输入文件包含了temp()创建的临时文件时，snakemake会认为这个规则的输入发生了变化，从而重新运行该规则。
为了避免这个问题，可以采取以下几种方法：
- 避免在规则的输入中包含temp()创建的临时文件。可以通过在规则中使用其他文件或目录来存储临时数据，而不是使用temp()函数创建临时文件。
- 使用snakemake的checkpoint机制。checkpoint机制可以将一组规则封装成一个checkpoint，该checkpoint的输出文件会被自动删除。这样，即使在规则的输入中包含了temp()创建的临时文件，只要这些文件属于checkpoint的输出，snakemake会正确地判断规则是否需要重新运行。
- 使用snakemake的persistent模式。persistent模式可以将规则的输出文件保留在磁盘上，即使工作流执行完毕。这样，即使在规则的输入中包含了temp()创建的临时文件，snakemake也会正确地判断规则是否需要重新运行。
总结起来，为了避免snakemake中temp()函数导致不必要的规则重新运行的问题，可以采取避免在规则的输入中包含temp()创建的临时文件、使用checkpoint机制或者使用persistent模式等方法。这样可以确保工作流的执行效率和正确性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云函数计算（Tencent Cloud Serverless Cloud Function，SCF）：https://cloud.tencent.com/product/scf
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（Tencent Cloud Artificial Intelligence，AI）：https://cloud.tencent.com/product/ai
相关·内容
我使用的是snakemake v5.4.0，但我在使用temp()时遇到了问题。temp() files used by both pathways 1 (B1 + C1) and 2 (B2 + C2).如果我运行管道，由RuleA生成的temp()文件在两个路径中使用后都会被删除，这是我所期望的。但是，如果我想重新运行Pathway 2，则必须重新创建RuleA的tem
浏览 102提问于2019-02-13得票数 5
我的Snakemake管道断言，每当我运行任何规则时，我的代码都会引发一个非零退出代码，即使如果我手动运行相同的代码，我的代码会返回错误代码0，而且当在snakemake中运行时，它可以正常工作。根据this question的建议，我尝试在snakemake规则中将|| true附加到外壳命令，将我的规则从如下所示改为 rul
浏览 10提问于2019-06-21得票数 2
我遇到了一种情况，即snakemake正在重新运行已经运行的规则，尽管来自这些规则的输出仍然存在。我是在“规则所有”中指定所有想要的输出文件。我运行管道时，我拥有来自“规则B”的所有期望输出，并且希望重新启动管道，只运行规则A，但是snakemake重新运行
浏览 3提问于2021-03-28得票数 0
我已经在snakemake中创建了一个工作流，当我只想运行一个规则时，我遇到了一个问题。实际上，它为我运行规则，其中的输出是我的规则的输入，即使这些规则之前已经创建过。input A input b = output A input c = output b我怎么能只运行规则
浏览 6提问于2019-04-24得票数 6
当之前在流水线中创建的文件被删除时，SnakeMake似乎不认为这是一个问题，只要后面的文件还在： input: "testC1.txt", "testC2.txt"
rm testA*.txt testB*.txt testC*.txtecho "test2" >test2.txt#
浏览 1提问于2017-09-01得票数 9
在snakemake中，是否可以限制特定规则运行的作业数量？--jobs可以全局地控制一次允许运行的作业数量，但我想通过特定的规则来限制。
这是因为，我有一个特殊的规则，最多只能用于两个并行作业。但是，如果我将--jobs设置为20，则会导致该特定规则中工具崩溃。我在LSF集群中使用的是snakemake v5.2.0。
浏览 2提问于2018-08-23得票数 6
回答已采纳
我在Snakemake开了一条元经济学管道。我正在为我的程序集运行MetaSPAdes，但是对于特定的示例，MetaSPAdes经常会失败，这并不少见。如果MetaSPAdes失败，我想只在失败的示例上运行MEGAHIT。有没有办法在Snakemake中创建这种规则依赖关系？例如：
如果规则失败，将生成特定文件(在本例中，使用MetaSPAdes组装)。我认为这意味着MetaSPAdes规则的输出需
浏览 2提问于2021-06-21得票数 2
回答已采纳
抱歉，标题太差了--我不知道怎么用几句话来解释我的问题。当其中一个规则失效时，我很难处理snakemake的下游规则。在下面的示例中，规则黑桃在某些示例中失败。这是预期的，因为我的一些输入文件将有问题，黑桃将返回一个错误，并没有生成目标文件。在我统治eval_ani之前，这很好。在这里，我基本上希望在所有规则的成功输出上运行这个规则。但我不知道如何做到这一点，因为我已经有效地把我<
浏览 0提问于2019-11-25得票数 6
根据官方文档，由于rule1中的输出文件是由awk成功创建的，所以即使我的输出文件不完整，Snakemake也会假设一切正常，因为awk将附加到该文件。Snakemake只是运行了rule2，并从rule1获取了不完整的文件。实际上，rule1中的第二个awk命令尚未执行，导致输出文件不完整。
浏览 30提问于2021-08-08得票数 0
今天，我又向我的样例集中添加了两个样例，我希望能够运行snakemake，它会自动确定在哪些文件上运行哪些规则来处理新的样例文件以及所有依赖于它们的文件，直到最高级别。然而，它什么也做不了。此外，使用-R而不是-F会导致“无事可做”。使用"-R A“仅运行规则A。这与我的项目相关，因为它表明，如果您告诉Snakemake在树的顶部构建一个规则</
浏览 3提问于2017-11-10得票数 0
1回答
我试图在两个配对文件(1.fq.gz和2.fq.gz)上运行fastqc。跑步：...produces看起来像一个明智的DAG：Waiting a
浏览 11提问于2022-05-21得票数 0
一些非常晚的工作流作业由于conda环境不活动而崩溃。现在，当我尝试使用snakemake deploy_all --ignore-incomplete重新运行时，所有作业都从一开始就直接重新运行，原因如下：如何使snakemake不重新运行所有规则，并接受任何已经存在的输入？自7.8.0版本以来，这个
浏览 20提问于2022-06-05得票数 3
回答已采纳
在使用vsearch时，我有一系列规则，基本规则如下： rule vsearch: "{barcode_number}.nanofilt.fastq" "--db {params.reference_file} "
"--samout {output.sam_output_file}" 规则按照预期工作，创建临时文件(barcode##.vsearch
浏览 90提问于2020-07-17得票数 1
回答已采纳
我对snakemake非常陌生，我从github下载了一个利用snakemake的包，我成功地运行了它一次，但是由于我的数据太大，完成整个过程花费了27个小时，但是大约99%的时间花在执行1条规则上，所以我想跳过这个特定的规则，因为这个规则的输出文件已经存在了。如果规则所有部分中列出了该规则的输出文件，snakemake会自动跳
浏览 5提问于2021-07-09得票数 2
回答已采纳
我正在尝试将Snakemake与奇异性结合起来，并且我注意到一个简单的awk命令在使用奇点时不再起作用。最后一行中的$1被bash取代，而不是被awk用作第一个字段。"test.txt" "cat /etc/passwd | awk -F':' '{{print $1}}' > {output}"
当我在没有奇点的情况下运行snakemake时，
浏览 0提问于2018-06-21得票数 5
回答已采纳
我尝试强制Snakemake按顺序运行规则(具有多个作业)，以避免内存冲突。--cores all --resources mem_mb=100000 run_eval_all来运行规则。但是我一直收到类似这样的错误： x86_64-conda-linux-gnu % snakemake --resources mem_mb=100000 run_eval_all
Traceback (snakemake --cores all run_eval_al
浏览 61提问于2021-07-08得票数 1
回答已采纳
Snakemake的调度程序忽略我的mem_mb声明，并在并行作业中执行，其加起来的要求超过可用内存(例如，在128 GB系统中有三个带有mem_mb=53000的作业)。此外，即使连续运行，它也会运行声明为需求(当我运行snakemake -T10时超过1TB )的作业。尽管Snakemake分配的内存比它声明的要多，但它似乎也能保持作业的<e
浏览 9提问于2021-08-09得票数 1
回答已采纳
2回答
我在Snakemake中为那些没有多少编程知识的人编写了一个管道，所以我希望他们能够通过在命令行中请求snakemake all -c来运行整个管道。我在Snakemake规则中使用Python来生成config_samples.yaml的内容(使用snakemake指令)。这个很好用。但是，当我在all规则中列出所有想要的输出时，如下所示：
"config_samples.done", # flag file f
浏览 7提问于2021-10-25得票数 1
回答已采纳
我注意到我的备份rsync脚本花费了相当长的时间从.snakemake/metadata文件夹中复制带有随机名称的内容。
这些文件是用来做什么的？在snakemake运行完成后，我能安全地擦除它们吗?或者，对于snakemake，是否需要它们才能正确地执行下一次运行？更普遍地说，有没有一些关于snakemake在.snakemake文件夹中创建的文件的文
浏览 1提问于2017-08-10得票数 8
回答已采纳
以下是snakemake教程的高级部分中的一个简短示例：input: lambda wildcards: config[threads: 8 "bwa mem -t {threads} {input} | samtools view -Sb - > {output}"
现在假设我在几个月前写了这条规则我的理解是，我不能通过调用规则
浏览 1提问于2016-11-11得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
