Snakemake 是一个基于Python3的用于构建和管理数据分析工作流程的免费工具。
这个snakemake workflow 主要包括：mapping, sort >> index >> call variants
Snakemake是一款流行的生物信息学工作流管理系统，由Johannes Köster及其团队开发。它旨在降低复杂数据分析的复杂性，使生物信息学工作流的创建和执行变得更加容易和可重复。Snakemake的设计灵感来自于Makefile，但它是专门为生物信息学和数据密集型科学工作流设计的，使用Python语言进行工作流的定义，这使得它在生物信息学社区中特别受欢迎。
我自己一直在寻求可以将不同的工作流串接的方式。之前尝试了nextflow，但发现语法让我头疼。无奈发现了基于python 框架的snakemake，如释重负，立马学一下。
snakemake由不同的rule组成，每一个rule执行一个任务，通过不同的rule串联完成流程，snakemake还支持断点重启。
如bwa 等软件，我们可以分配多线程以提高任务的执行速度的。同样，我们可以把线程的信息配置在规则中：
但通常来说，测序文件也会对应一些metadata。比如通过ENA 下载测序数据，就可以选择需要的信息：
这是使用gatk4生成正常样本的germline突变数据库的流程图，整个流程是用Snakemake写的，这个图片也是Snakemake生成的。然后就被jimmy大佬点名了，受宠若惊，所以就有了本文。我是2016年从转录组学习小分队开始正式接触生信技能树，并走上了生信工程师的道路，我被jimmy大佬无私奉献的精神所折服，借此机会表示对jimmy大佬和生信技能树由衷的感谢！如果你也想从转录组开启你的生物信息学学习之旅，不妨考虑一下生信技能树的爆款入门：生信爆款入门-全球听（买一得五）（第4期），你的生物信息学入门课！
我们都知道生物信息学（Bioinfomatics）包含两个部分：bio和informatics，即利用生物数据通过计算机学或统计学或数学的方法发现这些数据背后所具有的生物学意义。而随着高通量测序技术的不断发展，各种组学大数据正形成井喷的局面，我们越来越多地将目光聚焦在怎么才能准确、高效、低耗利用好这些数据。好在时至今日，已经有很多科学家开发了非常多优秀的算法及软件，很多时候我们要做的是怎么将这些软件串联起来并构建成生信分析流程，而这项技能通常是各大公司考核应聘者的项目之一。
The Snakemake workflow management system is a tool to create reproducible and scalable data analyses. Workflows are described via a human readable, Python based language. They can be seamlessly scaled to server, cluster, grid and cloud environments, without the need to modify the workflow definition. Finally, Snakemake workflows can entail a description of required software, which will be automatically deployed to any execution environment.
到目前为止，我们已经完成了所有工作，并复制并粘贴了许多命令来完成所需的操作。这可行！但是也可能很耗时，并且更容易出错。接下来，我们将向你展示如何将所有这些命令放入Shell脚本中。
数字游民第三波有你吗 https://mp.weixin.qq.com/s/q864LQvsOOmd9nUyxk939w
我在stackoverflow中问了一个问题, 获得了答案, 对snakemake的理解也加深了一步.
刘小乐教授的CRISPR-Screen的分析工具除了MAGeCK之外，还有MAGeCK-VISPR 其实从名称看，我一度以为VISPR就只更加侧重于可视化，但当我实操的时候我发现其可以自动生成snakemake文件，实现分析的流程化。
https://eriqande.github.io/eca-bioinf-handbook/snakemake-chap.html
然后就可以看我在B站免费分享的视频课程《甲基化芯片（450K或者850K）数据处理 》
注意: 这里要把生成的文件{1,2,3}_add_a.txt写出来, 命令才可以运行.
科学研究的过程可重复性可以说是一件不言而喻的事情：如果你提出一观点或发现一个现象，在别人那里完全重复不出来，谁知道是不是臆想呢？但是有时候重复人家的研究结论又会显得不可理喻：分析的环境，软件的版本，试剂的保质期，甚至是历史条件都会成为不可重复的原因。然而，我们仍然做着这样的努力，至少我们看到数据科学家在做着这样的努力。
这里, 我们新建两个配对的RNA-seq数据, 格式是FASTQ的文件, 然后经过下面两步处理:
https://eriqande.github.io/eca-bioinf-handbook/
对于工作流来说，Directed acyclic graph，有向非循环图是一个非常不错的展示的策略。
这里rule all的作用还是没有搞明白，看有的文档说是最终保留的文件 ，我这里rule all 只写了了最终的html和json，但是最终的结果里是有过滤后的fastq文件的
连续两次求贤令：曾经我给你带来了十万用户，但现在祝你倒闭，以及 生信技能树知识整理实习生招募，让我走大运结识了几位优秀小伙伴！有做ngs实战整理的，也有做临床数据挖掘算法工具介绍的。前面分享了：Snakemake+RMarkdown定制你的分析流程和报告，今天也是一个类似的流程介绍：
学习完snakemake后写的第一个流程是RNA-seq上游定量和下游的质控和差异分析。
构建生信分析流程是生物信息学从业人员必备的技能之一，对该项能力的评估常常是各大公司招录人员的参考项目之一。
平时工作中，主要任务是改代码，然后才是写代码，很多代码可以复用，很多分析可以批量进行。今天介绍一下在Linux下批量执行代码的方法。复杂的可以用snakemake编写定义规则，简单的用shell直接写就可以。
https://mrvollger.github.io/StainedGlass/
https://www.nature.com/articles/s41588-022-01043-w#code-availability
单细胞数据目前除了10x的测序数据，还有相当一部分是drop-seq的测序数据。笔者在GEO上下载了一批drop-seq的数据，在网上查找了一下没有找到详细的分析流程，想到有些大神封装好的分析流程可能放在github上，果然在上面找到了好几个流程。笔者试了其中几个，有一个名为dropseqRunner的流程可以跑通，但是有些bug。笔者便在此将这个跑通的github流程的使用方法以及出现的4个bug解决方法进行说明，方便大家后续的使用。
https://www.science.org/doi/10.1126/science.abf7117
这里记录一段时间我在互联网上看到的有意思的内容与信息，防止它们在我的脑袋里走丢了。
学习的第一个GATK找变异流程，人的种系变异的短序列变异，包括SNP和INDEL。写了一个SnakeMake分析流程，从fastq文件到最后的vep注释后的VCF文件，关于VCF的介绍可以参考上一篇推文基因序列变异信息VCF (Variant Call Format)
我有10个基因组，然后又12个转录组数据，然后将这个12个基因组数据分别比对到这个10个基因组，每个基因组得到12个bam文件，然后将每个基因组的12个bam文件合并 ，最终得到10个合并的bam文件
1、Cell专题发表全球首批生命时空图谱，国家基因库发布时空组专辑数据库开启文献“可视化解读”新模式！(qq.com)
生物学日益数字化，科学家每天都在产生海量数据，将分子转化为序列和文本文件。作为生物学家，您可能需要帮助分析所有这些数据，并且一而再再而三的考虑与计算机科学家合作。这个人可能接受过一些计算生物学方面的培训，但他们的主要关注点一直是计算机科学(computer science,CS)，这里有一个挑战：如何与他们交谈？他们也许能够写出高效的代码，但他们往往不知道一些生物学的基础知识。当他们看你的分子时，他们中的一些人可能会在意识到生物之前只看到文本文件。另外，如果解释事情花了这么多时间，值得吗？您是否应该转而自行分析您的数据？或者，也许你已经注意到，今天所有那些闪闪发光的大papers代表着生物学和CS的巧妙融合。您已经找到了合作者，并希望了解如何与他们接洽。这10条简单的规则旨在提供帮助。
我在去年整理了一个关于多行命令并行管理的脚本「submit.sh」，前些日子曾老师发来消息提供了更新的版本，今天我们一起来探讨一下。
GATK best practices workflow Pipeline summary
其实原文说的是如何评价生物信息学的研究水平，引用的是刘小乐教授的观点。但我觉得，其实这些标准完全适用所有从事数据科学的人。
最简单的一个思路，只保留vcf文件中不包含任何缺失数据的位点。然后随机把某些样本的部分位点替换成缺失，用beagle做基因型填充，比较填充后和填充前的一致性。
最近读了 Karl Broman[3] 的initial steps toward reproducible research (kbroman.org)[4]，颇有感悟，结合自己阅读时候的体验，分享给你们。
Rust 现在已经越来越受到科学家们的欢迎了，比起 Python，Rust 有着更高效的性能，同时在社区建设方面也让用户体验更舒服。虽然学习难度大了些，但综合下来，越来越多的科学家认为时间花的值。
MBeautifier的原始下载地址：https://github.com/davidvarga/MBeautifier
但是如果RNA-seq数据分析项目非常多，或者说每个项目里面的样品非常多， 这个时候我们会推荐流程化管理我们的脚本，我个人的数据分析生涯主要是shell脚本，因为并不是企业级项目管理，能跑十几个项目还是因为要去给粉丝帮忙。对企业生产实践来说，Snakemake流程化管理各个NGS数据分析流程是一个很好的选择，恰好看到了一个最新的 Snakemake workflow, 推荐给大家。
GATK，即Genome Analysis Toolkit，GATK 在鉴定肿瘤的SNP, INDEL, CNV 等方面也堪称行业标准。
找论文的时候偶然发现的这本参考书，个人感觉内容还挺丰富的，在这里推荐给大家 书名是 《Plant Bioinformatics Methods and Protocols》third edition
勾选该选项，表示目标应用的安装配置全部由本地的安装配置来执行，不从服务端获取设备信息；控制台信息如下：
这款Integrity Pro mac版是一款网站死链接清理工具，能通过您所输入的网址找到已经损坏的链接，并且在完成之后还能以xml、dot和csv格式来生成站点地图，它为您的主页网址提供完整性，然后按照内部链接查找您的所有网页，超快，超精简。
比如Nextflow、Snakemake等等，这方面的各种教程多如牛毛，我这里就不赘述了，大家根据关键词搜索即可自行学习。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
