给学徒们收集整理了几套带GitHub源代码的文献图表合辑,让优秀者一点一滴拆解开来分享给大家。(全部的代码复制粘贴即可运行,欢迎尝试以及批评指正)
单细胞数据复现-肺癌文章代码复现1https://cloud.tencent.com/developer/article/1992648
本文目的:一文解决WGCNA分析问题。 原文章使用了自己识别的五个lncRNA,与mRNA合并做WGCNA分析,目的是为了得到lncRNA相关的mRNA。所以这里,我们做WGCNA,所需要的数据可以推测其包括:lncRNA表达量,mRNA表达矩阵,一些临床参数数据。 代码WGCNA_prepare.R(给WGCNA分析做前期数据准备) # ======================================================= ##########################
orders the rows of a data frame by the values of selected columns.
把表单需要的属性,统统放入json里面,然后用require(方便) 或者aioxs(可以热更新)加载进来,这样就可以实现动态渲染了。 比如要实现公司信息的添加、修改,那么只需要加载公司信息需要的json即可。 想要实现员工信息的添加、修改,那么只需要加载员工信息需要的json。
2023-11-10,Galaxy生信云平台 UseGalaxy.cn 新增 12 个工具。
数据分析有一半以上的时间会花在对原始数据的整理及变换上,包括选取特定的分析变量、汇总并筛选满足条件的数据、排序、加工处理原始变量并生成新的变量、以及分组汇总数据等等。这一点,我想大部分使用EXCEL的童鞋都深有体会,写论文时,这么多的数据进行处理,手动汇总、筛选、变换,工作量实在是太大。而本文介绍的dplyr包简直就是Hadley Wickham (ggplot2包的作者,被称作“一个改变R的人”)大神为我们提供的“数据再加工”神器啊。 本文试图通过一个案例,对神奇的dplyr包的一些常用功能做简要介绍
偶然看到网上国家统计数据,利用Python数据分析自己做了几种图表练习。主要采用Pandas来做数据统计,matplotlib来做图表可视化。
1. 概述 很多人都知道索引在数据库上的是有利有弊的。像其他主流商业数据库一样SQL Server允许在一个列上重复创建索引。因为SQL Server没有限制创建重复索引的数量,只是限制数据库的一个表上最多可以创建999重复索引,所以这就增加了数据库中存在重复索引的可能性。表的列上存在重复索引的话,可能会明显的损害数据库性能,因为SQL Server必须分别维护每一个重复索引。此外,SQL Server优化查询语句时,查询优化器也会考虑这个问题,这就导致一系列性能问题。要理解什么事实重复索引、怎么样找到它们
The world is moving so fast that the person who says it can't be done is generally interrupted by someone doing it.
arrange函数按给定的列名进行排序,默认为升序排列,也可以对列名加desc()进行降序排序。
在使用Tidyverse提供的各种函数时,我们很多时候都会直接传递DataFrame的列名作为函数参数,对对应的列进行操作。如果我们自定义的函数中需要传递列名作为函数参数,如何实现呢?
tech/powerjob/server/persistence/QueryConvertUtils.java
一、内部函数 1、内部合计函数 1)COUNT(*) 返回行数 2)COUNT(DISTINCT COLNAME) 返回指定列中唯一值的个数 3)SUM(COLNAME/EXPRESSION) 返回指定列或表达式的数值和; 4)SUM(DISTINCT COLNAME) 返回指定列中唯一值的和 5)AVG(COLNAME/EXPRESSION) 返回指定列或表达式中的数值平均值 6)AVG(DISTINCT COLNAME) 返回指定列中唯一值的平均值 7)MIN(COLNAME/EXPRESSION) 返回指定列或表达式中的数值最小值 8)MAX(COLNAME/EXPRESSION) 返回指定列或表达式中的数值最大值 2、日期与时间函数 1)DAY(DATE/DATETIME EXPRESSION) 返回指定表达式中的当月几号 2)MONTH(DATE/DATETIME EXPRESSION) 返回指定表达式中的月份 3)YEAR(DATE/DATETIME EXPRESSION) 返回指定表达式中的年份 4)WEEKDAY(DATE/DATETIME EXPRESSION) 返回指定表达式中的当周星期几 5)DATE(NOT DATE EXPRESSION) 返回指定表达式代表的日期值 6)TODAY 返回当前日期的日期值 7)CURRENT[first to last] 返回当前日期的日期时间值 8)COLNAME/EXPRESSION UNITS PRECISION 返回指定精度的指定单位数 9)MDY(MONTH,DAY,YEAR) 返回标识指定年、月、日的日期值 10)DATETIME(DATE/DATETIME EXPRESSION)FIRST TO LAST 返回表达式代表的日期时间值 11)INTERVAL(DATE/DATETIME EXPRESSION)FIRST TO LAST 返回表达式代表的时间间隔值 12)EXTEND(DATE/DATETIME EXPRESSION,[first to last])返回经过调整的日期或日期时间
/* ============ 辅助操作接口API =============== */
很多CNS文章的fig1(寓指tsne/umap图谱),打眼一看就是Seurat出的。Seurat 确实用ggplot2 包装了大量的可视化函数。
data<-read_excel("~/Desktop/Excel学习/表姐牌口罩销售数据.xlsx")
什么是MongoDB MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。 特点 高性能、易部署、易使用,存储数据非常方便。 面向集合存储,易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引
先来一个简单的,以前我们有时候想设个name,有时候不想让组件自动继承属性,这时候需要单独设置一个script进行设置,现在简化了操作,直接使用 defineOptions 即可。
MongoDB 从 3.6 开始为开发者提供了 Change Streams 功能,利用 Change Streams 功能可以非常方便地监听指定 Collection 上的数据变化。例如在 mongo shell 中,我们可以通过如下方式监听 shopping 数据库 order 表上的变化:
Elasticsearch(GEO)空间检索查询python版本 1、Elasticsearch ES的强大就不用多说了,当你安装上插件,搭建好集群,你就拥有了一个搜索系统。 当然,ES的集群优化和查询优化就是另外一个议题了。这里mark一个最近使用的es空间检索的功能。 2、ES GEO空间检索 空间检索顾名思义提供了通过空间距离和位置关系进行检索的能力。有很多空间索引算法和类库可供选择。 ES内置了这种索引方式。下面详细介绍。 step1:创建索引 def create_index(): map
今天是读《pyhton数据分析基础》的第15天,今天读书笔记的内容为使用pandas模块的数据框类型。 数据框(DataFrame)类型其实就是带标题的列表。很多时候,整个数据框的数据并不会一次性的用于某一部的分析,而是选用某一列或几列的数据进行分析,此时就需要获取数据框的部分数据。 获取方式如下: 获取方式1:使用DataFrame.loc[] #调用某两行两列交汇的数据 #[index1,index2]表示引用索引号为index1和index2的两行数据 #[colName1,colName2]表示
上篇《简单代码生成器原理剖析(一)》分析了代码生成器的原理,查询数据库系统视图:INFORMATION_SCHEMA.TABLES、 INFORMATION_SCHEMA.COLUMNS 可以获得数据库中表、列的相关信息,再运用StringBuilder类的其AppendLine方法追加字符串,最后早运用File.WriteAllText方法将字符串写入文件。 第二版代码生成器在第一版的基础上扩展了以下功能: 使用了部分类(partial):当使用大项目或自动生成的代码(如由 Windows 窗体设计器提
An R package is a set of R functions. Using dplyr as an example to learn R packages.
meta(json)需要手写吗?别闹,手写多麻烦呀,我这么懒怎么可能手写,这辈子都别想,所以要弄个工具出来,咱们说干就干。
1、merge(a,b),纯粹地把两个数据集合在一起,没有沟通a、b数据集的by,这样出现的数据很多,相当于a*b条数据;
https://github.com/naturefwvue/nf-vue3-ant
通过Heatmap热图可以简单地聚合大量数据,并使用一种渐进的色带来优雅地表现,最终效果一般优于离散点的直接显示,可以很直观地展现空间数据的发展趋势、疏密程度、频率高低。但也由于很直观,热图在数据表现的准确性并不能保证。
Vue3对于表单的绑定提供了一种简单的方式:v-model。对于使用者来说非常方便,v-model="name" 就可以了。
对比:使用 pandas 存储数据 VS 使用写文本 方式存储数据 import pandas as pd import time def pandasWrite(): t0 = time.time() colname = [str(i) for i in range(550)] df = pd.DataFrame(columns=colname) for i in range(100): df.loc[len(df)] = dict(zip(colname,
实现关键代码就是表单的 columns 属性对象下标的 scopedSlots: scopedSlots: { customRender: '' } 实现完整代码: <template> <a-table :rowSelection="{selectedRowKeys: selectedRowKeys}02使用SQLServer同义词和SQL邮件,解决发布订阅中订阅库丢失数据的问题最近给客户做了基于SQLServer的发布订阅的“读写分离”功能,但是某些表数据很大,经常发生某几条数据丢失的问题,导致订阅无法继续进行。但是每次发现问题重新做一次发布订阅又非常消耗时间,所以还得根据“复制监视器”的提示,找到丢失的数据,手工处理。 定位缺失数据 首先,找到出问题的同步语句,在发布服务器的“复制监视器”上事务订阅的详细信息里面,找到出错的信息 尝试的命令: if @@trancount > 0 rollback tran (事务序列号: 0x0000992600000D09007F0000007文档驱动 —— 表单组件(一):表单元素组件 优点缺点选择文本类的Inputcheck 多选value的类型问题想要做到文档驱动表单,首先要做几个表单元素组件。基于原生的HTML5的表单元素,做了一下分类,比如文本类、数字、日期、选择等,具体如下图。 【图片】04mysql常用命令记录存储过程查看:select name from mysql.proc where db = 'dbname' and type = 'PROCEDURE';02Spring 4 Spring MVC 4 REST + Jackson @JsonView集成实例详解分享一个使用SpringMVC4 Rest 和Jackson的@JsonView注解集成的实例。@JsonView用来过滤JSON响应。Spring4.1开始直接支持@JsonView注解。要使用@JsonView,首先我们需要定义视图,我们可以定义多个视图。一个视图定义可以继承其他视图定义。我们的POJO使用@JsonView注解属性传递已经定义的视图。在Spring的Controller我们可以使用Jackson的@JsonView注解我们的方法。序列化Http响应体的时候,JSON响应将在配置视图的基础上进行过滤。我们也可以在Spring REST Client使用@JsonView注解。Spring提供了MappingJacksonValue 包装POJO和序列化视图设置,在发送到web服务器短的时候,我们可以使用RestTemplate来过滤JSON。现在一步一步呈现完整的示例。02【SQL】靠谱的TRIM函数,附赠过程一枚SQL中有LTRIM和RTRIM这两个函数分别用于去除字符串的首、尾空格,缺乏常见的能同时去除首尾的TRIM函数,另外,这俩函数都只对【空格】有效,所以如果首尾是制表符、换行符等等【空白】,它们是不处理的~起码到sql 2k8 r2仍然如此。鉴于此,我写了个靠谱的TRIM函数,上代码:03PHP-解决导出excel文件中数字过大科学计数法问题用GOOGLE找了好几个办法,这两个是简单有效果的办法。 数字改字符串: //在给需要显示为正常数字的单元格赋值的时候,在值的前面或后面加一个空字符串,这样数值型就自动转换为字符型了。: $this->_excelObj->getActiveSheet()->setCellValue($v.$i, ' '.$data[$colName[$k]]); 把值的类型做转换,设置值为字符串类型: $this->_excelObj->getActiveSheet()->setCellValueExplicit(02R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)大型数据集通常是高度结构化的,结构使得我们可以按不同的方式分组,有时候我们需要关注单个组的数据片断,有时需要聚合不同组内的信息,并相互比较。03GEO表达芯片平台 — GPL14951,注释文件探索过程最近jimmy老师在学徒群了扔了一个数据挖掘文献图表复现任务,作为老师的新晋小透明学徒,希望可以表现一下,在分析数据集GSE62133时,并没有其平台GPL14951相应的注释包,把这个探索过程分享一下吧,希望可以帮助到大家!08R语言ggplot2画图比较两组连续型数据的几种方案分别是ggplot2 用来画图RColorBrewer 用来生成颜色dplyr 用来整理数据02通过Z-Order技术加速Hudi大规模数据集分析方案多维分析是大数据分析的一个典型场景,这种分析一般带有过滤条件。对于此类查询,尤其是在高基字段的过滤查询,理论上只我们对原始数据做合理的布局,结合相关过滤条件,查询引擎可以过滤掉大量不相关数据,只需读取很少部分需要的数据。例如我们在入库之前对相关字段做排序,这样生成的每个文件相关字段的min-max值是不存在交叉的,查询引擎下推过滤条件给数据源结合每个文件的min-max统计信息,即可过滤掉大量不相干数据。上述技术即我们通常所说的data clustering 和 data skip。直接排序可以在单个字段上产生很好的效果,如果多字段直接排序那么效果会大大折扣的,Z-Order可以较好的解决多字段排序问题。02检查两个数据库里的表名、字段是否一致的一种方法不知道大家有没有遇到过这种情况。 程序已经给客户安装上了,并且客户已经录入了一些信息,然后程序还需要作比较大的变动(修改功能、增加模块等),数据库就不可避免要做一些改动。 但是这时候已经不能把客户的数据库删掉,换上新的数据库了。只能用添表、添字段的方式了。 如果修改程序的时候做了详细的文档的话,那么就可以按照文档来修改数据库了,但是如果没有文档,或者文档记录的不全,或者修改完成之后想检查一下有没有“漏网之鱼”。那么这时候应该怎么办呢?难道要一个一个的检查?! 我们可以使用两个视图和几个SQL08tidyverse:R语言中相当于python中pandas+matplotlib的存在tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法,包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》(中文版《R数据科学》),这本书详细介绍了tidyverse的使用方法。01【实体类变形】—— 元数据(另类ORM) 描述字段的数据放假了,不知道有没有加班的,先祝大家国庆节快乐! 上次说得有点乱,“行列转换”这个词可能误导了大家,那么把这个词扔掉吧。我们重新开始。假设我们有一个News表,我们要往里面添加数据,我们先只考虑保存数据的部分。 一、我们定义一个类。变形的“实体类” public class ColumnsInfoBase { #region 字段的基本信息的描述 /// /// 配置信息里面的字段的标识010Hive Table Sampling – Concept and ExampleThe Relational databases like SQL server supports writing queries on a relatively small number of rows from the very large table. In this article, we will check Hive table sampling concept, methods and some examples.01
最近给客户做了基于SQLServer的发布订阅的“读写分离”功能,但是某些表数据很大,经常发生某几条数据丢失的问题,导致订阅无法继续进行。但是每次发现问题重新做一次发布订阅又非常消耗时间,所以还得根据“复制监视器”的提示,找到丢失的数据,手工处理。 定位缺失数据 首先,找到出问题的同步语句,在发布服务器的“复制监视器”上事务订阅的详细信息里面,找到出错的信息 尝试的命令: if @@trancount > 0 rollback tran (事务序列号: 0x0000992600000D09007F00000
想要做到文档驱动表单,首先要做几个表单元素组件。基于原生的HTML5的表单元素,做了一下分类,比如文本类、数字、日期、选择等,具体如下图。 【图片】
存储过程查看:select name from mysql.proc where db = 'dbname' and type = 'PROCEDURE';
分享一个使用SpringMVC4 Rest 和Jackson的@JsonView注解集成的实例。@JsonView用来过滤JSON响应。Spring4.1开始直接支持@JsonView注解。要使用@JsonView,首先我们需要定义视图,我们可以定义多个视图。一个视图定义可以继承其他视图定义。我们的POJO使用@JsonView注解属性传递已经定义的视图。在Spring的Controller我们可以使用Jackson的@JsonView注解我们的方法。序列化Http响应体的时候,JSON响应将在配置视图的基础上进行过滤。我们也可以在Spring REST Client使用@JsonView注解。Spring提供了MappingJacksonValue 包装POJO和序列化视图设置,在发送到web服务器短的时候,我们可以使用RestTemplate来过滤JSON。现在一步一步呈现完整的示例。
SQL中有LTRIM和RTRIM这两个函数分别用于去除字符串的首、尾空格,缺乏常见的能同时去除首尾的TRIM函数,另外,这俩函数都只对【空格】有效,所以如果首尾是制表符、换行符等等【空白】,它们是不处理的~起码到sql 2k8 r2仍然如此。鉴于此,我写了个靠谱的TRIM函数,上代码:
用GOOGLE找了好几个办法,这两个是简单有效果的办法。 数字改字符串: //在给需要显示为正常数字的单元格赋值的时候,在值的前面或后面加一个空字符串,这样数值型就自动转换为字符型了。: $this->_excelObj->getActiveSheet()->setCellValue($v.$i, ' '.$data[$colName[$k]]); 把值的类型做转换,设置值为字符串类型: $this->_excelObj->getActiveSheet()->setCellValueExplicit(
大型数据集通常是高度结构化的,结构使得我们可以按不同的方式分组,有时候我们需要关注单个组的数据片断,有时需要聚合不同组内的信息,并相互比较。
最近jimmy老师在学徒群了扔了一个数据挖掘文献图表复现任务,作为老师的新晋小透明学徒,希望可以表现一下,在分析数据集GSE62133时,并没有其平台GPL14951相应的注释包,把这个探索过程分享一下吧,希望可以帮助到大家!
分别是ggplot2 用来画图RColorBrewer 用来生成颜色dplyr 用来整理数据
多维分析是大数据分析的一个典型场景,这种分析一般带有过滤条件。对于此类查询,尤其是在高基字段的过滤查询,理论上只我们对原始数据做合理的布局,结合相关过滤条件,查询引擎可以过滤掉大量不相关数据,只需读取很少部分需要的数据。例如我们在入库之前对相关字段做排序,这样生成的每个文件相关字段的min-max值是不存在交叉的,查询引擎下推过滤条件给数据源结合每个文件的min-max统计信息,即可过滤掉大量不相干数据。上述技术即我们通常所说的data clustering 和 data skip。直接排序可以在单个字段上产生很好的效果,如果多字段直接排序那么效果会大大折扣的,Z-Order可以较好的解决多字段排序问题。
不知道大家有没有遇到过这种情况。 程序已经给客户安装上了,并且客户已经录入了一些信息,然后程序还需要作比较大的变动(修改功能、增加模块等),数据库就不可避免要做一些改动。 但是这时候已经不能把客户的数据库删掉,换上新的数据库了。只能用添表、添字段的方式了。 如果修改程序的时候做了详细的文档的话,那么就可以按照文档来修改数据库了,但是如果没有文档,或者文档记录的不全,或者修改完成之后想检查一下有没有“漏网之鱼”。那么这时候应该怎么办呢?难道要一个一个的检查?! 我们可以使用两个视图和几个SQL
tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法,包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》(中文版《R数据科学》),这本书详细介绍了tidyverse的使用方法。
放假了,不知道有没有加班的,先祝大家国庆节快乐! 上次说得有点乱,“行列转换”这个词可能误导了大家,那么把这个词扔掉吧。我们重新开始。假设我们有一个News表,我们要往里面添加数据,我们先只考虑保存数据的部分。 一、我们定义一个类。变形的“实体类” public class ColumnsInfoBase { #region 字段的基本信息的描述 /// /// 配置信息里面的字段的标识
The Relational databases like SQL server supports writing queries on a relatively small number of rows from the very large table. In this article, we will check Hive table sampling concept, methods and some examples.
领取专属 10元无门槛券
手把手带您无忧上云