给学徒们收集整理了几套带GitHub源代码的文献图表合辑，让优秀者一点一滴拆解开来分享给大家。（全部的代码复制粘贴即可运行，欢迎尝试以及批评指正）
单细胞数据复现-肺癌文章代码复现1https://cloud.tencent.com/developer/article/1992648
本文目的：一文解决WGCNA分析问题。 原文章使用了自己识别的五个lncRNA，与mRNA合并做WGCNA分析，目的是为了得到lncRNA相关的mRNA。所以这里，我们做WGCNA，所需要的数据可以推测其包括：lncRNA表达量，mRNA表达矩阵，一些临床参数数据。 代码WGCNA_prepare.R（给WGCNA分析做前期数据准备） # ======================================================= ##########################
orders the rows of a data frame by the values of selected columns.
把表单需要的属性，统统放入json里面，然后用require（方便） 或者aioxs（可以热更新）加载进来，这样就可以实现动态渲染了。 比如要实现公司信息的添加、修改，那么只需要加载公司信息需要的json即可。 想要实现员工信息的添加、修改，那么只需要加载员工信息需要的json。
2023-11-10，Galaxy生信云平台 UseGalaxy.cn 新增 12 个工具。
数据分析有一半以上的时间会花在对原始数据的整理及变换上，包括选取特定的分析变量、汇总并筛选满足条件的数据、排序、加工处理原始变量并生成新的变量、以及分组汇总数据等等。这一点，我想大部分使用EXCEL的童鞋都深有体会，写论文时，这么多的数据进行处理，手动汇总、筛选、变换，工作量实在是太大。而本文介绍的dplyr包简直就是Hadley Wickham （ggplot2包的作者，被称作“一个改变R的人”）大神为我们提供的“数据再加工”神器啊。 本文试图通过一个案例，对神奇的dplyr包的一些常用功能做简要介绍
偶然看到网上国家统计数据，利用Python数据分析自己做了几种图表练习。主要采用Pandas来做数据统计，matplotlib来做图表可视化。
1. 概述 很多人都知道索引在数据库上的是有利有弊的。像其他主流商业数据库一样SQL Server允许在一个列上重复创建索引。因为SQL Server没有限制创建重复索引的数量，只是限制数据库的一个表上最多可以创建999重复索引，所以这就增加了数据库中存在重复索引的可能性。表的列上存在重复索引的话，可能会明显的损害数据库性能，因为SQL Server必须分别维护每一个重复索引。此外，SQL Server优化查询语句时，查询优化器也会考虑这个问题，这就导致一系列性能问题。要理解什么事实重复索引、怎么样找到它们
The world is moving so fast that the person who says it can't be done is generally interrupted by someone doing it.
arrange函数按给定的列名进行排序，默认为升序排列，也可以对列名加desc()进行降序排序。
在使用Tidyverse提供的各种函数时，我们很多时候都会直接传递DataFrame的列名作为函数参数，对对应的列进行操作。如果我们自定义的函数中需要传递列名作为函数参数，如何实现呢？
tech/powerjob/server/persistence/QueryConvertUtils.java
一、内部函数 1、内部合计函数 1）COUNT（*） 返回行数 2）COUNT（DISTINCT COLNAME） 返回指定列中唯一值的个数 3）SUM（COLNAME/EXPRESSION） 返回指定列或表达式的数值和； 4）SUM（DISTINCT COLNAME） 返回指定列中唯一值的和 5）AVG（COLNAME/EXPRESSION） 返回指定列或表达式中的数值平均值 6）AVG（DISTINCT COLNAME） 返回指定列中唯一值的平均值 7）MIN（COLNAME/EXPRESSION） 返回指定列或表达式中的数值最小值 8）MAX（COLNAME/EXPRESSION） 返回指定列或表达式中的数值最大值 2、日期与时间函数 1）DAY（DATE/DATETIME EXPRESSION） 返回指定表达式中的当月几号 2）MONTH（DATE/DATETIME EXPRESSION） 返回指定表达式中的月份 3）YEAR（DATE/DATETIME EXPRESSION） 返回指定表达式中的年份 4）WEEKDAY（DATE/DATETIME EXPRESSION） 返回指定表达式中的当周星期几 5）DATE（NOT DATE EXPRESSION） 返回指定表达式代表的日期值 6）TODAY 返回当前日期的日期值 7）CURRENT[first to last] 返回当前日期的日期时间值 8）COLNAME/EXPRESSION UNITS PRECISION 返回指定精度的指定单位数 9）MDY（MONTH，DAY，YEAR） 返回标识指定年、月、日的日期值 10）DATETIME（DATE/DATETIME EXPRESSION）FIRST TO LAST 返回表达式代表的日期时间值 11）INTERVAL（DATE/DATETIME EXPRESSION）FIRST TO LAST 返回表达式代表的时间间隔值 12）EXTEND（DATE/DATETIME EXPRESSION，[first to last]）返回经过调整的日期或日期时间
/* ============ 辅助操作接口API =============== */
很多CNS文章的fig1（寓指tsne/umap图谱），打眼一看就是Seurat出的。Seurat 确实用ggplot2 包装了大量的可视化函数。
data<-read_excel("~/Desktop/Excel学习/表姐牌口罩销售数据.xlsx")
什么是MongoDB MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 特点 高性能、易部署、易使用，存储数据非常方便。 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引
先来一个简单的，以前我们有时候想设个name，有时候不想让组件自动继承属性，这时候需要单独设置一个script进行设置，现在简化了操作，直接使用 defineOptions 即可。
MongoDB 从 3.6 开始为开发者提供了 Change Streams 功能，利用 Change Streams 功能可以非常方便地监听指定 Collection 上的数据变化。例如在 mongo shell 中，我们可以通过如下方式监听 shopping 数据库 order 表上的变化：
Elasticsearch(GEO)空间检索查询python版本 1、Elasticsearch ES的强大就不用多说了，当你安装上插件，搭建好集群，你就拥有了一个搜索系统。 当然，ES的集群优化和查询优化就是另外一个议题了。这里mark一个最近使用的es空间检索的功能。 2、ES GEO空间检索 空间检索顾名思义提供了通过空间距离和位置关系进行检索的能力。有很多空间索引算法和类库可供选择。 ES内置了这种索引方式。下面详细介绍。 step1：创建索引 def create_index(): map
今天是读《pyhton数据分析基础》的第15天，今天读书笔记的内容为使用pandas模块的数据框类型。 数据框（DataFrame）类型其实就是带标题的列表。很多时候，整个数据框的数据并不会一次性的用于某一部的分析，而是选用某一列或几列的数据进行分析，此时就需要获取数据框的部分数据。 获取方式如下： 获取方式1：使用DataFrame.loc[] #调用某两行两列交汇的数据 #[index1,index2]表示引用索引号为index1和index2的两行数据 #[colName1,colName2]表示
上篇《简单代码生成器原理剖析（一）》分析了代码生成器的原理，查询数据库系统视图：INFORMATION_SCHEMA.TABLES、 INFORMATION_SCHEMA.COLUMNS 可以获得数据库中表、列的相关信息，再运用StringBuilder类的其AppendLine方法追加字符串，最后早运用File.WriteAllText方法将字符串写入文件。 第二版代码生成器在第一版的基础上扩展了以下功能： 使用了部分类（partial）：当使用大项目或自动生成的代码（如由 Windows 窗体设计器提
An R package is a set of R functions. Using dplyr as an example to learn R packages.
meta（json）需要手写吗？别闹，手写多麻烦呀，我这么懒怎么可能手写，这辈子都别想，所以要弄个工具出来，咱们说干就干。
1、merge(a,b)，纯粹地把两个数据集合在一起，没有沟通a、b数据集的by，这样出现的数据很多，相当于a*b条数据；
https://github.com/naturefwvue/nf-vue3-ant
通过Heatmap热图可以简单地聚合大量数据，并使用一种渐进的色带来优雅地表现，最终效果一般优于离散点的直接显示，可以很直观地展现空间数据的发展趋势、疏密程度、频率高低。但也由于很直观，热图在数据表现的准确性并不能保证。
Vue3对于表单的绑定提供了一种简单的方式：v-model。对于使用者来说非常方便，v-model="name" 就可以了。
对比：使用 pandas 存储数据 VS 使用写文本 方式存储数据 import pandas as pd import time def pandasWrite(): t0 = time.time() colname = [str(i) for i in range(550)] df = pd.DataFrame(columns=colname) for i in range(100): df.loc[len(df)] = dict(zip(colname,
实现关键代码就是表单的 columns 属性对象下标的 scopedSlots： scopedSlots: { customRender: '' } 实现完整代码： <template> <a-table :rowSelection="{selectedRowKeys: selectedRowKeys}02使用SQLServer同义词和SQL邮件，解决发布订阅中订阅库丢失数据的问题最近给客户做了基于SQLServer的发布订阅的“读写分离”功能，但是某些表数据很大，经常发生某几条数据丢失的问题，导致订阅无法继续进行。但是每次发现问题重新做一次发布订阅又非常消耗时间，所以还得根据“复制监视器”的提示，找到丢失的数据，手工处理。 定位缺失数据 首先，找到出问题的同步语句，在发布服务器的“复制监视器”上事务订阅的详细信息里面，找到出错的信息 尝试的命令: if @@trancount > 0 rollback tran (事务序列号: 0x0000992600000D09007F0000007文档驱动 —— 表单组件（一）：表单元素组件 优点缺点选择文本类的Inputcheck 多选value的类型问题想要做到文档驱动表单，首先要做几个表单元素组件。基于原生的HTML5的表单元素，做了一下分类，比如文本类、数字、日期、选择等，具体如下图。 【图片】04mysql常用命令记录存储过程查看：select name from mysql.proc where db = 'dbname' and type = 'PROCEDURE';02Spring 4 Spring MVC 4 REST + Jackson @JsonView集成实例详解分享一个使用SpringMVC4 Rest 和Jackson的@JsonView注解集成的实例。@JsonView用来过滤JSON响应。Spring4.1开始直接支持@JsonView注解。要使用@JsonView，首先我们需要定义视图，我们可以定义多个视图。一个视图定义可以继承其他视图定义。我们的POJO使用@JsonView注解属性传递已经定义的视图。在Spring的Controller我们可以使用Jackson的@JsonView注解我们的方法。序列化Http响应体的时候，JSON响应将在配置视图的基础上进行过滤。我们也可以在Spring REST Client使用@JsonView注解。Spring提供了MappingJacksonValue 包装POJO和序列化视图设置，在发送到web服务器短的时候，我们可以使用RestTemplate来过滤JSON。现在一步一步呈现完整的示例。02【SQL】靠谱的TRIM函数，附赠过程一枚SQL中有LTRIM和RTRIM这两个函数分别用于去除字符串的首、尾空格，缺乏常见的能同时去除首尾的TRIM函数，另外，这俩函数都只对【空格】有效，所以如果首尾是制表符、换行符等等【空白】，它们是不处理的~起码到sql 2k8 r2仍然如此。鉴于此，我写了个靠谱的TRIM函数，上代码：03PHP-解决导出excel文件中数字过大科学计数法问题用GOOGLE找了好几个办法，这两个是简单有效果的办法。 数字改字符串： //在给需要显示为正常数字的单元格赋值的时候，在值的前面或后面加一个空字符串，这样数值型就自动转换为字符型了。： $this->_excelObj->getActiveSheet()->setCellValue($v.$i, ' '.$data[$colName[$k]]); 把值的类型做转换，设置值为字符串类型： $this->_excelObj->getActiveSheet()->setCellValueExplicit(02R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)大型数据集通常是高度结构化的，结构使得我们可以按不同的方式分组，有时候我们需要关注单个组的数据片断，有时需要聚合不同组内的信息，并相互比较。03GEO表达芯片平台 — GPL14951，注释文件探索过程最近jimmy老师在学徒群了扔了一个数据挖掘文献图表复现任务，作为老师的新晋小透明学徒，希望可以表现一下，在分析数据集GSE62133时，并没有其平台GPL14951相应的注释包，把这个探索过程分享一下吧，希望可以帮助到大家！08R语言ggplot2画图比较两组连续型数据的几种方案分别是ggplot2 用来画图RColorBrewer 用来生成颜色dplyr 用来整理数据02通过Z-Order技术加速Hudi大规模数据集分析方案多维分析是大数据分析的一个典型场景，这种分析一般带有过滤条件。对于此类查询，尤其是在高基字段的过滤查询，理论上只我们对原始数据做合理的布局，结合相关过滤条件，查询引擎可以过滤掉大量不相关数据，只需读取很少部分需要的数据。例如我们在入库之前对相关字段做排序，这样生成的每个文件相关字段的min－max值是不存在交叉的，查询引擎下推过滤条件给数据源结合每个文件的min－max统计信息，即可过滤掉大量不相干数据。上述技术即我们通常所说的data clustering 和 data skip。直接排序可以在单个字段上产生很好的效果，如果多字段直接排序那么效果会大大折扣的，Z-Order可以较好的解决多字段排序问题。02检查两个数据库里的表名、字段是否一致的一种方法不知道大家有没有遇到过这种情况。 程序已经给客户安装上了，并且客户已经录入了一些信息，然后程序还需要作比较大的变动（修改功能、增加模块等），数据库就不可避免要做一些改动。 但是这时候已经不能把客户的数据库删掉，换上新的数据库了。只能用添表、添字段的方式了。 如果修改程序的时候做了详细的文档的话，那么就可以按照文档来修改数据库了，但是如果没有文档，或者文档记录的不全，或者修改完成之后想检查一下有没有“漏网之鱼”。那么这时候应该怎么办呢？难道要一个一个的检查？！ 我们可以使用两个视图和几个SQL08tidyverse：R语言中相当于python中pandas+matplotlib的存在tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法，包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》（中文版《R数据科学》），这本书详细介绍了tidyverse的使用方法。01【实体类变形】—— 元数据（另类ORM） 描述字段的数据放假了，不知道有没有加班的，先祝大家国庆节快乐！ 上次说得有点乱，“行列转换”这个词可能误导了大家，那么把这个词扔掉吧。我们重新开始。假设我们有一个News表，我们要往里面添加数据，我们先只考虑保存数据的部分。 一、我们定义一个类。变形的“实体类” public class ColumnsInfoBase { #region 字段的基本信息的描述 /// /// 配置信息里面的字段的标识010Hive Table Sampling – Concept and ExampleThe Relational databases like SQL server supports writing queries on a relatively small number of rows from the very large table. In this article, we will check Hive table sampling concept, methods and some examples.01
最近给客户做了基于SQLServer的发布订阅的“读写分离”功能，但是某些表数据很大，经常发生某几条数据丢失的问题，导致订阅无法继续进行。但是每次发现问题重新做一次发布订阅又非常消耗时间，所以还得根据“复制监视器”的提示，找到丢失的数据，手工处理。 定位缺失数据 首先，找到出问题的同步语句，在发布服务器的“复制监视器”上事务订阅的详细信息里面，找到出错的信息 尝试的命令: if @@trancount > 0 rollback tran (事务序列号: 0x0000992600000D09007F00000
想要做到文档驱动表单，首先要做几个表单元素组件。基于原生的HTML5的表单元素，做了一下分类，比如文本类、数字、日期、选择等，具体如下图。 【图片】
存储过程查看：select name from mysql.proc where db = 'dbname' and type = 'PROCEDURE';
分享一个使用SpringMVC4 Rest 和Jackson的@JsonView注解集成的实例。@JsonView用来过滤JSON响应。Spring4.1开始直接支持@JsonView注解。要使用@JsonView，首先我们需要定义视图，我们可以定义多个视图。一个视图定义可以继承其他视图定义。我们的POJO使用@JsonView注解属性传递已经定义的视图。在Spring的Controller我们可以使用Jackson的@JsonView注解我们的方法。序列化Http响应体的时候，JSON响应将在配置视图的基础上进行过滤。我们也可以在Spring REST Client使用@JsonView注解。Spring提供了MappingJacksonValue 包装POJO和序列化视图设置，在发送到web服务器短的时候，我们可以使用RestTemplate来过滤JSON。现在一步一步呈现完整的示例。
SQL中有LTRIM和RTRIM这两个函数分别用于去除字符串的首、尾空格，缺乏常见的能同时去除首尾的TRIM函数，另外，这俩函数都只对【空格】有效，所以如果首尾是制表符、换行符等等【空白】，它们是不处理的~起码到sql 2k8 r2仍然如此。鉴于此，我写了个靠谱的TRIM函数，上代码：
用GOOGLE找了好几个办法，这两个是简单有效果的办法。 数字改字符串： //在给需要显示为正常数字的单元格赋值的时候，在值的前面或后面加一个空字符串，这样数值型就自动转换为字符型了。： $this->_excelObj->getActiveSheet()->setCellValue($v.$i, ' '.$data[$colName[$k]]); 把值的类型做转换，设置值为字符串类型： $this->_excelObj->getActiveSheet()->setCellValueExplicit(
大型数据集通常是高度结构化的，结构使得我们可以按不同的方式分组，有时候我们需要关注单个组的数据片断，有时需要聚合不同组内的信息，并相互比较。
最近jimmy老师在学徒群了扔了一个数据挖掘文献图表复现任务，作为老师的新晋小透明学徒，希望可以表现一下，在分析数据集GSE62133时，并没有其平台GPL14951相应的注释包，把这个探索过程分享一下吧，希望可以帮助到大家！
分别是ggplot2 用来画图RColorBrewer 用来生成颜色dplyr 用来整理数据
多维分析是大数据分析的一个典型场景，这种分析一般带有过滤条件。对于此类查询，尤其是在高基字段的过滤查询，理论上只我们对原始数据做合理的布局，结合相关过滤条件，查询引擎可以过滤掉大量不相关数据，只需读取很少部分需要的数据。例如我们在入库之前对相关字段做排序，这样生成的每个文件相关字段的min－max值是不存在交叉的，查询引擎下推过滤条件给数据源结合每个文件的min－max统计信息，即可过滤掉大量不相干数据。上述技术即我们通常所说的data clustering 和 data skip。直接排序可以在单个字段上产生很好的效果，如果多字段直接排序那么效果会大大折扣的，Z-Order可以较好的解决多字段排序问题。
不知道大家有没有遇到过这种情况。 程序已经给客户安装上了，并且客户已经录入了一些信息，然后程序还需要作比较大的变动（修改功能、增加模块等），数据库就不可避免要做一些改动。 但是这时候已经不能把客户的数据库删掉，换上新的数据库了。只能用添表、添字段的方式了。 如果修改程序的时候做了详细的文档的话，那么就可以按照文档来修改数据库了，但是如果没有文档，或者文档记录的不全，或者修改完成之后想检查一下有没有“漏网之鱼”。那么这时候应该怎么办呢？难道要一个一个的检查？！ 我们可以使用两个视图和几个SQL
tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法，包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》（中文版《R数据科学》），这本书详细介绍了tidyverse的使用方法。
放假了，不知道有没有加班的，先祝大家国庆节快乐！ 上次说得有点乱，“行列转换”这个词可能误导了大家，那么把这个词扔掉吧。我们重新开始。假设我们有一个News表，我们要往里面添加数据，我们先只考虑保存数据的部分。 一、我们定义一个类。变形的“实体类” public class ColumnsInfoBase { #region 字段的基本信息的描述 /// /// 配置信息里面的字段的标识
The Relational databases like SQL server supports writing queries on a relatively small number of rows from the very large table. In this article, we will check Hive table sampling concept, methods and some examples.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
