首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

R语言︱文件读入、读出一些方法罗列(批量xlsx文件、数据库、文本txt、文件夹)

(mycon,"select * from USArrests") #对USArrests表执行了SQL语句select,并将结果输出 sqlDrop(channel,"USArrests") #删除...xlsx包加载成功后,用read.xlsx就可以直接读取xlsx文件,还可以指定读取的行和段,以及第几个表,以及可以保存为xlsx文件,这个包还是很强大的。...但是这个方法存在两个问题: 1、不是所有的公司电脑都能自由的配置java环境。很多人的权限是受限的。而且有些公司内部应用是在java环境下配置的。...用xlsx包读取xlsx包的方法,更适合于: 1、个人电脑,自己想怎么玩都无所谓,或者高大上的linux, mac环境 2、数据量不会特别大,而且excel文件很干净,需要细节的操作 实际操作案例...步骤一:先把分词内容拆分成几个部分,输出成多个txt文件; 步骤二:用windows自带的CMD里面的指令,来生成特定的TXT文件。

5.8K31

R语言中 apply 函数详解

这里, X是指我们将对其应用操作的数据集(在本例中是矩阵) MARGIN参数允许我们指定是按行还是按列应用操作 行边距=1 列边距=2 FUN指的是我们想要在X上“应用”的任何用户定义或内置函数 让我们看看计算每行平均数的简单示例...到目前为止,我们只使用了一个参数的函数,并将它们应用于数据。apply家族最棒的部分是,它们也处理具有多个参数的函数!...lapply()是list apply的缩写,可以对列表或向量使用lapply函数。无论是一个向量列表还是一个简单的向量,lappy()都可以在这两个向量上使用。...让我们将其与lappy()在相同数据上的输出进行比较: sum_lapply3 lapply(data, sum) #output sum_lapply3 ?...因此,在处理数据帧时,mapply是一个非常方便的函数。 现在,让我们看看如何在实际数据集上使用这些函数。

20.5K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python 自动化指南(繁琐工作自动化)第二版:十六、使用 CSV 文件和 JSON 数据

    在这个reader对象上使用list()会返回一个列表列表,您可以将它存储在一个类似exampleData的变量中。在 Shell 中输入exampleData显示列表列表 ➎。...在高层次上,程序必须做到以下几点: 在当前工作目录中查找所有 CSV 文件。 读入每个文件的全部内容。 跳过第一行,将内容写入一个新的 CSV 文件。...创建一个 CSV reader对象并读入文件的内容,使用line_num属性来决定跳过哪一行。 创建一个 CSV writer对象并将读入的数据写出到新文件中。...对于这个项目,打开一个新的文件编辑器窗口,保存为removeCsvHeader.py。 第一步:遍历每个 CSV 文件 您的程序需要做的第一件事是遍历当前工作目录的所有 CSV 文件名的列表。...对于这个项目,打开一个新的文件编辑器窗口,并将其保存为getOpenWeather.py。

    11.6K40

    R包之tm:文本挖掘包

    另一个实现是PCorpus1 (Permanent Corpus),这种实现方式下,内存中只是存储文档的指针,真正的文档存储在磁盘上(文件或者数据库)。...每个source都对应有一个缺省的reader,比如DirSource的reader就是读入文件,把文件的内容作为字符串。这个reader是可以被替换的。...文集中的数据可以直接输出,比如前面读入的文集,可以这样写到磁盘上去writeCorpus(vid), 每个文档会生成一个文件 查看语料库(corpora) print(vid)只是给出了最简单的信息,...标准操作和函数 标准的操作符[,[[,[lapply()可以直接作用在corpora(语料库)上 创建文档-单词矩阵 tm中,函数TermDocumentMatrix和DocumentTermMatrix...为了能够处理中文,需要 图换掉缺省的reader。新的reader应该读入文章,并进行分词,然后将分词的结果保存为一个新的文件,该文件中,各中文单词以空格隔开 。

    2K80

    单细胞专题 | 6.单细胞下游分析——不同类型的数据读入

    还有一种数据是作者在GEO数据库直接提供表达矩阵(csv或txt) (1).读入csv文件的表达矩阵构建Seurat对象 Seurat需要的输入信息为表达量矩阵,矩阵行为基因,列为细胞。...使用Seurat提供的Read10X函数可以很方便的将10x结果读入到R矩阵中。使用CreateSeuratObject生成Seurat对象,后续分析都是在该对象上进行操作。...(2).读入10X标准输出的3个文件和融合多个样本数据 这三个文件指的是:barcodes.tsv, features.tsv, matrix.mtx。...例如: ############### 10X标准输出的3个文件 ############## # 列出当前目录下所有开头是GSM的文件 fs 函数教程,可以查阅一下, # lapply是对列表或向量进行循环,而apply是对数据框或矩阵操作) library(Seurat) sceList lapply(folders,function

    4K41

    R语言入门系列之三:R脚本

    写好的R语言程序一般保存为R脚本,这样在以后完成相似数据处理任务时可以方便地直接调用。...在linux系统命令行,我们可以使用“Rscript”命令来调用运行写好的程序,并添加一些必须的命令行参数;在Windows系统的Rstudio中,可以使用source()函数来调用写好的R脚本。...apply函数家族 apply函数家族主要成员如下: apply 对数组行或者列使用函数 apply(X, MARGIN, FUN, ...) lapply 对列表或者向量使用函数 lapply...lapply()通过对x的每一个元素运用函数,生成一个与元素个数相同的值列表: lapply(X, FUN, ...)...X表示一个列表对象,其余对象将被通过as.list强制转换为list,举例如下: sapply()是lapply函数的包装版。

    3.7K20

    Python自动轨迹绘制&政府工作报告词云

    1.文件的类型 (1)文件 文件是数据的抽象和集合 ①文件是存储在辅助存储器上的数据序列 ②文件是数据存储的一种形式 ③文件展现形态:文本文件和二进制文件 (2)文本文件vs.二进制文件 ①文件文件和二进制文件只是文件的展示方式...②本质上,所有文件都是二进制形式存储 ③形式上,所有文件采用两种方式展示 (3)文本文件 ①由单一特定编码组成的文件,如UTF-8编码 ②由于存在编码,也被看成是存储着的长字符串 ③适用于例如∶.txt...②占用状态:一个程序可以唯一的、排它的对文件进行相关处理 ③打开之后可进行,数据读入和数据输出,简称为读文件和写文件 ④3个常用读文件函数:a.read( size) a.readline(size)...(打开文件,解析数据文件中每一行的信息并做相关处理) # 可能的绘制数据预估不是很大,读入所有信息后保存为列表 datals = [] # 建立空列表 f = open("data.txt") for...①表格是典型的二维数据 ②其中,表头是二维数据的一部分 (4)多维数据 由一维或二维数据在新维度上扩展形成(如时间扩展) (5)高维数据 仅利用最基本的三元关系来展示数据间的复杂结构 如:字典类型中用键值对表示值和它属性之间的关系

    2.5K30

    R语言︱list用法、批量读取、写出数据时的用法

    如: > rec$age <- 45 甚至 > rec$age <- list(19, 29, 31) (可以任意修改一个列表元素)。如果被赋值的元素原来不存在,则列表延伸以包含该新 元素。...提取某List某指标 方法一: 先编写一个提取list子集的函数: subdate<- function(x){ x$DATE } 复制代码 然后用lapply或者sapply sapply...100] 用lapply计算每个x的长度。...——先定义list 2、如何定义写出时候的文件名字——paste函数 批量读取的基本流程就是:写入(list[[i]])、操作、写出 #1、读取xlsx中所有的sheet表格 #如果像vector一样定义...——不等长合并 两种方法:c(),可以将list[1] 和list[2]进行直接合并,可以兼容不等长,当然合并之后,还有list文件; rbind.fill函数,不等长合并函数,在plyr包中。

    17.8K52

    R语言 数据框、矩阵、列表的创建、修改、导出

    excel打开(直接打开),记事本打开,或用R语言读入,读入后进行的修改不会同步到表格文件,除非导出**分隔符包括空格,逗号,制表符(tab),csv是一个逗号分隔的纯文本文件,它的后缀没有意义,也有可能实际上是一个制表符分割的...tsv改变文件名而来的,此时用csv打开会报错,该知识点用于防止部分代码中错误应用csv套用tsv等#文件读写部分(文件位于R_02的Rproject中)#1.读取ex1.txt txt用read.table.../则为上一级)#文件是由生成它的函数决定的,不是由后缀决定的,save为csv实际上还是一个Rdata#readr包可以实现base包中的类似功能library(data.table)#其中的fread...行名、列名)dim为维度,对数据框使用,输出(行数,列数),nrow输出行数,ncol输出列数dim(df1)nrow(df1)ncol(df1)rowname输出行名,colname输出列名*注意没有...2倍的标准差,并写出用户使用该函数的代码 。

    7.9K00

    【数据分析丨主题周】用Python脚本模仿Hadoop处理大数据

    将处理结果保存为一个文本文件,作为Reduce函数的输入。 将各Map函数处理的结果提交给Reduce函数进行处理,最终得到处理结果。 具体流程如图1所示。 ?...接着打开大的日志文件,逐行读入数据,再将其添加到缓存列表中,当达到分割文件保存数据的数量时,将缓存列表中的数据写入文件。...Reduce函数的处理流程也很简单,就是读入后缀为“_map.txt”的文件,进行数据的归并处理,最后输出一个结果文件。具体的脚本如下。...接着使用os.walk函数循环指定目录中的文件,找到后缀为“_map.txt”的文件进行处理。具体处理过程是,逐个将Map函数的输出文件(后缀为“_map.txt”)读入,并将数据装入字典。...在Reduce函数中再根据Map函数的输出数据进行归并处理,即可得到所要的数据。

    64920

    用R进行文本分析初探——包含导入词库和和导入李白语句

    点这儿下载Rwordseg 解压后将文件放入R下library文件夹下 4.安装wordcloud 在R的命令框输入 install.packages("wordcloud") 利用Rwordseg分词包进行分词...4.分词+统计词频 words=unlist(lapply(X=res, FUN=segmentCN)) #unlist将list类型的数据,转化为vector #lapply()返回一个长度与X一致的列表...d=subset(d, nchar(as.character(d$词汇))>1 & d$词频>=100) 8.词频结果输出   根据自己的具体需求改变路径和文件名称 write.csv(d, file...9.画出标签云 (1)读入词频统计数据 路径和文件名称根据自己的需求更改 mydata<-read.csv("E:/Rtagcloud/hongloumengfcresult.csv",head=TRUE...(X=res, FUN=segmentCN)) #unlist将list类型的数据,转化为vector #lapply()返回一个长度与X一致的列表,每个元素为FUN计算出的结果,且分别对应到X中的每个元素

    2.4K50

    用R进行文本分析初探——以《红楼梦》为例

    点这儿下载Rwordseg 解压后将文件放入R下library文件夹下 4.安装wordcloud 在R的命令框输入 install.packages("wordcloud") 利用Rwordseg分词包进行分词...4.分词+统计词频 words=unlist(lapply(X=res, FUN=segmentCN))#unlist将list类型的数据,转化为vector#lapply()返回一个长度与X一致的列表...d=subset(d, nchar(as.character(d$词汇))>1 & d$词频>=100) 8.词频结果输出   根据自己的具体需求改变路径和文件名称 write.csv(d, file...9.画出标签云 (1)读入词频统计数据 路径和文件名称根据自己的需求更改 mydata<-read.csv("E:/Rtagcloud/hongloumengfcresult.csv",head=TRUE...(X=res, FUN=segmentCN)) #unlist将list类型的数据,转化为vector #lapply()返回一个长度与X一致的列表,每个元素为FUN计算出的结果,且分别对应到X中的每个元素

    1.9K50

    R语言学习笔记-Day6

    :列表->矩阵str_split(x," ",simplify = T)x2 输出结果同上#按照多个标准进行拆分:str_split(x," |,") #...*1if(F){...} #{}内所有代码被跳过if(T){...} #{}内代码执行#针对限速步骤可以将限速步骤保存为.Rdata,之后加载该文件即可#下载数据的代码,可保留但不反复运行*2分成多个脚本...,每个脚本最后保存.Rdata,下一个脚本开头清空再加载为什么保存为.Rdata而不是表格文件*1 变量,自带变量名称,无需赋值,没有参数*2 表格文件需要赋值,参数影响读取结果,不能在后续文件同等处理...#对列表/向量中每个元素实施相同的操作e.g.lapply(1:4,rnorm)[1] 1.13[2]1 0.78 1.13[3]1 1.81 -0.04 -0.17[4]1 0.04 1.22 -1.13...0.365#输出为列表,包含四个向量5 两个数据框的连接5.1 交集inner_join()取交集5.2 全连接full_join()#保留全部主要信息5.3 左连接left_join()#保留左表主要信息

    17400

    R语言实现并行计算

    那么我们来看下在R语言中有哪些并行的包:隐式并行:OpenBLAS,Intel MKL,NVIDIA cuBLAS等;显性并行:parallel(主打lapply应用)、foreach(主打for循环)...5. clusterCall() 在并行环境中,一次运行过程在各节点的值。clusterMap便可以直接运行所用的值,并以列表形式展示所有结果。...6. parLapply(), parSapply(), 和 parApply() 和函数 lapply, sapply 及 apply一一对应。可以直接将自定义的函数引入并行环境。...7. clusterApply() 类似parLapply 系列,可以直接运行得到所有结果,输出列表格式。clusterApplyLB()便是对其的优化,具体的优化模式我们就不赘述了。...实例 stopCluster(cl) 以上便是parallel包的全部功能函数,其实并行真正解决的是重复性工作的情况,在P值的计算中应用比较广泛。

    3K31

    上下游,合体!

    根据UMAP降维结果,在整合后的数据上使用FindNeighbors函数建立近邻关系。 创建input_sce.all作为保存整合和降维后数据的备份。...使用DimPlot函数绘制不同分辨率下的UMAP结果,以及不同分辨率下聚类结果的树状图,并保存为PDF文件。...可以发现也是我们之前学习的基本流程 初探单细胞下游 12.输出活跃标识(active.ident)的频数统计表格。 13.将整合和降维后的数据对象保存为RDS文件。...在每次循环中,获取每个marker对应的基因列表,并将标记基因转换为大写字母形式并存储在"genes_to_check"中。...使用 DotPlot函数绘制基因的表达图,其中设置的特征为"genes_to_check",并保存为PDF文件。 对生成的图形进行坐标翻转,并设置x轴标签旋转角度为45度。

    26050

    【数据分析 R语言实战】学习笔记 第二章 数据的读取与保存

    R格式的文件 R的数据或更一般的对象(如向量、矩阵、数据框、列表甚至函数等)可以通过save()保存为R专有的文件格式,以Rdata为后缀。...要读取这类文件,需要用到函数load()来加载。 2.1.8从其他统计软件读入数据 程序包foreign的主要函数 ?...= "", sep = " ", fill = FALSE, labels = NULL,append = FALSE) 其中的参数file表示要输出的文件名,当参数append=TRUE时,在指定文件的末尾添加内容...> a=file("C:/Program Files/RStudio/2.txt") 2.2.2保存为文本文件 通常我们会把R中的向量、矩阵、数据框和列表等对象写入一个文本文件中并保存起来,例如扩展名为...codefile是用于代码输出的文件名称等。

    6.8K10

    Apache Spark 2.2.0 中文文档 - SparkR (R on Spark) | ApacheCN

    我们可以看看如何使用 JSON input file 的例子来使用数据源. 注意, 这里使用的文件是 not 一个经典的 JSON 文件....注意, 如果运行在所有分区上的函数的输出不能 pulled(拉)到 driver 的内存中过去, 则 dapplyCollect 会失败. # Convert waiting time from hours...dataset 上通过 input colums(输入列)来进行 grouping(分组)并且使用 gapply or gapplyCollect 来运行一个指定的函数) gapply 应用给一个函数到... spark.lapply 分发运行一个本地的 R 函数 spark.lapply 类似于本地 R 中的 lapply, spark.lapply 在元素列表中运行一个函数,并使用 Spark 分发计算...以类似于 doParallel 或 lapply 的方式应用于列表的元素. 所有计算的结果应该放在一台机器上.

    2.3K50

    干货:用Python加载数据的5种不同方式,收藏!

    您必须处理Python的常规归档概念,并使用它来读取 .csv 文件。 让我们在100个销售记录文件上执行此操作。 ? 嗯,这是什么????似乎有点复杂的代码!!!...让我们逐步打破它,以便您了解正在发生的事情,并且可以应用类似的逻辑来读取 自己的 .csv文件。 在这里,我创建了一个 load_csv 函数,该函数将要读取的文件的路径作为参数。...数据列表并将其余值存储在 数据列表中。...逻辑 这里的主要逻辑是,我使用readlines() Python中的函数在文件中进行了迭代 。此函数返回一个列表,其中包含文件中的所有行。...当阅读标题时,它会将新行检测为 \ n 字符,即行终止字符,因此为了删除它,我使用了 str.replace 函数。

    2.8K10
    领券