unique函数作用:把数据结构中,行相同的数据去除。
#导入CSV数据
data <- read.csv('1.csv', fileEncoding = "UTF-8", stringsAsFactors = FALSE);
#对重复数据去重
new_data <- unique(data)
重复值处理函数:unique,用于清洗数据中的重复值。
“dplyr”包中的distinct() 函数更强大:
distinct(df,V1,V2) 根据V1和V2两个条件来进行去重
unique()是对整个数据框进行去重,而distinct()可以针对某些列进行去重。
缺失值的产生
①有些信息暂时无法获取
②有些信息被遗漏或者错误处理了
缺失值的处理方式
①数据补齐(例如用平均值填充)
②删除对应缺失值(如果数据量少的时候慎用)
③不处理
na.omit函数作用:去除数据结构中值为NA的数据
#缺失数据清洗
#读取数据
data <- read.csv('1.csv', fileEncoding = "UTF-8");
#清洗空数据
new_data <- na.omit(data)
trim函数的作用:用于清除字符型数据前后的空格。
trim函数的语法:trim(x)
注意:
1、trim函数来自raster包,使用前,先使用library(raster)引入该包;
2、如果还没有安装该包,则需先使用install.packages("raster")安装;
#空格数据清洗
data <- read.csv('1.csv');
install.packages('raster', repos='http://cran.r-project.org');
library(raster);
#空格值处理
new_data <- trim(data)
注意install.packages('raster', repos='http://cran.r-project.org')
使用R.studio的小伙伴,在下载包很慢的的时候,可以使用R的官网站点,在中国地区会快很多,以解决此问题。