R 语言 朴素贝叶斯算法

朴素贝叶斯算法

学习与分类算法

1 训练数据

X1<-c(1,1,1,1,1,2,2,2,2,2,3,3,3,3,3)
X2<-c("S","M","M","S","S","S","M","M","L","L","L","M","M","L","L")
Y<-c(-1,-1,1,1,-1,-1,-1,1,1,1,1,1,1,1,-1)

2 采用模型学习

对于一个新的实例的特征x，x的取值必须是已知特征的取值范围内的，就可以进行后验概率的估计，否则无法使用朴素贝叶斯进行预测

#cls指的是“class”类别属性，也就是因变量：，atr指的是一个包含特征名称的字符串向量，特征顺序是可以任意的
#data 是数据框Imada是控制参数，=0，模型采用极大似然估计法进行学习>0,模型采用贝叶斯估计法进行学习
#=1，使用的是拉普拉斯平滑法，所有的组建信息可通过names()或srt()获取

1. navieBayes<-function(cls= "Y",atr=c("X1","X2"),data=NULL,lmada=0){
2. if(!is.data.frame(data)) stop("Please enter a data frame.")
3. if(lmada<0) stop("lmada must be greater than or equal to ZERO.")
4. d<-as.data.frame(apply(data,2,as.factor))
5. n<-nrow(d)
6. prodvar_lst<-list()#用来装计算出来的概率
7. prec_var<-d[cls][,1];levelprec<-levels(prec_var);lprec<-length(levelprec)
8. prec_p<-data.frame(level=levelprec,prob=NA)
9. for(i in 1:lprec){
10. prec_p[i,2]<-(sum(prec_var==levelprec[i])+lmada)/(n+lprec*lmada)
11. }#类Y的先验概率
12. prodvar_lst[[cls]]<-prec_p
13. lvar=length(atr)#特征个数
14. for(i in 1:lvar){ #特征的条件先验概率
15. xvar<-d[atr[i]][,1]
16. txy<-table(xvar,prec_var)+lmada
17. ptxy<-prop.table(txy,2)
18. prodvar_lst[[atr[i]]]<-ptxy}
19. prodvar_lst$lmada<-lmada
20. prodvar_lst$response<-cls
21. prodvar_lst$variables<-atr
22. class(prodvar_lst)<-"navieBayes" #指定输出对象的类
23. return(prodvar_lst)}

3 打印结果

1. print.navieBayes<-function(obj){
2. cat("response=prec_var: ",obj$response,";","lmada=",obj$lmada,"\n","\n")
3. cat("The variables are:", obj$variables,"\n","\n")
4. lobj<-length(c(obj$response,obj$variables))
5. print.default(obj[1:lobj])}

4 对一个进行预测

1. preCnavieBayes<-function(NBobj,cls=NULL,atr=NULL,atr_value=NULL){
2. #只能对一个函数进行预测
3. level<-NBobj[[cls]][,1];ncls<-length(level)
4. latr<-length(NBobj)-4#特征的个数
5. start_atr<-2
6. end_atr<-latr+1
7. predict_df<-data.frame(matrix(NA,ncls,latr+2))#先建立一个数据框储存结果
8. colnames(predict_df)<-c(atr,"level","post_p")
9. for(l in 1:latr){
10. predict_df[1:ncls,l]<-atr_value[l]
11. }
12. predict_df$level<-level
13. for(i in 1:ncls){
14. xvec<-NULL
15. for(j in start_atr:end_atr){
16. xwhich<-which(rownames(NBobj[[atr[j-1]]])==as.character(atr_value[j-1]))
17. ywhich<-which(colnames(NBobj[[atr[j-1]]])==as.character(predict_df$level[i]))
18. px<-NBobj[[atr[j-1]]][xwhich,ywhich]
19. xvec<-c(xvec,px) }
20. ypre<-NBobj[[1]][,2][i]
21. predict_df[i,4]<-ypre*prod(xvec)
22. }
23. return(predict_df)
24. }

5 对多个样本实例进行预测

1. predict.navieBayes<-function(NBobj,cls=NULL,atr=NULL,atr_value=NULL){
2. if(!is.data.frame(atr_value)) stop("atr_value must be a data.frame!")
3. post_lst<-apply(atr_value,1,preCnavieBayes,NBobj=NBobj,atr= atr,cls=cls)
4. lst<-length(post_lst)
5. post_df<-NULL
6. for(i in 1:lst) {
7. prc_df<-post_lst[[i]]
8. post_df<-rbind(post_df,prc_df)}
9. cat("The response :",cls,"\n")
10. return(post_df)}

6 确定实例

1. dataB4.1<-data.frame(X1=X1,X2=X2,Y=Y)#将训练数据储存在数据框中
2. pred_var<-data.frame(X1=c(2),X2=c("S"))
3. #需要预测的实例
4. plist<-navieBayes(cls="Y",atr=c("X1","X2"),data=dataB4.1,lmada=0)#训练模型
5. predict(plist,cls="Y",atr=c("X1","X2"),atr_value=pred_var)#预测模型
6. 1/15
7. 1/45
8. plist#打印“navieBayes”类
9. plist1<-navieBayes(cls="Y",atr=c("X1","X2"),data=dataB4.1,lmada=1)#训练模型
10. predict(plist1,cls="Y",atr=c("X1","X2"),atr_value=pred_var)#预测模型