您的位置 首页 > 数码极客

【naive是什么意思】什么是朴素贝叶斯分类器?

前言

朴素的威尼斯算法仍然是流行的十大挖掘算法之一,它是监督学习算法,解决了客户流失与否、投资价值与否、信用等级等多种分类问题。

该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,就会导致算法精度在某种程度上受影响。接下来我们就详细介绍该算法的知识点及实际应用。

朴素贝叶斯的思想

思想很简单,就是根据某些个先验概率计算Y变量属于某个类别的后验概率,请看下图细细道来:

假如,上表中的信息反映的是某P2P企业判断其客户是否会流失(churn),而影响到该变量的因素包含年龄、性别、收入、教育水平、消费频次、支持。那根据这样一个信息,我该如何理解朴素贝叶斯的思想呢?再来看一下朴素贝叶斯公式:

从公式中可知,如果要计算X条件下Y发生的概率,只需要计算出后面等式的三个部分,X事件的概率(P(X)),是X的先验概率、Y属于某类的概率(P(Y)),是Y的先验概率、以及已知Y的某个分类下,事件X的概率(P(X|Y)),是后验概率。从上表中,是可以计算这三种概率值的。即:

P(x)指在所有客户集中,某位22岁的本科女性客户,其月收入为7800元,在12次消费中合计支出4000元的概率;

P(Y)指流失与不流失在所有客户集中的比例;

P(X|Y)指在已知流失的情况下,一位22岁的本科女性客户,其月收入为7800元,在12次消费中合计支出4000元的概率。

如果要确定某个样本归属于哪一类,则需要计算出归属不同类的概率,再从中挑选出最大的概率。

我们把上面的贝叶斯公式写出这样,也许你能更好的理解:

而这个公式告诉我们,需要计算最大的后验概率,只需要计算出分子的最大值即可,而不同水平的概率P(C)非常容易获得,故难点就在于P(X|C)的概率计算。而问题的解决,正是聪明之处,即贝叶斯假设变量X间是条件独立的,故而P(X|C)的概率就可以计算为:

也许,这个公式你不明白,我们举个例子(上表的数据)说明就很容易懂了。

对于离散情况:

假设已知某个客户流失的情况下,其性别为女,教育水平为本科的概率:

上式结果中的分母4为数据集中流失有4条观测,分子2分别是流失的前提下,女性2名,本科2名。

假设已知某个客户未流失的情况下,其性别为女,教育水平为本科的概率

上式结果中的分母3为数据集中未流失的观测数,分子2分别是未流失的前提下,女性2名,本科2名。

从而P(C|X)公式中的分子结果为:

对于连续变量的情况就稍微复杂一点,并非计算频率这么简单,而是假设该连续变量服从正态分布(即使很多数据并不满足这个条件),先来看一下正态分布的密度函数:

要计算连续变量中某个数值的概率,只需要已知该变量的均值和标准差,再将该数值带入到上面的公式即可。

有关朴素贝叶斯分类器的理论部分就讲解到这里,希望读者能够理解,如果您还有不明白的地方可以给我留言。接下来我们就看一下,在R语言中,是如何实现朴素贝叶斯算法的落地的。

R语言函数简介

R语言中的klaR包就提供了朴素贝叶斯算法实现的函数NaiveBayes,我们来看一下该函数的用法及参数含义:

NaiveBayes(formula, data, ..., subset, na.action= na.pass)

NaiveBayes(x, grouping, prior, usekernel= FALSE, fL = 0, ...)

formula指定参与模型计算的变量,以公式形式给出,类似于y=x1+x2+x3;

data用于指定需要分析的数据对象;

na.action指定缺失值的处理方法,默认情况下不将缺失值纳入模型计算,也不会发生报错信息,当设为“na.omit”时则会删除含有缺失值的样本;

x指定需要处理的数据,可以是数据框形式,也可以是矩阵形式;

grouping为每个观测样本指定所属类别;

prior可为各个类别指定先验概率,默认情况下用各个类别的样本比例作为先验概率;

usekernel指定密度估计的方法(在无法判断数据的分布时,采用密度密度估计方法),默认情况下使用正态分布密度估计,设为TRUE时,则使用核密度估计方法;

fL指定是否进行拉普拉斯修正,默认情况下不对数据进行修正,当数据量较小时,可以设置该参数为1,即进行拉普拉斯修正。

R语言实战

本次实战内容的数据来自于UCI机器学习网站,后文会给出数据集合源代码的链接。

# 下载并加载所需的应用包if(!suppressWarnings(require('caret'))){ in('caret') require('caret')}if(!suppressWarnings(require('klaR'))){ in('klaR') require('klaR')}if(!suppressWarnings(require('pROC'))){ in('pROC') require('pROC')}# 读取蘑菇数据集mydata <- read.csv(file = ())# 简单的了解一下数据str(mydata)summary(mydata)

该数据集中包含了8124个样本和22个变量(如蘑菇的颜色、形状、光滑度等)。

# 抽样,并将总体分为训练集和测试集(12)index <- sample(1:nrow(mydata), size = 0.75*nrow(mydata))train <- mydata[index,]test <- mydata[-index,]# 大致查看抽样与总体之间是否吻合(table(mydata$type))(table(train$type))(table(test$type))

原始数据中毒蘑菇与非毒蘑菇之间的比较比较接近,通过抽选训练集和测试集,发现比重与总体比例大致一样,故可认为抽样的结果能够反映总体状况,可进一步进行建模和测试。

由于影响蘑菇是否有毒的变量有21个,可以先试着做一下特征选择,这里我们就采用随机森林方法(借助caret包实现特征选择的工作)进行重要变量的选择:

#构建rfe函数的控制参数(使用随机森林函数和10重交叉验证抽样方法,并抽取5组样本)rfeControls_rf <- rfeControl( functions = rfFuncs, method = 'cv', repeats = 5)#使用rfe函数进行特征选择 fs_nb <- rfe(x = train[,-1], y = train[,1], sizes = seq(4,21,2), rfeControl = rfeControls_rf)fs_nbplot(fs_nb, type = c('g','o'))fs_nb$optVariables

结果显示,21个变量中,只需要选择6个变量即可,下图也可以说明这一点:

所需要选择的变量是:

接下来,我们就针对这6个变量,使用朴素贝叶斯算法进行建模和预测:

# 使用klaR包中的NaiveBayes函数构建朴素贝叶斯算法vars <- c('type',fs_nb$optVariables)fit <- NaiveBayes(type ~ ., data = train[,vars])# 预测pred <- predict(fit, newdata = test[,vars][,-1])# 构建混淆矩阵freq <- table(pred$class, test[,1])freq

# 模型的准确率accuracy <- sum(diag(freq))/sum(freq)accuracy

# 模型的AUC值modelroc <- roc(test[,1]), as.integer(factor(pred$class)))# 绘制ROC曲线plot(modelroc, = TRUE, auc.polygon = TRUE, grid = c), grid.col = c('green','red'), max.auc.polygon = TRUE, auc. = 'steelblue')

通过朴素贝叶斯模型,在测试集中,模型的准确率约为97%,而且AUC的值也非常高,一般超过0.8就说明模型比较理想了。

End.

作者:刘顺祥(中国统计网特邀认证作者)

本文为头条号作者原创。未经允许,不得转载。

运行人员:中国统计网小编(微信号:itongjilove)

中国统计网,是国内最早的大数据学习网站,公众号:中国统计网

关于作者: admin

无忧经验小编鲁达,内容侵删请Email至wohenlihai#qq.com(#改为@)

热门推荐