这是《机器学习实战》系列博文的第二篇，这里要介绍的是朴素贝叶斯分类。

朴素贝叶斯分类算法是基于概率论中的贝叶斯公式得到的，也是比较常用的一种算法，而朴素代表的是属性之间的独立性，这样联合概率可以转换成各概率分量的乘积。

 

其实这个算法的思想就是贝叶斯公式，如果不是很了解也没什么关系，只要看点例子就明白了，但由于这里只想给大家提供一些实用代码，因此就不仔细说例子了，《机器学习实战》中的那个灰石头的例子就不错，另外，如果还感觉不是很清楚，推荐看一下《数据挖掘导论》中贝叶斯分类器部分。

 

不说废话了，现在开始介绍朴素贝叶斯的matlab代码编写，这里我们的目标是利用朴素贝叶斯进行文档分类，即确定该文档是侮辱类还是非侮辱类，分别以1和0表示。

%% 建立测试数据 postingList = [{‘my dog has flea problems help please’};                {‘maybe not take him to dog park stupid’};                {‘my dalmation is so cute I love him’};                {‘stop posting stupid worthless garbage’};                {‘mr licks ate my steak how to stop him’};                {‘quit buying worthless dog food stupid’}]; classVec = [0, 1, 0, 1, 0, 1];

意义应该还是比较明确的，就是说2,4,6是带有侮辱性语句的文档

%% 创建无重复单词的列表 [m, n] = size(postingList); VocabList = [];   for  i = 1: m     tempstr = postingList{i};     str_split = regexp(tempstr, ‘W*s+’, ‘split’);     VocabList = [VocabList, str_split]; end   VocabList_unique = unique(VocabList);

可以看一下单词列表

 

 

由于单词不好进行表述，我们需要根据单词列表创建一个向量表示列表中的单词是否出现，出现用1表示，未出现用0表示。

setOfWords2Vec.m文件如下

function wordsVec = setOfWords2Vec(vocabList, inputSet)   vocabList = unique(vocabList); inputSet = unique(inputSet);   Listnum = length(vocabList); inputnum = length(inputSet);   wordsVec = zeros(1, Listnum); for  i = 1: inputnum     for j = 1: Listnum         if (strcmp(vocabList{j}, inputSet{i}))             wordsVec(j) = 1;         end             end  end

列表向量测试代码如下

%% 创建列表向量测试 tempstr = postingList{1}; str_split = regexp(tempstr, ‘W*s+’, ‘split’);   wordsVec = setOfWords2Vec(VocabList_unique, str_split);

测试结果如下

上面的意思是测试postingList第一句’my dog has flea problems help please’

在单词表中的描述，对照上面的单词列表可以看到结果是正确的，比如wordsVec中的第六第七项为1，在单词表中表示的是dog 和 flea，这连个此时在上面那句话中出现的。

 

trainNB0.m文件

function [p0Vect, p1Vect, pAbusive] = trainNB0(trainMatrix, trainCategory)   [m, n] = size(trainMatrix); pAbusive = sum(trainCategory) / m;   p1words = trainMatrix(find(trainCategory), :); p0words = trainMatrix(find(1 – trainCategory), :);   p0wordscount = sum(p0words, 1) + 1; % 加1是为了防止出现0概率 p1wordscount = sum(p1words, 1) + 1;   p0Vect = log(p0wordscount ./ sum(p0wordscount)); p1Vect = log(p1wordscount ./ sum(p1wordscount));

 

这段代码还是要说明一下的

（1）注释位置那句对每个单词的出现初始化为1，就是说就算单词没出现，也将其计算为1，这是防止出现0概率，导致乘积为0。当然避免这个的方法有很多，每本书都不太一样，这里的+1采用的是Laplace平滑方法。

（2）最后算概率加了个log是减少其动态范围。

这两个都是为了实际应用对代码进行的修改，也就是说，就基本原理而言，不需要+1和增加log。

 

下面，我们对这个代码进行测试

%% 测试trainNB0 trainMatrix = []; for  i = 1: m     tempstr = postingList{i};     str_split = regexp(tempstr, ‘W*s+’, ‘split’);     wordsVec = setOfWords2Vec(VocabList_unique, str_split);     trainMatrix = [trainMatrix;wordsVec]; end   [p0V, p1V, pAb] = trainNB0(trainMatrix, classVec);

 

p0V代表0分类下，每个单词的出现概率，也就是先验概率（由于用了log，所以是负数，并且由于+1，故没有无穷大项目）

p(0|w) = p(w|0)*p(0) / p(w)

p(1|w) = p(w|1)*p(1) / p(w)

 

如果p(0|w) > p(1|w)分类就是0，反之就是1

 

代码如下

classifyNB.m

function classRes = classifyNB(vec2Classify, p0Vec, p1Vec, pClass1) p1 = sum(vec2Classify .* p1Vec) + log(pClass1); p0 = sum(vec2Classify .* p0Vec) + log(1 – pClass1); if  p1 > p0     classRes = 1; else     classRes = 0; end

说明：

由于前面的概率是以log形式表示的，所以乘积就变成了加法，还有就是p(w)不影响比较结果，因此未予计算。

测试代码如下

%% 进行分类测试 testEntry = ‘love my dalmation’; str_split = regexp(testEntry, ‘W*s+’, ‘split’); wordsVec1 = setOfWords2Vec(VocabList_unique, str_split); classRes1 = classifyNB(wordsVec1, p0V, p1V, pAb);   testEntry = ‘stupid garbage’; str_split = regexp(testEntry, ‘W*s+’, ‘split’); wordsVec2 = setOfWords2Vec(VocabList_unique, str_split); classRes2 = classifyNB(wordsVec2, p0V, p1V, pAb);

结果就是

classRes1 = 0

classRes2 = 1

也就是说，分类确定第二句带有侮辱性，其实从其中的stupid就可以看出

 

前面就说过，这个算法应用很广，《实战》中给出了两个实例，一个是垃圾邮件分类，这个和我们这里做的文本分类非常类似，另外一个就是从个人广告中获取区域倾向。都是平时我们经常使用的功能，如果有兴趣可以自己编着试一下，很多还是挺有意思的。