本文简单讲解一下如何在不平衡样本的情况下进行分类。使用RUSBoost算法，RUSBoost是一个非常简单的针对不平衡数据集的算法，算法如其名，就是RUS+Boost。
RUS（random undersampling）：随机欠抽样，随机从数据集中抽取一定量的多数类样本和少数类组成平衡分布的训练数据集
Boost：指的是 Adaboost.M2 算法
RUSBoost：将Adaboost.M2算法的每轮迭代，在训练弱分类器之前，使用RUS方法抽取训练数据集，用于弱分类器训练。
本文使用来自 UCI 机器学习的”Cover type”数据，见<Covertype Data Set>中所述，本文对森林覆盖类型进行分类。数据集的介绍见如下文章
机器学习_Covertype Data Set(植被型数据集) – 道客巴巴 (doc88.com)
首先获取数据，将数据导入工作区，将最后一个数据列提取到名为|Y|的变量中。
load covtype.data
Y = covtype(:,end);
covtype(:,end) = [];
检查数据
tabulate(Y)
Value Count Percent
1 211840 36.46%
2 283301 48.76%
3 35754 6.15%
4 2747 0.47%
5 9493 1.63%
6 17367 2.99%
7 20510 3.53%
对数据进行划分，使用一半数据拟合分类器，一半用于测试
rng(10,'twister') % 确保复现
part = cvpartition(Y,'Holdout',0.5);
istrain = training(part); % 拟合数据
istest = test(part); % 测试
tabulate(Y(istrain))
Value Count Percent
1 105919 36.46%
2 141651 48.76%
3 17877 6.15%
4 1374 0.47%
5 4747 1.63%
6 8684 2.99%
7 10254 3.53%
创建一个集成分类器，使用deep trees获得更高的集成精度，将树设置为决策拆分的最大数量|N|，其中|N|训练样本的观测值数量
N = sum(istrain);
t = templateTree('MaxNumSplits',N);
tic
rusTree = fitcensemble(covtype(istrain,:),Y(istrain),'Method','RUSBoost', ...
'NumLearningCycles',1000,'Learners',t,'LearnRate',0.1,'nprint',100);
toc
Training RUSBoost…
Grown weak learners: 100
Grown weak learners: 200
Grown weak learners: 300
Grown weak learners: 400
Grown weak learners: 500
Grown weak learners: 600
Grown weak learners: 700
Grown weak learners: 800
Grown weak learners: 900
Grown weak learners: 1000
Elapsed time is 426.143168 seconds.
绘制分类误差
figure;
tic
plot(loss(rusTree,covtype(istest,:),Y(istest),'mode','cumulative'));
toc
grid on;
xlabel('Number of trees');
ylabel('Test classification error');
该集成分类器使用 116个或更多的树实现低于 20% 的分类误差。.
检查每个类的混淆矩阵占真值的百分比
tic
Yfit = predict(rusTree,covtype(istest,:));
toc
tab = tabulate(Y(istest));
bsxfun(@rdivide,confusionmat(Y(istest),Yfit),tab(:,2))*100
除2类外，所有类的分类准确率均超过90%。
压缩集成分类器
cmpctRus = compact(rusTree);
sz(1) = whos('rusTree');
sz(2) = whos('cmpctRus');
[sz(1).bytes sz(2).bytes]
ans =
1.0e+09 *
1.6575 0.9418
集成分类器压缩后的大小大约是原来大小的一半。
从cmpctRus中移除一半的树木看一下
cmpctRus = removeLearners(cmpctRus,[500:1000]);
sz(3) = whos('cmpctRus');
sz(3).bytes
ans =
452637153
移除一半树木的cmpctRus集成分类器占用原集成分类器的四分之一内存，然而其整体损失率低于19%：
L = loss(cmpctRus,covtype(istest,:),Y(istest))
L =
0.1833
完整代码如下
Original: https://blog.csdn.net/weixin_39402231/article/details/127163123
Author: 哥廷根数学学派
Title: MATLAB环境下基于RUSBoost算法的不平衡样本分类
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/665380/
转载文章受原作者版权保护。转载请注明原作者出处！