paddlex版本问题
前一天paddlex2.0还可以用,第二天就报版本的问题,解决方法就是重装1.3的版本
PaddleX/tutorials/train at release/2.0-rc · PaddlePaddle/PaddleX (github.com)
本教程使用到的数据集
0. paddlex API
1. 相关库下载
在本地如果还没有安装飞桨的,还要提前安装pip paddlepaddle
!pip install paddlex -i https://mirror.baidu.com/pypi/simple
!pip install imgaug -i https://mirror.baidu.com/pypi/simple
!pip install paddlehub==1.6.2
!pip show paddlex
2. 数据处理
1.划分训练集验证集
为了用于训练,我们需要在 MyDataset
目录下准备 train_list.txt
, val_list.txt
和 labels.txt
三个文件,分别用于表示训练集列表,验证集列表和类别标签列表。点击下载目标检测示例数据集
注:也可使用PaddleX自带工具,对数据集进行随机划分, 在数据集按照上面格式组织后,使用如下命令即可快速完成数据集随机划分,其中val_value表示验证集的比例,test_value表示测试集的比例(可以为0),剩余的比例用于训练集。
paddlex --split_dataset --format VOC --dataset_dir MyDataset --val_value 0.2 --test_value 0.1
import cv2
import os
from tqdm import tqdm
from random import shuffle
labels = ['car', 'van', 'bus', 'others']
base ='VOCData/'
imgs=[v for v in os.listdir(base+'JPEGImages')]
len_imgs=len(imgs)
len_train=int(0.7*len_imgs)
print("训练集长度为 {}".format(len_train))
print("测试集长度为 {}".format(len_eval))
train_imgs=imgs[:len_train]
eval_imgs=imgs[len_train:]
shuffle(imgs)
with open('train.txt','w') as f:
for img in tqdm(train_imgs):
xml="Annotations/"+img[:-4]+'.xml'
info="JPEGImages/"+img+" "+xml
if not cv2.imread(os.path.join(base+'JPEGImages',img)) is None:
f.write(info+'\n')
else:
print("文件"+img+"不存在")
with open('eval.txt','w') as f:
for img in tqdm(eval_imgs):
xml="Annotations/"+img[:-4]+'.xml'
info="JPEGImages/"+img+" "+xml
if not cv2.imread(os.path.join(base+'JPEGImages',img)) is None:
f.write(info+'\n')
else:
print("文件"+img+"不存在")
with open('label.txt','w') as f:
for label in tqdm(labels):
f.write(label+'\n')
2.数据集文件夹结构
在PaddleX中,目标检测支持PascalVOC数据集格式。建议用户将数据集按照如下方式进行组织,原图均放在同一目录,如 JPEGImages
,标注的同名xml文件均放在同一目录,如 Annotations
,示例如下
MyDataset/ # 目标检测数据集根目录
|--JPEGImages/ # 原图文件所在目录
| |--1.jpg
| |--2.jpg
| |--...
| |--...
|
|--Annotations/ # 标注文件所在目录
| |--1.xml
| |--2.xml
| |--...
| |--...
labels.txt
labels.txt用于列出所有类别,类别对应行号表示模型训练过程中类别的id(行号从0开始计数),例如labels.txt为以下内容
dog
cat
snake
表示该检测数据集中共有3个目标类别,分别为 dog
, cat
和 snake
,在模型训练中 dog
对应的类别id为0, cat
对应1,以此类推
train_list.txt
train_list.txt列出用于训练时的图片集合,与其对应的标注文件,示例如下
JPEGImages/1.jpg Annotations/1.xml
JPEGImages/2.jpg Annotations/2.xml
... ...
其中第一列为原图相对 MyDataset
的相对路径,第二列为标注文件相对 MyDataset
的相对路径
val_list.txt
val_list列出用于验证时的图片集成,与其对应的标注文件,格式与val_list.txt一致
3.数据增强
paddlex.det.transforms — PaddleX 文档
from paddlex.det import transforms
import imgaug.augmenters as iaa
trian_transforms=transforms.Compose([
transforms.RandomCrop(),
iaa.GaussianBlur(sigma=(0.0,3.0)),
iaa.MultiplyAndAddToBrightness(mul=(0.5, 1.5), add=(-30, 30)),
iaa.Cutout(fill_mode="constant", cval=(0, 255), fill_per_channel=0.5),
transforms.RandomHorizontalFlip(),
iaa.SaltAndPepper(0.1),
transforms.Normalize(),
])
eval_transforms = transforms.Compose([
transforms.Normalize(),
])
4.数据集加载
import paddlex
base ='VOCData/'
train_dataset=paddlex.datasets.VOCDetection(
data_dir=base,
file_list='train.txt',
label_list='label.txt',
transforms=trian_transforms,
shuffle=True
)
eval_dataset=paddlex.datasets.VOCDetection(
data_dir=base,
file_list='eval.txt',
label_list='label.txt',
transforms=eval_transforms,
)
3. 训练模型
num_class=len(train_dataset.labels)
print("检测类别数:{}".format(num_class))
model=paddlex.det.YOLOv3(num_classes=num_class,backbone='MobileNetV3_large')
model.train(
num_epochs=50,
train_dataset=train_dataset,
train_batch_size=8,
eval_dataset=eval_dataset,
learning_rate=0.0000125,
warmup_steps=100,
lr_decay_epochs=[30, 38],
save_interval_epochs=32,
log_interval_steps=100,
save_dir='./VehicleDetection',
pretrain_weights='VehicleDetection/best_model',
use_vdl=True,
resume_checkpoint='VehicleDetection/best_model'
)
训练指标
EpochEpoch=4/20[迭代轮数]所有训练数据会被训练20轮,当前处于第4轮StepStep=62/66[迭代步数]所有训练数据被训练一轮所需要的迭代步数为66,当前处于第62步lossloss=0.007226[损失函数值]参与当前迭代步数的训练样本的平均损失函数值loss,loss值越低,表明模型在训练集上拟合的效果越好(如上日志中第1行表示第4个epoch的第62个Batch的loss值为0.007226)lrlr=0.008215[学习率]当前模型迭代过程中的学习率time_each_steptime_each_step=0.41s[每步迭代时间]训练过程计算得到的每步迭代平均用时etaeta=0:9:44[剩余时间]模型训练完成所需剩余时间预估为0小时9分钟44秒
; 评估通用统计信息
PaddleX所有模型在训练过程中会根据用户设定的 save_interval_epochs
参数,每间隔一定轮数进行评估和保存。例如 分类模型的评估日志,如下图所示。
上图中第1行表明验证数据集中样本数为240,需要迭代8步才能评估完所有验证数据;第5行用于表明第2轮的模型已经完成保存操作;第6行则表明当前保存的模型中,第2轮的模型在验证集上指标最优(分类任务看 acc1
,此时 acc1
值为0.258333),最优模型会保存在 best_model
目录中。
训练参数调整
PaddleX所有训练接口中,内置的参数均为根据单GPU卡相应batch_size下的较优参数,用户在自己的数据上训练模型,涉及到参数调整时,如无太多参数调优经验,则可参考如下方式
0.如何使用多GPU卡进行训练
在 import paddlex
前配置环境变量,代码如下
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import paddlex as pdx
import os
os.environ['CUDA_VISIBLE_DEVICES'] = ''
import paddlex as pdx
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,3'
import paddlex as pdx
1.num_epochs的调整
num_epochs是模型训练迭代的总轮数(模型对训练集全部样本过一遍即为一个epoch),用户可以设置较大的数值,根据模型迭代过程在验证集上的指标表现,来判断模型是否收敛,进而提前终止训练。此外也可以使用 train
接口中的 early_stop
策略,模型在训练过程会自动判断模型是否收敛自动中止。
2.batch_size和learning_rate
- Batch Size指模型在训练过程中,前向计算一次(即为一个step)所用到的样本数量
- 如若使用多卡训练, batch_size会均分到各张卡上(因此需要让batch size整除卡数)
- Batch Size跟机器的显存/内存高度相关,
batch_size
越高,所消耗的显存/内存就越高 - PaddleX在各个
train
接口中均配置了默认的batch size(默认针对单GPU卡),如若训练时提示GPU显存不足,则相应调低BatchSize,如若GPU显存高或使用多张GPU卡时,可相应调高BatchSize。 - 如若用户调整batch size,则也注意需要对应调整其它参数,特别是train接口中默认的learning_rate值。如在YOLOv3模型中,默认
train_batch_size
为8,learning_rate
为0.000125,当用户将模型在2卡机器上训练时,可以将train_batch_size
调整为16, 那么同时learning_rate
也可以对应调整为0.000125 * 2 = 0.00025
3.warmup_steps和warmup_start_lr
在训练模型时,一般都会使用预训练模型,例如检测模型在训练时使用backbone在ImageNet数据集上的预训练权重。但由于在自行训练时,自己的数据与ImageNet数据集存在较大的差异,可能会一开始由于梯度过大使得训练出现问题,这种情况下可以在刚开始训练时,让学习率以一个较小的值,慢慢增长到设定的学习率。 warmup_steps
和 warmup_start_lr
就是起到这个作用,模型开始训练时,学习率会从 warmup_start_lr
开始,在 warmup_steps
个batch数据迭代后线性增长到设定的学习率。
例如YOLOv3的train接口,默认
train_batch_size
为8,learning_rate
为0.000125,warmup_steps
为1000,warmup_start_lr
为0.0;在此参数配置下表示,模型在启动训练后,在前1000个step(每个step使用一个batch的数据,即8个样本)内,学习率会从0.0开始线性增长到设定的0.000125。
4.lr_decay_epochs和lr_decay_gamma
lr_decay_epochs
用于让学习率在模型训练后期逐步衰减,它一般是一个list,如[6, 8, 10],表示学习率在第6个epoch时衰减一次,第8个epoch时再衰减一次,第10个epoch时再衰减一次。每次学习率衰减为之前的学习率*lr_decay_gamma。
例如YOLOv3的train接口,默认
num_epochs
为270,learning_rate
为0.000125,lr_decay_epochs
为[213, 240],lr_decay_gamma
为0.1;在此参数配置下表示,模型在启动训练后,在前213个epoch中,训练时使用的学习率为0.000125,在第213至240个epoch之间,训练使用的学习率为0.000125×0.1=0.0000125,在240个epoch之后,使用的学习率为0.000125×0.1×0.1=0.00000125
5.参数设定时的约束
根据上述几个参数,可以了解到学习率的变化分为WarmUp热身阶段和Decay衰减阶段,
- Wamup热身阶段:随着训练迭代,学习率从较低的值逐渐线性增长至设定的值,以step为单位
- Decay衰减阶段:随着训练迭代,学习率逐步衰减,如每次衰减为之前的0.1, 以epoch为单位
- step与epoch的关系:1个epoch由多个step组成,例如训练样本有800张图像,
train_batch_size
为8, 那么每个epoch都要完整用这800张图片训一次模型,而每个epoch总共包含800//8即100个step
在PaddleX中,约束warmup必须在Decay之前结束,因此各参数设置需要满足下面条件
warmup_steps <= lr_decay_epochs[0] * num_steps_each_epoch < code></=>
其中 num_steps_each_epoch
计算方式如下,
num_steps_each_eposh = num_samples_in_train_dataset // train_batch_size
因此,如若你在启动训练时,被提示 warmup_steps should be less than...
时,即表示需要根据上述公式调整你的参数啦,可以调整 lr_decay_epochs
或者是 warmup_steps
。
4. 模型评估
评估通用统计信息
PaddleX所有模型在训练过程中会根据用户设定的 save_interval_epochs
参数,每间隔一定轮数进行评估和保存。例如 分类模型的评估日志,如下图所示。
上图中第1行表明验证数据集中样本数为240,需要迭代8步才能评估完所有验证数据;第5行用于表明第2轮的模型已经完成保存操作;第6行则表明当前保存的模型中,第2轮的模型在验证集上指标最优(分类任务看 acc1
,此时 acc1
值为0.258333),最优模型会保存在 best_model
目录中。
检测可以使用两种评估标准:VOC评估标准和COCO评估标准。
; VOC评估标准
注:
map
为平均准确率的平均值,即IoU(Intersection Over Union)取0.5时各个类别的准确率-召回率曲线下面积的平均值。
上图中第3行 bbox_map
表示检测任务中整个验证集的平均准确率平均值。
5. 保存模型/导出部署
./YOLOv3/best_model 文件下的文件
!paddlex --export_inference --model_dir=./YOLOv3/best_model --save_dir=./det_inference_model
6. 模型剪切
7. 加载模型
import paddlex as pdx
model = pdx.deploy.Predictor('det_inference_model')
image_name = 'demo.jpg'
result = model.predict(image=image_name)
print(len(result))
print(result)
98
[{'category_id': 0, 'bbox': [84.8077392578125, 494.5171203613281, 54.4744873046875, 54.580902099609375], 'score': 0.6862342357635498, 'category': 'pt'}, {'category_id': 0, 'bbox': [301.1315002441406, 498.1654357910156, 48.0050048828125, 45.606719970703125], 'score': 0.6020365953445435, 'category': 'pt'}, {'category_id': 0, 'bbox': [88.00811004638672,
import paddlex as pdx
test_jpg = 'VOCData/JPEGImages/MVI_20011__img00285.jpg'
model=pdx.deploy.Predictor('det_inference_model')
result = model.predict(test_jpg)
pdx.det.visualize(test_jpg, result, threshold=0.2, save_dir='./result')
可能存在的问题:
在本地电脑:
pdx.det.visualize(test_jpg, result, threshold=0.2, save_dir='./result')
出现 Initializing libiomp5md.dll, but found libiomp5md.dll already initialized问题
方式一:(亲测有效)
允许副本存在,忽略报错;在程序开头添加如下代码:
添加语句:
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
方式二:
把numpy卸载干净再重装。
pip uninstall numpy
pip install numpy
Original: https://blog.csdn.net/naexting/article/details/120065054
Author: 玛莱之盾
Title: paddlex训练模型以目标检测为例
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/645265/
转载文章受原作者版权保护。转载请注明原作者出处!