Yolov5的配置+训练(超级详细!!!)

我本来说只是单纯的记录一下第一次跑代码的流程的,结果看到了这么多大家都收藏和点赞,我决定再稍微改改他的排版,希望更多地朋友能在CV方向迅速上手!
一、NVIDIA驱动安装与更新
首先查看电脑的显卡版本,步骤为:此电脑右击–>管理–>设备管理器–>显示适配器。就可以看到电脑显卡的版本了。如图,可以看到我的是一块NVDIA GeForce MX150显卡。

Yolov5的配置+训练(超级详细!!!)
有显卡驱动的,可以直接在桌面右键,找到英伟达驱动控制面板打开就好了。
Yolov5的配置+训练(超级详细!!!)
显卡驱动的下载地址
Yolov5的配置+训练(超级详细!!!)
安装(更新)好了显卡驱动以后。我们按下win+R组合键,打开cmd命令窗口。输入如下的命令。
nvidia-smi

得到如下图的信息图,可以看到驱动的版本是496.76;最高支持的CUDA版本是11.5版本。得到显卡的最高支持的CUDA版本,我们就可以根据这个信息来安装环境了。

Yolov5的配置+训练(超级详细!!!)
二、Anaconda 的安装
打开网址,现在是2021年12月,对应的anaconda版本是支持python3.9。如果想下载之前的版本,或者更低python版本的anaconda,可以打开网址
Yolov5的配置+训练(超级详细!!!)
双击下载好的anaconda安装包,just me是说只供当前用户使用。all user 是供使用这台电脑的所有用户使用,是权限问题。对空间影响不大。如果你的电脑上只有建了一个用户,all users和just me 的作用是一样的。所以点击just me就好了。
Yolov5的配置+训练(超级详细!!!)
然后点击next,当让你选择安装安装路径的时候,一定不要选择默认安装位置,因为默认位置是c盘,以后要在anaconda里面创建环境的时候会很占内存,最好在D盘中创建一个文件夹来放anaconda。
Yolov5的配置+训练(超级详细!!!)
和图中一样将图中的√勾上,虽然出现红色的警告,但是要勾上,将anaconda添加到环境变量中去。然后点击完成就好了。
Yolov5的配置+训练(超级详细!!!)
安装完成以后,按下开始键(win键)在左边就会出现anaconda3这个文件夹,可以发现anaconda已经安装好了。
Yolov5的配置+训练(超级详细!!!)
三、Pytorch环境安装
按下开始键(win键),打开anaconda的终端。

创建虚拟环境conda create -n 环境名字(英文) python=x.x(python版本),如下,我就是创建了一个名字叫pytorch,python是3.8版本的环境。

conda create -n pytorch python=3.8

在base环境中执行如上的命令,就会创建一个新的虚拟环境,这个虚拟环境会安装一些基础的包,如下图所示。询问是否安装的时候,输入y。就可以创建环境了。

Yolov5的配置+训练(超级详细!!!)

当安装好了以后,执行conda env list这个命令,就可以看到比一开始多了一个pytorch这个环境。现在我们可以在这个环境里面安装深度学习框架和一些Python包了。

conda env list

Yolov5的配置+训练(超级详细!!!)
执行如下命令,激活这个环境。conda activate 虚拟环境名称
conda activate pytorch

安装pytorch-gup版的环境,由于pytorch的官网在国外,下载相关的环境包是比较慢的,所以我们给环境换源。在pytorch环境下执行如下的命名给环境换清华源。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

Yolov5的配置+训练(超级详细!!!)
然后打开pytorch的官网,由于开头我们通过驱动检测到我的显卡为 NVDIA GeForce MX150,最高支持cuda11.5版本,所以我们选择cuda11.3版本的cuda,然后将下面红色框框中的内容复制下来,一定不要把后面的-c pytorch -c conda-forge也复制下来,因为这样运行就是还是在国外源下载,这样就会很慢。
Yolov5的配置+训练(超级详细!!!)
将复制的内容粘贴到pytorch环境下的终端,运行就可以了
Yolov5的配置+训练(超级详细!!!)
四、paddlepaddle环境安装
创建好了名叫paddle这个环境以后,进入到这个环境中(可以在pytorch环境下进入),执行如下命令。

conda activate paddle

我们在打开paddlepaddle的官网。我们选择cuda11.2版本。

Yolov5的配置+训练(超级详细!!!)
复制如下的红色框框中的命令,由于这个命令就是在清华源中下载,所以直接复制这个命令到anaconda prompt中去然后运行就可以了。
运行如上的命名以后(中间会询问您是否确定安装,输入y就可以了),就可以安装paddlepaddle框架所需要的基本环境依赖包(如果中间网不好,导致有些包下载失败,从新运行如上的吗,命令就可以断点下载了)。
Yolov5的配置+训练(超级详细!!!)
至此。pytorch和paddlepaddle的深度学习环境就安装好了。
五、pycharm安装–验证CUDA和cudnn版本
打开这个pycharm 网址,可以发现一共有两个版本一个是专业版(Professional),一个是社区版(Community),专业版是需要花钱的,好几百美元一年。而社区版是免费的,但是也够用了,所以就下载安装社区版就好了。
Yolov5的配置+训练(超级详细!!!)
将下载好的pycharm安装包,双击。安装的地址最好不要放在C盘,我是安装在D盘
Yolov5的配置+训练(超级详细!!!)
将所有的√都勾上,
Yolov5的配置+训练(超级详细!!!)
安装好了点击第二个框框,然后点完成就好了
Yolov5的配置+训练(超级详细!!!)
打开pycharm,创建一个新的工程,来测试anaconda是否在安装pytorch框架的时候也安装了cuda和cudnn。按如下图创建一个工程
Yolov5的配置+训练(超级详细!!!)
按以上的方式创建了一个工程,这时候我们就要选择我们在anaconda里面安装的环境,在界面的右下角
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
此时刚刚的右下角已经有了我们刚刚选择的pytorch环境中的python了。
Yolov5的配置+训练(超级详细!!!)
我们在创建的工程里面创建一个python脚本,在脚本中运行如下代码,查看是否anconda在安装pytorch环境的时候也安装了cuda和cudnn。
import torch
print(torch.cuda.is_available())
print(torch.backends.cudnn.is_available())
print(torch.cuda_version)
print(torch.backends.cudnn.version())

可以发现控制台打印出两个True,可以说明cuda和cudnn已经安装。并且可以得到cuda的版本为11.3和cudnn的版本为8.2版本。

Yolov5的配置+训练(超级详细!!!)
至此我们的深度学习环境安装就已经完全完成。接下来可以在相对的环境下进行深度学习的实验了。
六、labelimg的安装
这里主要讲的是在window系统中的安装,首先打开cmd命令行(快捷键:win+R)。进入cmd命令行控制台。输入如下的命令:
 pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple

运行如上命令后,系统就会自动下载labelimg相关的依赖。由于这是一个很轻量的工具,所以下载起来很快。

Yolov5的配置+训练(超级详细!!!)
七、使用labelimg
首先这里需要准备我们需要打标注的数据集。这里我建议新建一个名为VOC2007的文件夹(这个是约定俗成,不这么做也行),里面创建一个名为JPEGImages的文件夹存放我们需要打标签的图片文件;再创建一个名为Annotations存放标注的标签文件;最后创建一个名为 predefined_classes.txt 的txt文件来存放所要标注的类别名称。
VOC2007的目录结构为:

├── VOC2007
│├── JPEGImages 存放需要打标签的图片文件
│├── Annotations 存放标注的标签文件
│├── predefined_classes.txt 定义自己要标注的所有类别(这个文件可有可无,但是在我们定义类别比较多的时候,最好有这个创建一个这样的txt文件来存放类别)

Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)

首先在JPEGImages这个文件夹放置待标注的图片

Yolov5的配置+训练(超级详细!!!)
然后再 predefined_classes.txt 这个txt文档里面输入定义的类别种类;如下图所示。
Yolov5的配置+训练(超级详细!!!)
之后打开刚刚下载的labelimg
Yolov5的配置+训练(超级详细!!!)
下面介绍图中的我们常用的按钮。
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
这个按键可以说明我们标注的标签为voc格式,点击可以换成yolo或者createML格式。
    点击View,会出现如图红色框框中的选项。最好和我一样把勾勾勾上。

    Auto Save mode:切换到下一张图的时候,会自动保存标签。

    Display Labels:会显示标注框和标签

    Advanced Mode:标注的十字架会一直悬浮在窗口。

常用快捷键如下:

A:切换到上一张图片

D:切换到下一张图片

W:调出标注十字架

del :删除标注框框

Ctrl+u:选择标注的图片文件夹

Ctrl+r:选择标注好的label标签存在的文件夹

8、开始标注
由于我们设置标注的十字架一直在标注界面上,这就不需要我们按快捷键w,然后选定我们需要标注的对象。按住鼠标左键拖出框框就可以了。如下图所示,当我们选定目标以后,就会加载出来predefined_classes.txt 定义自己要标注的所有类别(如果类别多,是真的很方便,就不需要自己手打每个类别的名字了)。打好的标签框框上会有该框框的类别(图中由于颜色的原因不太清晰,仔细看会发现的)。然后界面最右边会出现打好的类别标签。打好一张照片以后,快捷键D,就会进入下一张,这时候就会自动保存标签文件(voc格式会保存xml,yolo会保存txt格式)。

Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
自此labelimg使用讲解就结束了。
9、VOC标签格式转yolo格式并划分训练集和测试集
我们经常从网上获取一些目标检测的数据集资源标签的格式都是VOC(xml格式)的,而yolov5训练所需要的文件格式是yolo(txt格式)的,这里就需要对xml格式的标签文件转换为txt文件。同时训练自己的yolov5检测模型的时候,数据集需要划分为训练集和验证集。这里提供了一份代码将xml格式的标注文件转换为txt格式的标注文件,并按比例划分为训练集和验证集。先上代码再讲解代码的注意事项。
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import random
from shutil import copyfile

classes = ["hat", "person"]

TRAIN_RATIO = 80

def clear_hidden_files(path):
    dir_list = os.listdir(path)
    for i in dir_list:
        abspath = os.path.join(os.path.abspath(path), i)
        if os.path.isfile(abspath):
            if i.startswith("._"):
                os.remove(abspath)
        else:
            clear_hidden_files(abspath)

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(image_id):
    in_file = open('VOCdevkit/VOC2007/Annotations/%s.xml' %image_id)
    out_file = open('VOCdevkit/VOC2007/YOLOLabels/%s.txt' %image_id, 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
    in_file.close()
    out_file.close()
wd = os.getcwd()
wd = os.getcwd()
data_base_dir = os.path.join(wd, "VOCdevkit/")
if not os.path.isdir(data_base_dir):
    os.mkdir(data_base_dir)
work_sapce_dir = os.path.join(data_base_dir, "VOC2007/")
if not os.path.isdir(work_sapce_dir):
    os.mkdir(work_sapce_dir)
annotation_dir = os.path.join(work_sapce_dir, "Annotations/")
if not os.path.isdir(annotation_dir):
        os.mkdir(annotation_dir)
clear_hidden_files(annotation_dir)
image_dir = os.path.join(work_sapce_dir, "JPEGImages/")
if not os.path.isdir(image_dir):
        os.mkdir(image_dir)
clear_hidden_files(image_dir)
yolo_labels_dir = os.path.join(work_sapce_dir, "YOLOLabels/")
if not os.path.isdir(yolo_labels_dir):
        os.mkdir(yolo_labels_dir)
clear_hidden_files(yolo_labels_dir)
yolov5_images_dir = os.path.join(data_base_dir, "images/")
if not os.path.isdir(yolov5_images_dir):
        os.mkdir(yolov5_images_dir)
clear_hidden_files(yolov5_images_dir)
yolov5_labels_dir = os.path.join(data_base_dir, "labels/")
if not os.path.isdir(yolov5_labels_dir):
        os.mkdir(yolov5_labels_dir)
clear_hidden_files(yolov5_labels_dir)
yolov5_images_train_dir = os.path.join(yolov5_images_dir, "train/")
if not os.path.isdir(yolov5_images_train_dir):
        os.mkdir(yolov5_images_train_dir)
clear_hidden_files(yolov5_images_train_dir)
yolov5_images_test_dir = os.path.join(yolov5_images_dir, "val/")
if not os.path.isdir(yolov5_images_test_dir):
        os.mkdir(yolov5_images_test_dir)
clear_hidden_files(yolov5_images_test_dir)
yolov5_labels_train_dir = os.path.join(yolov5_labels_dir, "train/")
if not os.path.isdir(yolov5_labels_train_dir):
        os.mkdir(yolov5_labels_train_dir)
clear_hidden_files(yolov5_labels_train_dir)
yolov5_labels_test_dir = os.path.join(yolov5_labels_dir, "val/")
if not os.path.isdir(yolov5_labels_test_dir):
        os.mkdir(yolov5_labels_test_dir)
clear_hidden_files(yolov5_labels_test_dir)

train_file = open(os.path.join(wd, "yolov5_train.txt"), 'w')
test_file = open(os.path.join(wd, "yolov5_val.txt"), 'w')
train_file.close()
test_file.close()
train_file = open(os.path.join(wd, "yolov5_train.txt"), 'a')
test_file = open(os.path.join(wd, "yolov5_val.txt"), 'a')
list_imgs = os.listdir(image_dir)
prob = random.randint(1, 100)
print("Probability: %d" % prob)
for i in range(0,len(list_imgs)):
    path = os.path.join(image_dir,list_imgs[i])
    if os.path.isfile(path):
        image_path = image_dir + list_imgs[i]
        voc_path = list_imgs[i]
        (nameWithoutExtention, extention) = os.path.splitext(os.path.basename(image_path))
        (voc_nameWithoutExtention, voc_extention) = os.path.splitext(os.path.basename(voc_path))
        annotation_name = nameWithoutExtention + '.xml'
        annotation_path = os.path.join(annotation_dir, annotation_name)
        label_name = nameWithoutExtention + '.txt'
        label_path = os.path.join(yolo_labels_dir, label_name)
    prob = random.randint(1, 100)
    print("Probability: %d" % prob)
    if(prob < TRAIN_RATIO):
        if os.path.exists(annotation_path):
            train_file.write(image_path + '\n')
            convert_annotation(nameWithoutExtention)
            copyfile(image_path, yolov5_images_train_dir + voc_path)
            copyfile(label_path, yolov5_labels_train_dir + label_name)
    else:
        if os.path.exists(annotation_path):
            test_file.write(image_path + '\n')
            convert_annotation(nameWithoutExtention)
            copyfile(image_path, yolov5_images_test_dir + voc_path)
            copyfile(label_path, yolov5_labels_test_dir + label_name)
train_file.close()
test_file.close()

首先数据集的格式结构必须严格按照如图的样式来,因为代码已经将文件名写死了。其实这样也好,因为统一就会规范 。

Yolov5的配置+训练(超级详细!!!)
Annotations里面存放着xml格式的标签文件

JPEGImages里面存放着照片数据文件

    &#x7279;&#x522B;&#x8981;&#x6CE8;&#x610F;&#x7684;&#x662F;&#xFF0C;classes&#x91CC;&#x9762;&#x5FC5;&#x987B;&#x6B63;&#x786E;&#x586B;&#x5199;xml&#x91CC;&#x9762;&#x5DF2;&#x7ECF;&#x6807;&#x6CE8;&#x597D;&#x7684;&#x7C7B;&#xFF0C;&#x8981;&#x4E0D;&#x7136;&#x751F;&#x6210;&#x7684;txt&#x7684;&#x6587;&#x4EF6;&#x662F;&#x4E0D;&#x5BF9;&#x7684;&#x3002;TRAIN_RATIO&#x662F;&#x8BAD;&#x7EC3;&#x96C6;&#x548C;&#x9A8C;&#x8BC1;&#x96C6;&#x7684;&#x6BD4;&#x4F8B;&#xFF0C;&#x5F53;&#x7B49;&#x4E8E;80&#x7684;&#x65F6;&#x5019;&#xFF0C;&#x8BF4;&#x660E;&#x5212;&#x5206;80%&#x7ED9;&#x8BAD;&#x7EC3;&#x96C6;&#xFF0C;20%&#x7ED9;&#x9A8C;&#x8BC1;&#x96C6;&#x3002;

Yolov5的配置+训练(超级详细!!!)
将代码和数据在同一目录下运行,得到如下的结果
Yolov5的配置+训练(超级详细!!!)
在VOCdevkit目录下生成images和labels文件夹,文件夹下分别生成了train文件夹和val文件夹,里面分别保存着训练集的照片和txt格式的标签,还有验证集的照片和txt格式的标签。images文件夹和labels文件夹就是训练yolov5模型所需的训练集和验证集。在VOCdevkit/VOC2007目录下还生成了一个YOLOLabels文件夹,里面存放着所有的txt格式的标签文件。
 &#x81F3;&#x6B64;&#xFF0C;xml&#x683C;&#x5F0F;&#x7684;&#x6807;&#x7B7E;&#x6587;&#x4EF6;&#x8F6C;&#x6362;&#x4E3A;txt&#x683C;&#x5F0F;&#x7684;&#x6807;&#x7B7E;&#x6587;&#x4EF6;&#x5E76;&#x5212;&#x5206;&#x4E3A;&#x8BAD;&#x7EC3;&#x96C6;&#x548C;&#x6D4B;&#x8BD5;&#x96C6;&#x5C31;&#x8BB2;&#x5B8C;&#x4E86;&#x3002;

10、项目的克隆和必要的环境依赖
YOLOv5的代码是开源的,因此我们可以从github上克隆其源码。首先打开yolov5的github的官网(这个网站在国外打开是很慢的,而且是有的时候能正常打开,有的时候是进不去的,但是大家第一次打不开的话,一定要多打开几次。)打开的官网界面如下,这个就是大神glenn-jocher开源的yolov5的项目。

Yolov5的配置+训练(超级详细!!!)

这个开源的项目通过大家的不断的完善和修复已经到了第5个分支,因此我们选择第五个版本来实验,首先点击左上角的master这个图标来选择项目的第5个分支,如下图所示,然后将版本选择好以后,点击右上角的code那个按键,将代码下载下来。至此整个项目就已经准备好了。

将我们下载好的yolov5的代码解压,然后用一款IDE打开(我用的是pycharm),打开之后整个代码目录如下图:

Yolov5的配置+训练(超级详细!!!)
现在来对代码的整体目录做一个介绍:

├──
data:主要是存放一些超参数的配置文件(这些文件(yaml文件)是用来配置训练集和测试集还有验证集的路径的,其中还包括目标检测的种类数和种类的名称);还有一些官方提供测试的图片。如果是训练自己的数据集的话,那么就需要修改其中的yaml文件。但是自己的数据集不建议放在这个路径下面,而是建议把数据集放到yolov5项目的同级目录下面。
├──
models:里面主要是一些网络构建的配置文件和函数,其中包含了该项目的四个不同的版本,分别为是s、m、l、x。从名字就可以看出,这几个版本的大小。他们的检测测度分别都是从快到慢,但是精确度分别是从低到高。这就是所谓的鱼和熊掌不可兼得。如果训练自己的数据集的话,就需要修改这里面相对应的yaml文件来训练自己模型。
├── utils:存放的是工具类的函数,里面有loss函数,metrics函数,plots函数等等。
├── weights:放置训练好的权重参数。
├── detect.py:利用训练好的权重参数进行目标检测,可以进行图像、视频和摄像头的检测。
├── train.py:训练自己的数据集的函数。
├── test.py:测试训练的结果的函数。
├──requirements.txt:这是一个文本文件,里面写着使用yolov5项目的环境依赖包的一些版本,可以利用该文本导入相应版本的包。

以上就是yolov5项目代码的整体介绍。我们训练和测试自己的数据集基本就是利用到如上的代码。

11、环境的安装和依赖的安装
打开requirements.txt这个文件,可以看到里面有很多的依赖库和其对应的版本要求。我们打开pycharm的命令终端,在中输入如下的命令,就可以安装了。
pip install -r requirements.txt

Yolov5的配置+训练(超级详细!!!)
在这个地方我曾经卡了很久,他说pycocotools 包下载不下来,我试了很多办法都搞不定,上网查说是要下载Visual C++ Build Tools 2015 或者visual studio才能搞定,我想着visual studio太大了,就下Visual C++ Build Tools 2015,但这个东西不知道出什么问题了老下载不下来,所以最后还是老老实的下载了visual studio才解决问题。
Yolov5的配置+训练(超级详细!!!)

至此,深度学习的环境和依赖包就都结束了。
13、数据集和预训练权重的准备
13.1利用labelimg标注数据和数据的准备,上面已经说过了
13.2获得预训练权重
一般为了缩短网络的训练时间,并达到更好的精度,我们一般加载预训练权重进行网络的训练。而yolov5的5.0版本给我们提供了几个预训练权重,我们可以对应我们不同的需求选择不同的版本的预训练权重。通过如下的图可以获得权重的名字和大小信息,可以预料的到,预训练权重越大,训练出来的精度就会相对来说越高,但是其检测的速度就会越慢。预训练权重可以通过这个网址进行下载,本次训练自己的数据集用的预训练权重为yolov5s.pt。

Yolov5的配置+训练(超级详细!!!)
14、训练自己的模型
14.1修改数据配置文件
预训练模型和数据集都准备好了,就可以开始训练自己的yolov5目标检测模型了,训练目标检测模型需要修改两个yaml文件中的参数。一个是data目录下的相应的yaml文件,一个是model目录文件下的相应的yaml文件。
   &#x4FEE;&#x6539;data&#x76EE;&#x5F55;&#x4E0B;&#x7684;&#x76F8;&#x5E94;&#x7684;yaml&#x6587;&#x4EF6;&#x3002;&#x627E;&#x5230;&#x76EE;&#x5F55;&#x4E0B;&#x7684;voc.yaml&#x6587;&#x4EF6;&#xFF0C;&#x5C06;&#x8BE5;&#x6587;&#x4EF6;&#x590D;&#x5236;&#x4E00;&#x4EFD;&#xFF0C;&#x5C06;&#x590D;&#x5236;&#x7684;&#x6587;&#x4EF6;&#x91CD;&#x547D;&#x540D;&#xFF0C;&#x6700;&#x597D;&#x548C;&#x9879;&#x76EE;&#x76F8;&#x5173;&#xFF0C;&#x8FD9;&#x6837;&#x65B9;&#x4FBF;&#x540E;&#x9762;&#x64CD;&#x4F5C;&#x3002;&#x6211;&#x8FD9;&#x91CC;&#x4FEE;&#x6539;&#x4E3A;hat.yaml&#x3002;&#xFF08;&#x8FD9;&#x4E2A;&#x540D;&#x5B57;&#x662F;&#x968F;&#x4FBF;&#x8D77;&#x7684;&#xFF09;

Yolov5的配置+训练(超级详细!!!)
打开这个文件夹修改其中的参数,首先将箭头1中的那一行代码注释掉(我已经注释掉了),如果不注释这行代码训练的时候会报错;箭头2中需要将训练和测试的数据集的路径填上(最好要填绝对路径,有时候由目录结构的问题会莫名奇妙的报错);箭头3中需要检测的类别数,我这里是识别安全帽和人,所以这里填写2;最后箭头4中填写需要识别的类别的名字(必须是英文,否则会乱码识别不出来)。到这里和data目录下的yaml文件就修改好了。
Yolov5的配置+训练(超级详细!!!)
14.2修改模型配置文件
由于该项目使用的是yolov5s.pt这个预训练权重,所以要使用models目录下的yolov5s.yaml文件中的相应参数(因为不同的预训练权重对应着不同的网络层数,所以用错预训练权重会报错)。同上修改data目录下的yaml文件一样,我们最好将yolov5s.yaml文件复制一份,然后将其重命名,我将其重命名为yolov5_hat.yaml。

Yolov5的配置+训练(超级详细!!!)

打开yolov5_hat.yaml文件只需要修改如图中的数字就好了,这里是识别12个类别

Yolov5的配置+训练(超级详细!!!)
至此,相应的配置参数就修改好了。
14.3 训练自己的模型启用tensorbord查看参数
如果上面的数据集和两个yaml文件的参数都修改好了的话,就可以开始yolov5的训练了。首先我们找到train.py这个py文件。
Yolov5的配置+训练(超级详细!!!)
然后找到主函数的入口,这里面有模型的主要参数。模型的主要参数解析如下所示。
  • [ ]
  • if name == ‘ main‘:
    opt模型主要参数解析:
    –weights:初始化的权重文件的路径地址
    –cfg:模型yaml文件的路径地址
    –data:数据yaml文件的路径地址
    –hyp:超参数文件路径地址
    –epochs:训练轮次
    –batch-size:喂入批次文件的多少
    –img-size:输入图片尺寸
    –rect:是否采用矩形训练,默认False
    –resume:接着打断训练上次的结果接着训练
    –nosave:不保存模型,默认False
    –notest:不进行test,默认False
    –noautoanchor:不自动调整anchor,默认False
    –evolve:是否进行超参数进化,默认False
    –bucket:谷歌云盘bucket,一般不会用到
    –cache-images:是否提前缓存图片到内存,以加快训练速度,默认False
    –image-weights:使用加权图像选择进行训练
    –device:训练的设备,cpu;0(表示一个gpu设备cuda:0);0,1,2,3(多个gpu设备)
    –multi-scale:是否进行多尺度训练,默认False
    –single-cls:数据集是否只有一个类别,默认False
    –adam:是否使用adam优化器
    –sync-bn:是否使用跨卡同步BN,在DDP模式使用
    –local_rank:DDP参数,请勿修改
    –workers:最大工作核心数
    –project:训练模型的保存位置
    –name:模型保存的目录名称
    –exist-ok:模型目录是否存在,不存在就创建

           parser = argparse.ArgumentParser()
           parser.add_argument('--weights', type=str, default='yolov5s.pt', help='initial weights path')
           parser.add_argument('--cfg', type=str, default='', help='model.yaml path')
           parser.add_argument('--data', type=str, default='data/coco128.yaml', help='data.yaml path')
           parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path')
           parser.add_argument('--epochs', type=int, default=300)
           parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
           parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
           parser.add_argument('--rect', action='store_true', help='rectangular training')
           parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
           parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
           parser.add_argument('--notest', action='store_true', help='only test final epoch')
           parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
           parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
           parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
           parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
           parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for
training')
           parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
           parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
           parser.add_argument('--single-cls', action='store_true', help='train multi-class data as
single-class')
           parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer')
           parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
           parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
           parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
           parser.add_argument('--project', default='runs/train', help='save to project/name')
           parser.add_argument('--entity', default=None, help='W&B entity')
           parser.add_argument('--name', default='exp', help='save to project/name')
           parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
           parser.add_argument('--quad', action='store_true', help='quad dataloader')
           parser.add_argument('--linear-lr', action='store_true', help='linear LR')
           parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
           parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table')
           parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for
W&B')
           parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
           parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
           opt = parser.parse_args() &#x8BAD;&#x7EC3;&#x81EA;&#x5DF1;&#x7684;&#x6A21;&#x578B;&#x9700;&#x8981;&#x4FEE;&#x6539;&#x5982;&#x4E0B;&#x51E0;&#x4E2A;&#x53C2;&#x6570;&#x5C31;&#x53EF;&#x4EE5;&#x8BAD;&#x7EC3;&#x4E86;&#x3002;&#x9996;&#x5148;&#x5C06;weights&#x6743;&#x91CD;&#x7684;&#x8DEF;&#x5F84;&#x586B;&#x5199;&#x5230;&#x5BF9;&#x5E94;&#x7684;&#x53C2;&#x6570;&#x91CC;&#x9762;&#xFF0C;&#x7136;&#x540E;&#x5C06;&#x4FEE;&#x597D;&#x597D;&#x7684;models&#x6A21;&#x578B;&#x7684;yolov5s.yaml&#x6587;&#x4EF6;&#x8DEF;&#x5F84;&#x586B;&#x5199;&#x5230;&#x76F8;&#x5E94;&#x7684;&#x53C2;&#x6570;&#x91CC;&#x9762;&#xFF0C;&#x6700;&#x540E;&#x5C06;data&#x6570;&#x636E;&#x7684;hat.yaml&#x6587;&#x4EF6;&#x8DEF;&#x5F84;&#x586B;&#x5199;&#x5230;&#x76F8;&#x5BF9;&#x4E8E;&#x7684;&#x53C2;&#x6570;&#x91CC;&#x9762;&#x3002;&#x8FD9;&#x51E0;&#x4E2A;&#x53C2;&#x6570;&#x5C31;&#x5FC5;&#x987B;&#x8981;&#x4FEE;&#x6539;&#x7684;&#x53C2;&#x6570;&#x3002;
           parser.add_argument('--weights', type=str, default='weights/yolov5s.pt', help='initial weights path')
           parser.add_argument('--cfg', type=str, default='models/yolov5s_hat.yaml', help='model.yaml path')
           parser.add_argument('--data', type=str, default='data/hat.yaml', help='data.yaml path')
       ***&#x8FD9;&#x5C31;&#x662F;&#x521A;&#x521A;&#x4E09;&#x4E2A;&#x6587;&#x4EF6;&#x7684;&#x76F8;&#x5BF9;&#x8DEF;&#x5F84;&#xFF01;&#x8FD9;&#x5C31;&#x662F;&#x521A;&#x521A;&#x4E09;&#x4E2A;&#x6587;&#x4EF6;&#x7684;&#x76F8;&#x5BF9;&#x8DEF;&#x5F84;&#xFF01;&#x8FD9;&#x5C31;&#x662F;&#x521A;&#x521A;&#x4E09;&#x4E2A;&#x6587;&#x4EF6;&#x7684;&#x76F8;&#x5BF9;&#x8DEF;&#x5F84;&#xFF01;***
           &#x8FD8;&#x6709;&#x51E0;&#x4E2A;&#x9700;&#x8981;&#x6839;&#x636E;&#x81EA;&#x5DF1;&#x7684;&#x9700;&#x6C42;&#x6765;&#x66F4;&#x6539;&#x7684;&#x53C2;&#x6570;&#xFF1A;

 &#x9996;&#x5148;&#x662F;&#x6A21;&#x578B;&#x7684;&#x8BAD;&#x7EC3;&#x8F6E;&#x6B21;&#xFF0C;&#x8FD9;&#x91CC;&#x662F;&#x8BAD;&#x7EC3;&#x7684;300&#x8F6E;&#x3002;
 parser.add_argument('--epochs', type=int, default=300)
   &#x5176;&#x6B21;&#x662F;&#x8F93;&#x5165;&#x56FE;&#x7247;&#x7684;&#x6570;&#x91CF;&#x548C;&#x5DE5;&#x4F5C;&#x7684;&#x6838;&#x5FC3;&#x6570;&#xFF0C;&#x8FD9;&#x91CC;&#x6BCF;&#x4E2A;&#x4EBA;&#x7684;&#x7535;&#x8111;&#x90FD;&#x4E0D;&#x4E00;&#x6837;&#xFF0C;&#x6240;&#x4EE5;&#x8FD9;&#x91CC;&#x6BCF;&#x4E2A;&#x4EBA;&#x548C;&#x81EA;&#x5DF1;&#x7684;&#x7535;&#x8111;&#x7684;&#x6027;&#x80FD;&#x6765;&#x3002;&#x8FD9;&#x91CC;&#x53EF;&#x4EE5;&#x6839;&#x636E;&#x6211;&#x7684;&#x7535;&#x8111;&#x7684;&#x914D;&#x7F6E;&#x505A;&#x53C2;&#x8003;&#xFF0C;&#x6211;&#x7684;&#x7535;&#x8111;&#xFF0C;cpu&#x7684;&#x6838;&#x5FC3;&#x6570;&#x662F;8&#x6838;&#x3002;&#x6211;&#x7684;&#x7535;&#x8111;&#x6309;&#x9ED8;&#x8BA4;&#x7684;&#x53C2;&#x6570;&#x8F93;&#x5165;&#x56FE;&#x7247;&#x6570;&#x91CF;&#x4E3A;16&#xFF0C;&#x5DE5;&#x4F5C;&#x6838;&#x5FC3;&#x4E3A;8&#x7684;&#x8BDD;&#x5C31;&#x4F1A;&#x51FA;&#x73B0;GPU&#x663E;&#x5B58;&#x6EA2;&#x51FA;&#x7684;&#x62A5;&#x9519;&#x3002;&#x62A5;&#x9519;&#x4FE1;&#x606F;&#x5982;&#x4E0B;&#xFF1A;

Yolov5的配置+训练(超级详细!!!)
这里就要调小这两个参数了,每个人的电脑配置不一样,所以可以根据自己的电脑配置来修改参数。(如果这样改了之后依然报这个错误,那么就要将他调的更小)
Yolov5的配置+训练(超级详细!!!)

parser.add_argument(‘–batch-size’, type=int, default=8, help=’total batch size for all GPUs’)
parser.add_argument(‘–workers’, type=int, default=8, help=’maximum number of dataloader workers’)
以上都设置好了就可以训练了。但是pycharm的用户可能会出现如下的报错。这是说明虚拟内存不够了。

Yolov5的配置+训练(超级详细!!!)
可以根据如下的操作来修改,在utils路径下找到datasets.py这个文件,将里面的第81行里面的参数nw改完0就可以了。
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
至此,就可以运行train.py函数训练自己的模型了。
15、推理测试
等到数据训练好了以后,就会在主目录下产生一个run文件夹,在run/train/exp/weights目录下会产生两个权重文件,一个是最后一轮的权重文件,一个是最好的权重文件,一会我们就要利用这个最好的权重文件来做推理测试。除此以外还会产生一些验证文件的图片等一些文件。
Yolov5的配置+训练(超级详细!!!)
Yolov5的配置+训练(超级详细!!!)
然后找到主函数的入口,这里面有模型的主要参数。模型的主要参数解析如下所示。
f name == ‘ main‘:
“””
–weights:权重的路径地址
–source:测试数据,可以是图片/视频路径,也可以是’0′(电脑自带摄像头),也可以是rtsp等视频流
–output:网络预测之后的图片/视频的保存路径
–img-size:网络输入图片大小
–conf-thres:置信度阈值
–iou-thres:做nms的iou阈值
–device:是用GPU还是CPU做推理
–view-img:是否展示预测之后的图片/视频,默认False
–save-txt:是否将预测的框坐标以txt文件形式保存,默认False
–classes:设置只保留某一部分类别,形如0或者0 2 3
–agnostic-nms:进行nms是否也去除不同类别之间的框,默认False
–augment:推理的时候进行多尺度,翻转等操作(TTA)推理
–update:如果为True,则对所有模型进行strip_optimizer操作,去除pt文件中的优化器等信息,默认为False
–project:推理的结果保存在runs/detect目录下
–name:结果保存的文件夹名称
“””
parser = argparse.ArgumentParser()
parser.add_argument(‘–weights’, nargs=’+’, type=str, default=’yolov5s.pt’, help=’model.pt path(s)’)
parser.add_argument(‘–source’, type=str, default=’data/images’, help=’source’) # file/folder, 0 for webcam
parser.add_argument(‘–img-size’, type=int, default=640, help=’inference size (pixels)’)
parser.add_argument(‘–conf-thres’, type=float, default=0.25, help=’object confidence threshold’)
parser.add_argument(‘–iou-thres’, type=float, default=0.45, help=’IOU threshold for NMS’)
parser.add_argument(‘–device’, default=”, help=’cuda device, i.e. 0 or 0,1,2,3 or cpu’)
parser.add_argument(‘–view-img’, action=’store_true’, help=’display results’)
parser.add_argument(‘–save-txt’, action=’store_true’, help=’save results to *.txt’)
parser.add_argument(‘–save-conf’, action=’store_true’, help=’save confidences in –save-txt labels’)
parser.add_argument(‘–nosave’, action=’store_true’, help=’do not save images/videos’)
parser.add_argument(‘–classes’, nargs=’+’, type=int, help=’filter by class: –class 0, or –class 0 2 3′)
parser.add_argument(‘–agnostic-nms’, action=’store_true’, help=’class-agnostic NMS’)
parser.add_argument(‘–augment’, action=’store_true’, help=’augmented inference’)
parser.add_argument(‘–update’, action=’store_true’, help=’update all models’)
parser.add_argument(‘–project’, default=’runs/detect’, help=’save results to project/name’)
parser.add_argument(‘–name’, default=’exp’, help=’save results to project/name’)
parser.add_argument(‘–exist-ok’, action=’store_true’, help=’existing project/name ok, do not increment’)
opt = parser.parse_args()
这里需要将刚刚训练好的最好的权重传入到推理函数中去。然后就可以对图像视频进行推理了。
parser.add_argument(‘–weights’, nargs=’+’, type=str, default=’runs/train/exp/weights/best.pt’, help=’model.pt path(s)’)
对图片进行测试推理,将如下参数修改成图片的路径,然后运行detect.py就可以进行测试了。
parser.add_argument(‘–source’, type=str, default=’01407.jpg’, help=’source’)
Yolov5的配置+训练(超级详细!!!)
推理测试结束以后,在run下面会生成一个detect目录,推理结果会保存在exp目录下。如图所示。
Yolov5的配置+训练(超级详细!!!)
  &#x56FE;&#x7247;&#x7684;&#x63A8;&#x7406;&#x7ED3;&#x679C;&#x5982;&#x4E0B;&#x6240;&#x793A;&#x3002;&#x6548;&#x679C;&#x8FD8;&#x662F;&#x5F88;&#x4E0D;&#x9519;&#x7684;&#x3002;

Yolov5的配置+训练(超级详细!!!)

对视频进行测试,和如上的图片的测试是一样的,只不过是将图片的路径改为视频的路径而已。利用摄像头进行测试只需将路径改写为0就好了。但是好像还是会报错,这一点卡了我很久。报错如下。

Yolov5的配置+训练(超级详细!!!)
解决方法:首先找到datasets.py这个py文件。
Yolov5的配置+训练(超级详细!!!)
打开文件,找到第279行代码,给两个url参数加上str就可以了,如图所示,就可以完美运行电脑的摄像头了。
Yolov5的配置+训练(超级详细!!!)
至此yolov5训练自己的模型就完全搞定了。

最后觉得有帮助的,请给我个一键三连,栓Q!

参考博文:
训练自己的目标检测模型
训练集和验证集划分
安装pytorch和paddle深度学习环境
利用labelimg制作自己的深度学习目标检测数据集

Original: https://blog.csdn.net/qq_45104603/article/details/121783848
Author: 小学生玩编程
Title: Yolov5的配置+训练(超级详细!!!)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/670468/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球