opencv-python和yolo5(torch)实现实时检测

先下载yolo5项目：

https://github.com/ultralytics/yolov5

用pycharm新建一个项目
勾选Inherit global site-packages 使用base interpreter的所有packages
不勾选 Make available to all projects 因为这个指当在虚拟环境下安装包的时候，copy一份到全局。就是base interpreter中会添加这个项目中的所有包

项目新建后，把yolo5 解压后所有文件和文件夹复制到pycharm项目里面，把requirements.txt打开，这时候先不要用pycharm安装依赖包，先看看有哪些。
其中，matplotlib，numpy，opencv-python，scipy，torch，torchvision，pandas，seaborn这些是机器学习/深度学习中常用的工具包，所有应该安装在全局环境里面也就是base interpreter添加这个包

细节说明yolo5项目有成熟的torch框架实现，到现在并没有成熟的tensorflow框架板，而且torch和tensorflow都有cpu和gpu版本，如果你没有支持cuda的高性能显卡，或者图省事简单，安装cpu版本更适合俺们

先手动在cmd里面安装opencv python版
到

https://pypi.tuna.tsinghua.edu.cn/simple/opencv-python/

选择匹配你设备的whl文件
细节cp39（指对应你安装的python sdk的版本 比如python39）
cmd窗口下pip install “pathxxxxx/.whl”
稍后安装成功

此时已经安装了opencv,我们来玩一玩，在新建一个python项目，在main下面添加以下代码

import cv2
capture = cv2.VideoCapture(0) #使用电脑的内置像头 1的话应该是usb外置像头
while (True):
        # 获取一帧
        ret, frame = capture.read()
        frame = cv2.flip(frame, 1)   #cv2.flip 图像翻转,因为摄像头本来录制的是与现实相反的
        cv2.imshow('frame',frame)
        # 如果输入q，则退出
        if cv2.waitKey(1) == ord('q'):
            break
capture.release()
cv2.destroyAllWindows()

没有意外的话，你就能看见自己英俊的脸庞。ok小的体验到此结束。

然后开始yolo

https://pypi.tuna.tsinghua.edu.cn/simple/matplotlib
https://pypi.tuna.tsinghua.edu.cn/simple/seaborn

下载他们的whl文件，这个是可视化显示所需要的，但是在我的文章中是用不到的，既然项目文件requirements.txt所要求的，那么我们还是当一个好学生吧。matplotlib是负责可视化的，seaborn是美化matplotlib的样式的

https://pypi.tuna.tsinghua.edu.cn/simple/numpy
https://pypi.tuna.tsinghua.edu.cn/simple/pandas

其实上面这几个安装比较简单，你要是图省事，也可用全部用pycharm的功能安装，不用手动了，因为后面torch，torchvision这两个有细节
细节1是torch cpu和gpu版本
细节2是torch得对应torchvision版本
用pycharm可以确保版本对应，但是你不支持gpu他可能会给你安装上gpu版本的torch，而且国外网络下载看你运气 torch 200mb
剩余的scipy包请自己拼接链接地址下载安装，没啥细节

再打开第一次新建的项目，就是你已经复制了yolo到里面去的那个，然后提示缺什么包，确认就ok，基本剩下的包不会占很大，会用pycharm自动安装上
然后用pycharm run运行detect.py就ok，其他文章中用cmd方式是一样的，默认参数有目标图片，不需要用cmd填写
运行过程中，如果是第一次运行，会下载模型文件，有网就ok
然后你就能看到控制台 打印预测后的文件信息
这样的话yolo就ok了

剩下就是对open cv中的没一帧进行模型推到处理后再显示，我的电脑很垃圾，像放ppt。

import cv2
import numpy as np
import torch
from models.common import DetectMultiBackend
from utils.general import check_img_size,non_max_suppression
from utils.plots import Annotator, colors
from utils.torch_utils import select_device
from utils.augmentations import letterbox #调整图片大小至640

if __name__ == '__main__':
    # Load model
    device = select_device('')
    weights="C:\\Users\\Administrator\\Desktop\\yolov5s.pt"
    dnn = False
    data="C:\\Users\\Administrator\\Desktop\\coco128.yaml"
    model = DetectMultiBackend(weights, device=device, dnn=dnn, data=data)
    stride, names, pt, jit, onnx, engine = model.stride, model.names, model.pt, model.jit, model.onnx, model.engine
    imgsz = check_img_size((640, 640), s=stride)  # check image size

    model.warmup()  # warmup

    capture = cv2.VideoCapture(0)
    height = capture.get(cv2.CAP_PROP_FRAME_HEIGHT)  # 计算视频的高  # 获取视频宽度
    width = capture.get(cv2.CAP_PROP_FRAME_WIDTH)  # 计算视频的宽  # 获取视频高度

    #https://blog.csdn.net/weixin_41010198/article/details/88535234
    #capture.set(cv2.CAP_PROP_BRIGHTNESS,50)#亮度
    #capture.set(cv2.CAP_PROP_CONTRAST,18)#对比度
    #capture.set(cv2.CAP_PROP_SATURATION,70)# 图像的饱和度（仅适用于相机）
    #capture.set(cv2.CAP_PROP_EXPOSURE,200)
    #如果你感兴趣可以去调调参数

    while (True):
        # 获取一帧
        ret, frame = capture.read()
        #gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  # 将这帧转换为灰度图
        frame = cv2.flip(frame, 1)   #cv2.flip 图像翻转

        img0=frame
        img = letterbox(frame)[0] #返回的是元组所以[0]
        # Convert
        img = frame.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGB
        img = np.ascontiguousarray(img) #用tensor的说法 转为张量？

        im = torch.from_numpy(img).to(device)
        #im=im.half()
        im=im.float()  # uint8 to fp16/32 #转为float，除以255可以得小数
        im /= 255  # 0 - 255 to 0.0 - 1.0 #归一化

        if len(im.shape) == 3:
            im = im[None]  # expand for batch dim

        #im已经是预处理后的张量了，这才符合网络输入，而img0表示位图，帧
        pred = model(im, augment=False,visualize=False)#augmented inference  # visualize features增强推理#可视化特征
        # NMS 非极大值抑制
        pred = non_max_suppression(pred)
        det=pred[0]
        annotator = Annotator(frame, line_width=3, example=str(names))
        for *xyxy, conf, cls in iter(det):#一个图片里面可能不止一个目标对象，比如两个人，比如一人一狗，所以用循环
            c=int(cls)
            label =names[c]
            annotator.box_label(xyxy, label, color=colors(c, True))
        im0 = annotator.result()
        cv2.imshow('frame',im0)

        # 如果输入q，则退出
        if cv2.waitKey(1) == ord('q'):
            break

    capture.release()
    cv2.destroyAllWindows()

这上面的代码是根据官方detect.py文件，粘贴复制出来的，感兴趣的朋友可以自己对detect.py运行过程监听print看看，我这个自从图片上标示出来，想获得字符串可以自己去添加一下。
这个用的是yolo给的默认模型，根据场景需求，你可以自己训练，不算难，然后刚开始，我很介意这个是torch版本实现的，因为我只会tensorflow，根本不会torch，但是官方已经给了导出tf模型的py文件，在用自己的训练好后，我们转化一下就ok

对了，我本来是搞web的，最熟悉的还是java，目前最近几年会进一步学习人工智能，然后群号 517103280，这个QQ群，欢迎加入交流

cpu版本运行数据 主要是模型推到没有cuda加速卡的，open cv直接显示不卡

这位大哥的文章不错，可以看下，然后yolo的一些应该得看看
https://blog.csdn.net/weixin_29343153/article/details/113090000?utm_source=app&app_version=4.16.0&code=app_1562916241&uLinkId=usr1mkqgl919blen

Original: https://blog.csdn.net/qq_37390245/article/details/122814191
Author: 民谣与狗
Title: opencv-python和yolo5(torch)实现实时检测